AI，現在『看』也會說話！Gemma 4，在 Cerebras 上以超越 GPU 的速度開啟即時多模態時代

想像一下。早上起床，你給 AI 助理看一張照片，問「這是什麼花？怎麼種？」AI 立刻識別出照片中的花，並以文字詳細回答。這不再是僅理解文字的 AI。現在，AI 可以「看」我們展示的圖像，並就其「發言」。將這種未來變為現實的技術，正是 Google DeepMind 開發的最新 多模態 AI 模型 (Multimodal AI Model，同時理解和處理多種形式資訊的人工智慧) Gemma 4。這個強大的 AI 模型現在透過 Cerebras Inference (Cerebras 推論) 發布，令人驚訝的是，其運行速度比現有的 GPU (Graphics Processing Unit，圖形處理單元) 快達 10 倍。這是對 AI 互動方式產生根本性變革的歷史性時刻。 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 The fastest inference is now - Cerebras, 來源 Gemma 4 on Cerebras: 1,851 TPS Multimodal Inference …, 來源 Welcome Gemma 4: Frontier multimodal intelligence on device, 來源 Gemma4is nowon@CerebrasInference, running up to 10xfasterthan GPUs (1,500 tokens/sec). Multimodal generations you can iterate on in real time, 來源 Gemma4models are multimodal, handling text and image input and generating text output.

為何這項技術如此重要？ (Why It Matters)

Gemma 4 和 Cerebras 的結合為何具有如此重要的意義？關鍵在於 AI 能夠「即時」處理複雜資訊。以前的 AI 擅長理解文字，或者需要大量時間進行圖像分析。然而，這種革命性的結合使 AI 能夠在眨眼間理解我們展示的圖像，同時理解文字命令並即時做出反應。

簡單來說，AI 不僅僅是處理資訊，而是能夠像人類一樣透過眼睛看、透過耳朵聽，全面感知周遭世界並進行溝通。想像一下，即時分析複雜的閉路電視影像，立即偵測潛在威脅或異常情況；在手術室中，醫生向 AI 展示患者的醫療影像，立即獲取重要資訊並用於診斷；或者工廠的機械手臂能夠辨識眼前的眾多零件並精確抓取等。在我們能想像的幾乎所有領域，AI 的能力都將以前所未有的速度爆發性提升。這不僅意味著 AI 變得更聰明，更意味著 AI 能夠「看」和「理解」我們周遭的世界，並與我們進行更自然、更直觀的互動。這就像從黑白電話升級到高清視訊通話一樣，AI 溝通方式本身將徹底改變，是一場革命性的變革。 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma4is nowon@CerebrasInference, running up to 10xfasterthan GPUs (1,500 tokens/sec). Multimodal generations you can iterate on in real time

輕鬆理解：Gemma 4 與 Cerebras 的魔法 (The Explainer)

Gemma 4：跨越文字與圖像的 AI「大腦」

Gemma 4 是 Google DeepMind 開發的最新 AI 模型系列，是 Google 作為人工智慧研究領導者實力的結晶。這些模型基於現有強大的 Gemini 模型相同的研究和技術打造，特別之處在於它們是 開放模型 (Open Model，原始碼公開，任何人都可以自由使用和修改的人工智慧模型)，旨在讓廣大開發者和企業自由利用。 來源 Gemma 4 — Google DeepMind, 來源 Gemma 4 by Google - Open AI Language Model, 來源 The Gemma 4 family of multimodal models by Google DeepMind is out on Hugging Face, with support for your favorite agents, inference engines, and fine-tuning libraries.

如果說以前的 AI 主要專注於文字或圖像其中之一，那麼 Gemma 4 最大的特點是其 多模態 (Multimodal，同時理解和處理多種不同形式數據的能力) 性。 來源 Gemma 4 is a multimodal model. 例如，想像你用智慧型手機拍了一張植物照片，然後問：「這植物叫什麼名字？怎麼種？」Gemma 4 可以「看」照片並識別植物，然後回答你的文字問題。這是以前只理解文字的 AI 無法做到的，實現了更自然的互動。 來源 Gemma 4 models are multimodal, handling text and image input and generating text output.

Cerebras：加速 AI 的「超級引擎」

那麼，為何如此聰明的 Gemma 4 會與「Cerebras」一同受到關注呢？Cerebras Systems 是一家專門製造 AI 運算硬體的公司，以其顯著縮短 推論 (Inference，AI 模型根據已學習的數據來預測或分類新數據的過程) 速度的技術而聞名。它能夠大幅縮短 AI 接收輸入資訊並得出結果所需的時間。 來源 The fastest inference is now - Cerebras

在 Cerebras Inference 環境中運行 Gemma 4，令人驚訝的是，每秒可以處理超過 1,500 個 Token (Tokens，文字或圖像等資訊的最小處理單位)。 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma 4 on Cerebras: 1,851 TPS Multimodal Inference … 特定模型 Gemma 4 31B 更是達到每秒 1,851 個 Token 的驚人速度。這比現有的 GPU (圖形處理單元) 快達 10 倍！ 來源 The fastest inference is now - Cerebras, 來源 Gemma4is nowon@CerebrasInference, running up to 10xfasterthan GPUs (1,500 tokens/sec). Multimodal generations you can iterate on in real time 這種壓倒性的速度對於需要即時反應不斷變化的 AI 應用程式來說至關重要。打個比方，如果 Gemma 4 是處理複雜資訊的「天才大腦」，那麼 Cerebras 就像是幫助這個大腦瞬間反應並以驚人速度產生結果的「超高速神經網路」和「超級引擎」。

現況如何？ (Where We Stand)

目前，Gemma 4 on Cerebras 處於僅向少數合作夥伴提供的 私人預覽 (Private Preview，正式發布前僅向特定使用者開放功能以收集回饋的階段) 階段，並預計於今年 6 月底向大眾公開。 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal, 來源 Gemma 4 on Cerebras — The Fastest Inference is Now Multimodal 這次合作是 Gemma 4 等多模態模型首次在 Cerebras 平台上運行，為以前在技術上不可能實現的各種 AI 應用程式開發打開了大門。 來源 Gemma4is the first multimodal model on Cerebras!

Gemma 4 模型本身已經可以在 Hugging Face 等 AI 模型共享平台上找到，並且可以與 llama.cpp、vLLM、MLX 等多種 推論框架 (Inference Framework，運行 AI 模型並得出結果所需的軟體工具) 一同使用，為開發者提供廣泛的選擇。 來源 The Gemma 4 family of multimodal models by Google DeepMind is out on Hugging Face, with support for your favorite agents, inference engines, and fine-tuning libraries., 來源 You can now run all GGUFs, MLX and fine-tune Gemma 4 in Unsloth Studio (see right). 此外，這些模型遵循 Apache 2.0 許可證的開放特性，同時具有企業級的強大安全協議和可靠性，可以放心使用。 來源 Safety Gemma 4 models undergo the same rigorous infrastructure security protocols as our proprietary models.

特別是 Gemma 4 26B A4B 模型擁有 262,144 個龐大 Token 的 上下文視窗 (Context Window，AI 模型一次性理解和處理的資訊量)，並能輸出多達 32,768 個 Token。這意味著 AI 能夠完美理解和記憶非常長的文檔或複雜對話的上下文。此外，QAT (Quantization-Aware Training) 變體模型 (Variant Model，在保持原始模型性能的同時，改進其大小或效率的模型) 可以在保持模型品質的同時將記憶體需求減少約 3 倍，使得即使資源較少也能運行強大的 AI。 來源 Gemma 4 26B A4B is an instruction-tuned Mixture-of-Experts (MoE) model., 來源 QAT variants of Gemma 4 reduce memory requirements around 3x while preserving model quality.

為了慶祝這項創新技術的問世，Cerebras 和 Google DeepMind 還舉辦了一場 24 小時虛擬黑客松，探索在 Cerebras 上以 1500 Token/秒的速度運行 Gemma 4 31B 模型能創造出什麼。這讓我們期待開發者將如何利用這個強大的 AI 將奇思妙想變為現實。 來源 Gemma4is the first multimodal model on Cerebras! What can you build with Gemma 4 31B running at 1500 tokens per second? Join the Cerebras x Gemma 4 24-hour virtual hackathon this Sunday to compete for $5,000 in prizes., 來源 Cerebras and Google DeepMind Gemma 4 24-Hour Hackathon!

未來展望？ (What’s Next)

Gemma 4 與 Cerebras 的結合讓我們對 AI 技術的未來充滿期待。未來我們將更頻繁地看到能夠即時圖像分析的 AI 應用程式。例如，將智慧型手機相機對準特定標誌，即可即時翻譯成當地語言；為視覺障礙者提供的輔助技術可以更豐富地描述周遭環境，引導道路或警示危險；或者 AI 代理能夠視覺化理解複雜的數據儀表板並立即採取行動等，超越我們想像的各種可能性都將被開啟。

隨著多模態理解能力和超高速推論速度的結合，人類與 AI 將能夠更自然、更流暢地協作。AI 能夠「看」和「理解」我們世界的時代，不再是遙遠的未來，而是即將深入我們日常生活的現實。我們有理由期待 AI 將帶來的驚人變化。

AI’s Take (AI 的想法)

Gemma 4 與 Cerebras 的結合是 AI 即時多模態處理能力邁向新階段的里程碑事件。這意味著 AI 能夠以更快的速度和更高的準確性，感知和反應文字以外的視覺資訊，例如圖像。這項進展將在醫療診斷、安全監控、機器人技術、使用者介面等廣泛領域引發革命性變革。特別是「即時」特性將增強 AI 更主動地與我們的生活互動、預測和控制的能力。預計未來 AI 將更深入地融入我們的日常生活中，如同另一個智能夥伴般發揮作用。

參考資料

1. Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal - https://www.cerebras.ai/blog/gemma-4-on-cerebras-the-fastest-inference-is-now-multimodal
2. Gemma 4 on Cerebras—The Fastest Inference is Now Multimodal - https://www.linkedin.com/pulse/gemma-4-cerebrasthe-fastest-inference-now-multimodal-n8jve
3. The fastest inference is now - Cerebras - https://www.cerebras.ai/?via=aitoolhunt&ref=aitoolhunt&fpr=aitoolhunt
4. Gemma 4 on Cerebras: 1,851 TPS Multimodal Inference … - https://explainx.ai/blog/gemma-4-31b-cerebras-fastest-multimodal-inference-2026
5. Gemma 4 — Google DeepMind - https://gemma4.com/
6. Welcome Gemma 4: Frontier multimodal intelligence on device - https://huggingface.co/blog/gemma4
7. Gemma 4 on Cerebras — The Fastest Inference is Now Multimodal - https://x.com/cerebras
8. Gemma 4 models are multimodal, handling text and image input and generating text output. - https://ollama.com/library/gemma4
9. Gemma4is the first multimodal model on Cerebras! What can you build with Gemma 4 31B running at 1500 tokens per second? Join the Cerebras x Gemma 4 24-hour virtual hackathon this Sunday to compete for $5,000 in prizes. - https://digg.com/tech/fdounimc
10. Gemma 4 — Google DeepMind - https://deepmind.google/models/gemma/gemma-4/
11. Gemma 4 by Google - Open AI Language Model - https://gemmai4.com/
12. You can now run all GGUFs, MLX and fine-tune Gemma 4 in Unsloth Studio (see right). - https://unsloth.ai/docs/models/gemma-4
13. Cerebras and Google DeepMind Gemma 4 24-Hour Hackathon! - https://luma.com/cerebras-piwl
14. Safety Gemma 4 models undergo the same rigorous infrastructure security protocols as our proprietary models. - https://deepmind.google/models/gemma/gemma-4/
15. Gemma 4 26B A4B IT is an instruction-tuned Mixture-of-Experts (MoE) model. $0 per million input tokens, $0 per million output tokens. 262,144 token context window, maximum output of 32,768 tokens. Higher uptime with 11 providers. - https://openrouter.ai/google/gemma-4-26b-a4b-it:free
16. QAT variants of Gemma 4 reduce memory requirements around 3x while preserving model quality. - https://unsloth.ai/docs/models/gemma-4