AI 讀心般的極速，NVIDIA 的新心臟 'Groq 3 LPX' 來了

試想一下：早上起床後，你對 AI 說：「把今天的會議資料和電子郵件全部整理摘要給我。」過去，AI 彷彿陷入沉思，你需要盯著螢幕等待幾秒鐘，但現在，你話剛說完，它就像祕書攤開手帳般，即刻吐出結果。

我們正邁向一個新時代，不再只是單純會寫作的 AI，而是能夠自主判斷並執行複雜任務的「代理型 AI（Agentic AI）」。而為了讓這些代理能不間斷地即時運作，NVIDIA 推出的全新「加速器（輔助 AI 運算的硬體）」——Groq 3 LPX，現已正式投入生產。

這為何重要？

隨著 AI 變得更聰明，需要處理的資訊量（context，上下文）也隨之暴增。當 AI 代理收到使用者的提問時，必須深入龐大的資料庫進行分析並重新生成答案。這裡出現了問題：即使分析速度很快，但如果最終寫出答案的「生成階段」太慢，代理的效率就會大幅下降。

Groq 3 LPX 的作用正是飛躍性地提升這項「生成階段」的速度。[出處: NVIDIA] 它不僅僅是單純的「快」，而是透過傳遞資訊的速度遠超人類閱讀速度，將我們與 AI 的互動提升到全新的維度。[出處: 247wallst]

簡單來說

我們可以這樣比喻：把原本的 AI 模型想像成一位博學多聞的博士，他對任何問題都有答案，但如果他用很慢的筆跡寫出答案，再好的內容也會讓等待的人感到焦躁。

Groq 3 LPX 就是那位坐在博士身旁、以超高速幫他代筆的「超高速打字機」。它能以每秒數千字的速度輸出博士思考後的內容。實際上，這款加速器每秒能生成超過 3,400 個 token（AI 處理文字的最小單位）。[出處: Wccftech] 以中文文章來說，這簡直是眨眼間就寫完一頁書的驚人速度。

我們現在處於什麼階段？

Groq 3 LPX 將整合進 NVIDIA 的次世代平台「Vera Rubin」系統中，目前已全面進入量產階段。[出處: LinkedIn]

在基準測試中，透過 Gemma 4 31B 模型，它創下了驚人的每秒 3,431 輸出 token (TPS)。[出處: NVIDIA Developer] AI 雲端服務企業「Nebius」已率先決定導入此系統，企業現在能夠建構出反應更靈敏、速度更快的 AI 代理服務。[出處: Investor NVIDIA]

未來會有什麼改變？

技術的進步不會止步於此。Groq 3 LPX 可以在單一個機櫃（安裝伺服器的架子）中串聯多達 256 個加速器，處理大規模的運算需求。[出處: SiliconANGLE]

未來的 AI 將超越單純的聊天對象，轉變為隨時掌握並應對我們所說每一項資訊的祕書角色。我們在螢幕前等待的時間將越來越短，AI 比我們思考還快的時代已近在咫尺。

AI 的觀點

在執行複雜推論的 AI 代理時代，結果輸出的速度與運算能力同樣重要。Groq 3 LPX 將成為解決最後一哩路「瓶頸」的關鍵鑰匙。

參考資料

1. NVIDIA says its new Groq racks are in full production
2. NVIDIA Groq 3 LPX, the interactive AI inference accelerator, is now in full production
3. NVIDIA Groq 3 LPX enters full production, targeting agentic AI
4. Nvidia’s dedicated inference accelerator Groq 3 LPX enters full production to supercharge AI agents
5. Nvidia starts mass production of Groq 3 LPX to speed agentic AI
6. NVIDIA Advances Vera Rubin Inference With New LPX
7. NVIDIA Enters Full Production of Groq 3 LPX AI Inference
8. NVIDIA Groq 3 LPX 全面進入量產，以世界級速度加速代理型AI
9. NVIDIA「Groq 3 LPX」が量産へ、3,431トークン/秒が変えるAI推論
10. Groq ускорит агентов с NVIDIA Groq 3 LPX — до 3400 токенов
11. NVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AI
12. NVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AI
13. NVIDIA Groq 3 LPX Now in Full Production With World-Class Speed for Agentic AI
14. How NVIDIA Groq 3 LPX Unlocks Ultrafast Interactivity at Long Context on NVIDIA Vera Rubin

15. [AI Inference Accelerator

    NVIDIA Groq 3 LPX](https://www.nvidia.com/en-eu/data-center/lpx/)