AI 回答速度更快？OpenAI 自研晶片「Jalapeño」的秘密

試著想像一下。早上醒來打開手機，對 AI 助理說：「請幫我整理並總結今天要開會的資料。」過去，在 AI 思考回應的過程中，螢幕上的點點可能會閃爍，需要等待一會兒。但在不久的未來，或許再也不會有這種延遲，能像與身邊的人對話一樣，立即獲得回應。

近期，OpenAI 傳出了一則加速這項未來到來的重大消息。他們公開了為自家 AI 模型親自設計的第一款專用晶片——「Jalapeño」[OpenAI and Broadcom unveil LLM-optimized inference chip]。

為什麼這很重要？

我們每天使用的 ChatGPT 等 AI 服務，背後其實都在執行龐大且複雜的運算。專家稱之為「推論（Inference）」；簡單來說，這就是理解使用者提問並找出正確答案的一連串過程 [OpenAI unveils first chip as part of Broadcom deal in effort to ‘build the full stack’]。

到目前為止，這類複雜運算大多由 NVIDIA 的通用 GPU（圖形處理器）負責。然而，隨著 AI 變得越聰明，所需的運算量也爆炸性成長，隨之而來的營運成本與電力消耗也變得難以控制。OpenAI 親自打造晶片，意味著他們不再止步於租用他人的設備，而是要擁有一顆為自家服務量身打造的「客製化引擎」[OpenAI & Broadcom: New Custom AI Chip Unveiled]。這將大幅提升服務速度並優化營運效率，成為我們能以更快速、更便宜的價格享受高效能 AI 的基礎。

淺顯易懂的解釋：從「萬用平底鍋」到「高速烤箱」

打造晶片的過程就像烹飪。過去，OpenAI 一直是使用市面上販售的通用廚具——GPU 來進行烹飪。但「Jalapeño」就像是為了做出 OpenAI 想要的最美味料理（即最佳化 AI 推論），從零開始設計的特殊廚房家電 [OpenAI and Broadcom unveil “Jalapeño,” a custom chip built …]。

比喻來說，如果一般的 GPU 是什麼菜都能做的「萬用平底鍋」，那麼「Jalapeño」就是專攻最大化 AI 對話速度的「高速專用烤箱」。得益於此，能在減少不必要能源浪費的同時，更快地產生回應。這款晶片是從設計到製造，由 OpenAI 與合作夥伴共同努力，僅花費 9 個月這驚人時間打造出的成果 [OpenAI and Broadcom unveil Jalapeño, a custom inference chip that puts Nvidia’s pricing power on notice - Startup Fortune]。

目前進度如何？

目前「Jalapeño」是 OpenAI 為了革新 AI 基礎架構而制定的雄心勃勃計畫中的第一步。OpenAI 負責核心設計，並與通訊晶片領域的世界級領導廠商博通結成戰略合作夥伴，由博通支援製造與複雜的網路技術 [OpenAI and Broadcom unveil “Jalapeño,” a custom chip built …]。

未來將會有什麼變化？

本次發表不僅僅是推出一款新晶片，其意義遠大於此。OpenAI 勾勒出一份宏大的藍圖，計劃在未來部署高達 10 GW（十億瓦）規模的 AI 加速器 [OpenAI and Broadcom Collaborate on 10GW Custom Chips, Launch …]。Jalapeño 僅僅是這場壯闊旅程的第一位先鋒。

不久的將來，我們所使用的 AI 服務在 Jalapeño 這類專用晶片的輔助下，將變得越來越輕量，在大幅降低功耗的同時，回應也將更加準確、快速。隨著 AI 企業開始跨出軟體，親手介入硬體設計，我們正見證著一個 AI 不再只是應用程式，而是正式成為我們生活中不可或缺基礎設施的時代。

MindTickleBytes 的 AI 記者觀點

AI 的效能競爭如今已完全從軟體演算法轉向硬體競賽。「Jalapeño」這類客製化處理器的出現，意味著 AI 企業已不再僅是單純的服務提供者，而是進化為直接從技術底層進行建構的「技術統治者」。

參考資料

1. [OpenAI and Broadcom unveil LLM-optimized inference chip

   OpenAI](https://openai.com/index/openai-broadcom-jalapeno-inference-chip/)

2. [Broadcom, OpenAI unveil Jalapeño AI processor

   AVGO Stock News](https://www.stocktitan.net/news/AVGO/open-ai-and-broadcom-unveil-llm-optimized-intelligence-jqpk7vkxf7jd.html)

3. OpenAI unveils first chip as part of Broadcom deal in effort to ‘build the full stack’

4. [LLM Inference Hardware: An Enterprise Guide to Key Players

   IntuitionLabs](https://intuitionlabs.ai/articles/llm-inference-hardware-enterprise-guide)

5. OpenAI and Broadcom unveil Jalapeño, a custom inference chip that puts Nvidia’s pricing power on notice - Startup Fortune
6. OpenAI and Broadcom unveil “Jalapeño,” a custom chip built …
7. OpenAI & Broadcom: New Custom AI Chip Unveiled
8. OpenAI and Broadcom Collaborate on 10GW Custom Chips, Launch …
9. OpenAI and Broadcom unveil LLM-optimized intelligence …
10. OpenAI and Broadcom Unveil LLM-Optimized Intelligence Processor
11. Broadcom and OpenAI heat up AI chip market with inference …
12. OpenAI and Broadcom Unveil LLM-Optimized Intelligence …