新創公司RunAnywhere推出了可在AWS Trainium晶片上高效執行GLM-5.3 flash模型的開源推論引擎『TrnRT』,為降低高昂的Nvidia依賴度提供了全新替代方案。
試想一下。如果您是一家營運著每日有數百萬人使用的巨大人工智慧(AI)服務的企業,每次收到伺服器維護成本和電費帳單時,心裡一定會涼半截。如今,絕大多數的AI模型都在Nvidia的高效能圖形處理器(GPU)上運行,但其硬體價格和維護成本並不便宜。那麼,如果有一種方法可以在全球雲端市場第一名亞馬遜所打造的專屬AI晶片上,以更低廉的成本運行這巨大AI,會怎麼樣呢?
最近,矽谷的一家新創公司帶著對這個問題的明確解答出現了。透過 Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium 專案公開的 TrnRT (Trainium RunTime) 正是其中的主角 [Source 1]。我們將逐步探討這個全新的開源引擎為何在AI業界引發熱烈關注,及其背後的背景與意義。
這為什麼重要?
我們日常使用的聊天機器人或AI助理變得越聰明,背後就會進行大量的運算。這被稱為「推論 (Inference)」,是AI接收使用者提問並即時生成回答的核心過程。由於此推論過程需要大量的記憶體與運算能力,因此「如何以更低的成本提供更快的回答」成為決定企業生死存亡的關鍵問題。
長久以來,Nvidia的H100或H200等高效能晶片獨佔了市場。然而,隨著AI需求的爆炸性增長,晶片購買成本與雲端租賃價格直線飆升。此時,亞馬遜網路服務 (AWS) 自行開發的AI加速器晶片 Trainium 被認為是替代Nvidia的極具吸引力的方案 [Source 5]。
然而,現實中存在著障礙。即使擁有出色的硬體,也沒有合適的「軟體引擎」能夠完美配合該晶片的特性來高效執行大型語言模型。實際上,先前亞馬遜自有堆疊中的一部分曾暴露出無法妥善支援最新模型或開發停滯的侷限性 [Source 1]。為了填補這項軟體空白而登場的TrnRT,為企業降低對Nvidia的高度依賴、以更具經濟效益的成本建構高效能AI服務開啟了突破口。
輕鬆理解:物流卡車與超級跑車的比喻
為了讓不熟悉電腦架構或AI硬體的朋友也能輕鬆理解,我們舉個比喻。
- Nvidia GPU (H100/H200) 就像是在路上馳騁的頂級超級跑車。速度極快且效能極其卓越,但車價極其昂貴,維護成本(油費與保險費)也高得令人難以負荷。
- 亞馬遜Trainium晶片可以比喻為能夠穩定載運大量貨物的巨型物流卡車。其處理海量資料的潛力巨大,但要讓該卡車發揮100%的效能,則需要專用道路與精密的導航系統。
在這裡,TrnRT 的作用就像是「優化後的導航與高效能引擎控制程式」,旨在確保大型卡車能夠以最高速度安全行駛於險峻的山路與複雜的市區。
| 簡單來說,當需要在巨大的圖書館(大型語言模型)中找到讀者需要的書並瞬間傳遞時,TrnRT就像是一位經驗豐富且高效的首席圖書館員,能完全掌握圖書館的書架結構,並以最快的路徑把書拿過來。特別是根據 [Serving GLM-5.3-Flash on one Trainium2 box with NKI… | RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels) 指出,RunAnywhere繼針對Apple Silicon的MetalRT、針對Qualcomm晶片的QHexRT之後,又開發了針對AWS Trainium的TrnRT,延續了透過軟體優化來克服硬體物理限制的獨特哲學 [Source 4]。 |
目前現狀:證明了什麼?
開發TrnRT的團隊在專案啟動僅三週後,就取得了令業界驚嘆的成果。他們成功在AWS最新的Trainium硬體環境 trn2.48xlarge 執行個體上執行高效能大型語言模型 GLM-5.3 flash (FP8),並證明了其穩定服務狀態 [Source 1]。
他們取得的具體成果如下:
- 高密度服務:展示了在單一箱體(配備8個trn2晶片的環境)中,利用快取感知路由器(cache-aware router)技術,同時穩定提供2個GLM-5.3 flash實例服務的能力 [Source 1]。
- 壓倒性的吞吐量:在嚴格的AI基準測試環境中,創下了每分鐘處理高達357萬個Token(3.57M TPM)的驚人速度與效能 [Source 1]。
- 卓越的經濟優勢:在
trn2.48xlarge執行個體環境下,每TB的記憶體成本與在AWS雲端中使用8個H200晶片相比,便宜了一半以下 [Source 1]。
以往存在著這樣的空白:AWS自有堆疊(例如vLLM Neuron等)無法及時註冊最新的GLM模型,或者分散式推論框架NxDI不再積極維護 [Source 1]。在這種情況下,有實力的開發者們親自使用Apache 2.0開源授權製作了這個引擎並公諸於世 Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium,為全球開發者社群注入了巨大的活力 [Source 1, Source 4]。
未來走向如何?
這次首度亮相的TrnRT,僅僅是降低AI基礎設施成本這項宏大征程的起點。開發團隊將基於初期取得的高效能、高效率成功經驗,計畫在未來迅速擴大支援的大型語言模型種類 [Source 1]。
特別是因為它以允許全球開源貢獻者與開發者自由參與的結構開放 [Source 1],預期優化程式碼累積與進化的速度將遠快於硬體製造商直接提供的封閉式軟體更新週期。未來,無數企業除了Nvidia GPU之外,還能選擇亞馬遜Trainium等高效能替代晶片,從而大幅降低AI基礎設施維護成本,並為終端使用者提供價格更合理的AI服務。
MindTickleBytes的AI記者視角
與AI技術令人矚目的發展速度同等重要的,是「任何人都能無負擔使用的永續經濟性」。是時候擺脫少數科技巨頭投入巨資壟斷昂貴GPU、並將成本轉嫁給消費者的過去結構了。各種客製化硬體與敏捷開源軟體的結合,正在打破AI普及化最大的障礙——成本壁壘。TrnRT的登場是一個新鮮且重要的里程碑,它向我們展示了當硬體的多樣性與軟體的創造力相遇時,究竟能產生多麼強大的協同效應。
參考資料
- Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
-
[Serving GLM-5.3-Flash on one Trainium2 box with NKI… RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels) - NeuronMM: High-Performance Matrix Multiplication for LLM Inference…
- 亞馬遜網路服務 (AWS)
- RunAnywhere
- OpenAI
- GPT-4o
- GLM-5.3 flash
- Claude 3.5 Sonnet
- 每TB記憶體成本不到Nvidia H200基礎系統的一半
- 完全免除電費
- 免費租用伺服器硬體