AI 演算成本的新解法?亚马逊芯片上运行大语言模型的开源引擎 'TrnRT' 登场

象征亚马逊 Trainium 芯片与服务器基础设施的现代数据中心视觉插图
AI Summary

初创企业 RunAnywhere 在 AWS Trainium 芯片上推出了能够高效运行 GLM-5.3 Flash 模型的开源推理引擎 'TrnRT',为降低高昂的英伟达依赖度提供了全新替代方案。

想象一下。如果你是一家运营着每天有数百万人使用的庞大人工智能(AI)服务的企业,每当收到服务器维护成本和电费账单时,心头恐怕都会一紧。如今,绝大多数 AI 模型都在英伟达(Nvidia)的高性能显卡(GPU)上运行,但其硬件价格和维护成本绝非小数目。那么,如果有一种方法能够在全球云服务市场排名第一的亚马逊所打造的自主 AI 专用芯片上,以远低于以往的成本运行这些庞大的 AI,情况会怎样呢?

最近,硅谷的一家新年初创企业带着对这一问题的明确答案闪亮登场。通过 Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium 项目公开的 TrnRT(Trainium RunTime)正是其主角 [Source 1]。让我们逐步探讨这一全新开源引擎为何在 AI 业界引发热烈关注,及其背后的背景与意义。


为什么这很重要?

我们在日常生活中使用的聊天机器人或 AI 助手变得越聪明,后台进行的运算量就越庞大。这被称为“推理(Inference)”,是 AI 接收用户提问并实时生成回答的核心过程。由于这一推理过程需要大量的内存和计算能力,对企业而言,“如何以更低的成本提供更快的回答”直接关乎业务的生死存亡。

长期以来,英伟达的 H100 和 H200 等高性能芯片在市场上占据了绝对统治地位。然而,随着 AI 需求的爆发式增长,芯片采购成本和云服务租赁价格节节攀升。在此背景下,亚马逊云科技(AWS)自主研发的 AI 加速器芯片 Trainium(特拉尼姆)一直被视为能够替代英伟达的极具吸引力的备选方案 [Source 5]。

然而,现实中存在一个障碍。即便拥有出色的硬件,如果缺乏能够根据芯片特性高效运行大语言模型的“软件引擎”,也无济于事。事实上,亚马逊原有的部分自主软件栈暴露出无法完全支持最新模型或停止开发的局限性 [Source 1]。正为填补这一软件空白而登场的 TrnRT,为企业降低对英伟达的高度依赖、以极其经济的成本构建高性能 AI 服务打开了突破口。


通俗易懂的比喻:物流卡车与超级跑车

为了让不太熟悉计算机结构或 AI 硬件的朋友也能轻松理解,我们打个比方:

  • 英伟达 GPU(H100/H200)就像是在公路上疾驰的顶级超级跑车。速度极快、性能极其出众,但车价极高,维护成本(油费和保险费)大到难以承受。
  • 亚马逊 Trainium 芯片则可以比作一辆能够平稳运载大量货物的重型物流卡车。它处理海量数据的潜力巨大,但要想让这辆卡车发挥 100% 的性能,需要专用道路和精密的导航系统。

其中,TrnRT 就扮演了“优化导航与高性能引擎控制程序”的角色,专为帮助重型卡车在崎岖山路和复杂城市中以最高时速安全行驶而设计。

简而言之,当需要在庞大的图书馆(大语言模型)中查找并瞬间交付读者想要的书籍时,TrnRT 就好比一位资深且高效的首席馆员,能够完美掌握图书馆的书架结构并以最快路径取回书籍。特别是据 [Serving GLM-5.3-Flash on one Trainium2 box with NKI… RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels) 报道,RunAnywhere 在继针对苹果芯片的 MetalRT、针对高通芯片的 QHexRT 之后,又开发了针对 AWS Trainium 的 TrnRT,延续了通过软件优化克服硬件物理极限的独创理念 [Source 4]。

现状:证明了什么?

开发 TrnRT 的团队在项目启动仅 3 周后,就取得了令业界惊叹的成果。他们成功在 AWS 最新的 Trainium 硬件环境 trn2.48xlarge 实例中运行了高性能大语言模型 GLM-5.3 flash (FP8),并验证了其服务的稳定性 [Source 1]。

他们取得的具体成果包括:

  • 高密度服务:展示了在单台设备(配备 8 个 trn2 芯片的环境)中,利用缓存感知路由器(cache-aware router)技术能够同时稳定服务 2 个实例的 GLM-5.3 flash [Source 1]。
  • 压倒性的吞吐量:在严格的 AI 基准测试环境中,创下了每分钟处理高达 357 万个 Token(3.57M TPM)的惊人速度与性能 [Source 1]。
  • 卓越的经济优势:在 trn2.48xlarge 实例环境中,每太字节的内存成本与在 AWS 云中使用 8 个 H200 芯片相比,降低到了一半以下 [Source 1]。

过去,AWS 原生软件栈(如 vLLM Neuron 等)往往无法及时注册最新的 GLM 模型,或者分布式推理框架 NxDI 不再得到积极维护 [Source 1]。在此情况下,实力雄厚的技术人员以 Apache 2.0 许可证开源制作并向世界公开了这一引擎 Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium,为全球开发者社区注入了巨大的活力 [Source 1, Source 4]。


未来走向如何?

本次首次亮相的 TrnRT 仅仅是降低 AI 基础设施成本这一宏伟征程的起点。开发团队计划在初期取得的高性能、高效率成功经验基础之上,迅速扩大支持的大语言模型种类 [Source 1]。

特别是由于该项目采用了全球开源贡献者和开发者能够自由参与的开放结构 [Source 1],其积累和演进优化代码的速度有望远远超过硬件厂商直接提供的封闭软件更新周期。未来,无数企业除了英伟达 GPU 之外,还可以选择亚马逊 Trainium 等高性能替代芯片,大幅降低 AI 基础设施维护成本,并为最终用户提供价格更合理的 AI 服务。


MindTickleBytes 的 AI 记者视角

正如 AI 技术令人惊叹的发展速度一样重要,“任何人都能无负担接触的可持续经济性”同样关键。我们是时候摆脱过去少数巨头投入巨资垄断昂贵 GPU 并将成本转嫁给消费者的旧结构了。各种定制硬件与敏捷开源软件的结合,正在打破阻碍 AI 大众化的最大成本壁垒。TrnRT 的登场,是一个新鲜而重要的里程碑,它向我们展示了硬件的多样性与软件的创造力相遇时,究竟能迸发出多么强大的协同效应。


参考资料

  1. Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
  2. [Serving GLM-5.3-Flash on one Trainium2 box with NKI… RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels)
  3. NeuronMM: High-Performance Matrix Multiplication for LLM Inference…
AD
测试你的理解
Q1. 开发并开源 TrnRT 引擎的主体是谁?
  • 亚马逊云科技 (AWS)
  • RunAnywhere
  • OpenAI
TrnRT 是由初创企业 RunAnywhere 开发并以 Apache 2.0 许可证开源的 AWS Trainium 专用推理引擎。
Q2. TrnRT 目前支持的代表性大语言模型是什么?
  • GPT-4o
  • GLM-5.3 flash
  • Claude 3.5 Sonnet
TrnRT 目前在 AWS trn2.48xlarge 实例上提供 GLM-5.3 flash (FP8) 服务。
Q3. 选择基于 Trainium 硬件的最主要经济优势之一是什么?
  • 每太字节内存成本低于基于英伟达 H200 系统的不到一半
  • 完全免除电费
  • 免费租用服务器硬件
trn2.48xlarge 实例每太字节的内存成本仅为 AWS 8x H200 配置的一半左右。