AI 연산 비용의 새로운 해법? 아마존 칩에서 대형 언어 모델을 돌리는 오픈소스 엔진 'TrnRT' 등장

아마존 트레이니엄 칩과 서버 인프라를 상징하는 현대적인 데이터센터의 시각적 일러스트
AI Summary

스타트업 RunAnywhere가 AWS 트레이니엄 칩에서 GLM-5.3 플래시 모델을 고효율로 구동할 수 있는 오픈소스 추론 엔진 'TrnRT'를 공개하며, 고비용의 엔비디아 의존도를 낮출 새로운 대안을 제시했습니다.

상상해보세요. 매일 수백만 명이 사용하는 거대한 인공지능(AI) 서비스를 운영하는 기업이라면, 서버 유지 비용과 전기세 고지서를 받을 때마다 심장이 내려앉을 것입니다. 오늘날 대다수의 AI 모델은 엔비디아(Nvidia)의 고성능 그래픽카드(GPU) 위에서 돌아가지만, 그 하드웨어 가격과 유지 비용은 만만치 않습니다. 그렇다면 전 세계 클라우드 시장 1위인 아마존이 만든 독자적인 AI 전용 칩 위에서, 이 거대한 AI를 훨씬 저렴하게 돌릴 수 있는 방법이 있다면 어떨까요?

최근 실리콘밸리의 신생 스타트업이 바로 이 질문에 명쾌한 해답을 들고 나타났습니다. Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium 프로젝트를 통해 공개된 TrnRT(Trainium RunTime)가 바로 그 주인공입니다 [Source 1]. 이 새로운 오픈소스 엔진이 AI 업계에서 왜 뜨거운 관심을 받고 있는지, 그 배경과 의미를 차근차근 살펴보겠습니다.


이게 왜 중요한가요?

우리가 일상에서 쓰는 챗봇이나 AI 비서가 똑똑해질수록, 백그라운드에서는 막대한 양의 연산이 이루어집니다. 이를 ‘추론(Inference)’이라고 부르는데, AI가 사용자의 질문을 받고 실시간으로 답을 만들어내는 핵심 과정입니다. 이 추론 과정에는 엄청난 양의 메모리와 컴퓨팅 파워가 필요하기 때문에, 기업들에는 ‘어떻게 하면 더 적은 비용으로 더 빠른 답을 제공할 것인가’가 비즈니스의 생존을 좌우하는 문제입니다.

지금까지는 엔비디아의 H100이나 H200 같은 고성능 칩이 시장을 독점적으로 지배해왔습니다. 하지만 AI 수요가 폭발적으로 증가하면서 칩 구매 비용과 클라우드 임대 가격은 하늘 높은 줄 모르고 치솟았습니다. 이때 아마존 웹서비스(AWS)가 자체 개발한 AI 가속기 칩인 트레이니엄(Trainium)은 엔비디아를 대체할 수 있는 매력적인 대안으로 꼽혀왔습니다 [Source 5].

그러나 현실적인 걸림돌이 있었습니다. 뛰어난 하드웨어가 있어도 그 칩의 특성에 딱 맞춰 대형 언어 모델을 효율적으로 구동해 줄 ‘소프트웨어 엔진’이 마땅치 않았기 때문입니다. 실제로 기존 아마존 자체 스택 중 일부는 최신 모델을 제대로 지원하지 못하거나 개발이 중단되는 한계를 보였습니다 [Source 1]. 바로 이러한 소프트웨어 공백을 메우기 위해 등장한 TrnRT는, 기업들이 엔비디아에 대한 높은 의존도를 낮추고 훨씬 경제적인 비용으로 고성능 AI 서비스를 구축할 수 있는 돌파구를 열어주었습니다.


쉽게 이해하기: 물류 트럭과 슈퍼카의 비유

컴퓨터 구조나 AI 하드웨어를 잘 모르는 분들도 쉽게 이해할 수 있도록 비유를 들어보겠습니다.

  • 엔비디아 GPU(H100/H200)는 도로 위를 질주하는 최고급 슈퍼카와 같습니다. 속도가 매우 빠르고 성능이 눈부시게 출중하지만, 차량 가격이 극도로 비싸고 유지 비용(기름값과 보험료)이 감당하기 힘들 정도로 큽니다.
  • 아마존 트레이니엄 칩은 엄청난 양의 짐을 안정적으로 실어 나르는 대형 물류 트럭에 비유할 수 있습니다. 수많은 데이터를 처리하는 잠재력은 엄청나지만, 그 트럭이 100% 성능을 발휘하려면 전용 도로와 정교한 내비게이션 시스템이 필요합니다.

여기서 TrnRT는 그 대형 트럭이 험준한 산길과 복잡한 도심을 최고 속도로 안전하게 달릴 수 있도록 고안된 ‘최적화된 내비게이션이자 고성능 엔진 제어 프로그램’ 역할을 합니다.

쉽게 말해, 거대한 도서관(대형 언어 모델)에서 독자가 원하는 책을 찾아 순식간에 전달해야 할 때, TrnRT는 도서관의 서가 구조를 완벽하게 파악하여 가장 빠른 경로로 책을 가져다주는 노련하고 효율적인 수석 사서와 같습니다. 특히 [Serving GLM-5.3-Flash on one Trainium2 box with NKI… RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels)에 따르면, 런언웨어는 애플 실리콘용 MetalRT, 퀄컴 칩용 QHexRT에 이어 AWS 트레이니엄용 TrnRT까지 개발하며 하드웨어의 물리적 한계를 소프트웨어 최적화로 극복하는 독창적인 철학을 이어가고 있습니다 [Source 4].

현재 상황: 무엇을 증명해냈나?

TrnRT를 개발한 팀은 프로젝트를 시작한 지 불과 3주 만에 업계를 놀라게 할 만한 성과를 거두었습니다. 이들은 AWS의 최신 트레이니엄 하드웨어 환경인 trn2.48xlarge 인스턴스에서 고성능 대형 언어 모델인 GLM-5.3 flash (FP8)를 성공적으로 구동하고 안정적인 서비스 상태를 입증했습니다 [Source 1].

이들이 달성한 구체적인 성과는 다음과 같습니다:

  • 고밀도 서빙: 하나의 싱글 박스(8개의 trn2 칩이 장착된 환경)에서 캐시 인식 라우터(cache-aware router) 기술을 활용해 GLM-5.3 flash의 2개 인스턴스를 동시에 안정적으로 서비스할 수 있음을 보여주었습니다 [Source 1].
  • 압도적인 처리량: 엄격한 AI 벤치마크 테스트 환경에서 분당 무려 357만 토큰(3.57M TPM)을 처리하는 엄청난 속도와 성능을 기록했습니다 [Source 1].
  • 탁월한 경제적 우위: trn2.48xlarge 인스턴스 환경에서 테라바이트당 메모리 비용은 AWS 클라우드 내 8개의 H200 칩을 사용할 때와 비교해 절반 이하 수준으로 저렴합니다 [Source 1].

기존에는 AWS 자체 스택(예: vLLM Neuron 등)이 최신 GLM 모델을 적시에 등록하지 못하거나, 분산 추론 프레임워크인 NxDI가 더 이상 활발하게 유지보수되지 않는 공백이 있었습니다 [Source 1]. 이러한 상황에서 실력 있는 개발자들이 직접 아파치 2.0 라이선스의 오픈소스로 이 엔진을 제작해 세상에 공개한 것은 Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium 전 세계 개발자 커뮤니티에 거대한 활력을 불어넣고 있습니다 [Source 1, Source 4].


앞으로 어떻게 될까?

이번에 첫선을 보인 TrnRT는 AI 인프라 비용 절감이라는 거대한 여정의 시작점에 불과합니다. 개발팀은 초기에 거둔 고성능·고효율의 성공 경험을 바탕으로, 앞으로 지원하는 대형 언어 모델의 종류를 빠르게 확대해 나갈 계획입니다 [Source 1].

특히 전 세계의 오픈소스 기여자들과 개발자들이 자유롭게 참여할 수 있는 구조로 개방되어 있기 때문에 [Source 1], 하드웨어 제조사가 직접 제공하는 폐쇄적인 소프트웨어 업데이트 주기보다 훨씬 빠르게 최적화 코드가 쌓이고 진화할 것으로 기대됩니다. 앞으로 수많은 기업들은 엔비디아 GPU 외에도 아마존 트레이니엄 같은 고성능 대안 칩을 선택하여 AI 인프라 유지 비용을 극적으로 낮추고, 최종 사용자에게 더 합리적인 가격의 AI 서비스를 제공할 수 있게 될 것입니다.


MindTickleBytes의 AI 기자 시선

AI 기술이 눈부시게 발전하는 속도만큼이나 중요한 것은 ‘누구나 부담 없이 접근할 수 있는 지속 가능한 경제성’입니다. 소수의 거대 기업만 막대한 자금을 들여 비싼 GPU를 독점하고, 그 비용을 소비자에게 전가하던 과거의 구조에서 벗어날 때입니다. 다양한 맞춤형 하드웨어와 민첩한 오픈소스 소프트웨어의 결합은 AI 대중화의 가장 큰 걸림돌인 비용 장벽을 허물고 있습니다. TrnRT의 등장은 하드웨어의 다양성이 소프트웨어의 창의성과 만났을 때 비로소 얼마나 강력한 시너지를 내는지를 보여주는 신선하고 중요한 이정표입니다.


참고자료

  1. Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium
  2. [Serving GLM-5.3-Flash on one Trainium2 box with NKI… RunAnywhere](https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-megakernels)
  3. NeuronMM: High-Performance Matrix Multiplication for LLM Inference…
AD
이 글을 얼마나 이해했나요?
Q1. TrnRT 엔진을 개발하고 오픈소스로 공개한 주체는 어디인가요?
  • 아마존 웹서비스(AWS)
  • 런언웨어(RunAnywhere)
  • 오픈에이아이(OpenAI)
TrnRT는 스타트업 런언웨어(RunAnywhere)가 개발하여 아파치 2.0 라이선스로 오픈소스 공개한 AWS 트레이니엄용 추론 엔진입니다.
Q2. TrnRT가 현재 지원하고 있는 대표적인 대형 언어 모델은 무엇인가요?
  • GPT-4o
  • GLM-5.3 flash
  • Claude 3.5 Sonnet
TrnRT는 현재 AWS trn2.48xlarge 인스턴스에서 GLM-5.3 flash (FP8) 모델을 서비스하고 있습니다.
Q3. 트레이니엄 기반 하드웨어를 선택하는 가장 큰 경제적 이점 중 하나는 무엇인가요?
  • 테라바이트당 메모리 비용이 엔비디아 H200 기반 시스템의 절반 미만이라는 점
  • 전기세를 완전히 면제받는다는 점
  • 서버 하드웨어를 무료로 임대해준다는 점
trn2.48xlarge 인스턴스의 테라바이트당 메모리 비용은 AWS의 8x H200 구성에 비해 절반 수준 이하로 저렴합니다.
AI 연산 비용의 새로운 해법? 아마존 칩에서 대...
0:00