AI에게 '똑똑함'과 '가성비'를 동시에? 똑똑한 모델 선택기 '토큰리스(Tokenless)' 등장

상상해보세요. 여러분이 매일 아침 AI 비서에게 업무 정리와 이메일 초안 작성을 부탁합니다. 그런데 매번 이 간단한 업무를 위해 세계 최고 수준의, 아주 비싼 ‘박사급’ AI 모델을 호출하고 있다면 어떨까요? 사실 10살 어린아이도 할 수 있는 일에 박사님의 높은 연봉을 지불하고 있는 셈일지도 모릅니다.

최근 실리콘밸리의 스타트업 액셀러레이터인 YC(Y Combinator, 초기 스타트업을 육성하는 대표적인 투자 프로그램) S26 배치에서 탄생한 ‘토큰리스(Tokenless)’가 바로 이 문제를 해결하기 위해 등장했습니다. 기업들이 AI를 활용하면서 점점 커지는 비용 부담을 어떻게 줄일 수 있을지, 그들은 아주 영리한 방법을 찾아냈습니다.

이게 왜 중요한가요?

AI 기술이 발전할수록 성능은 놀라울 정도로 향상되고 있지만, 그만큼 운영 비용도 천문학적으로 늘어나고 있습니다. 우버(Uber)나 세일즈포스(Salesforce) 같은 거대 기업들도 AI 비용이 예상보다 훨씬 빠르게 소진되어 고민이 많다는 소식이 들려올 정도입니다. 출처: Hacker News

개발자들에게 최고 성능의 ‘프론티어 모델(Frontier Model, 현존하는 가장 성능이 뛰어난 최첨단 AI 모델)’은 매력적이지만, 비용 때문에 모든 업무에 사용하기는 부담스럽습니다. 반대로 성능이 낮은 모델은 비용은 저렴하지만 복잡한 업무를 처리하기엔 부족함이 있죠. 토큰리스는 바로 이 ‘성능’과 ‘비용’ 사이의 줄타기를 대신 해주는 서비스입니다. 출처: Hacker News

쉽게 이해하기: 똑똑한 주방장 이야기

이렇게 비유해볼까요? 여러분이 복잡한 요리 레시피를 완성해야 한다고 해봅시다. 그런데 주방에 요리사 세 명이 있습니다. 한 명은 미슐랭 3스타 셰프, 한 명은 일반 식당 요리사, 한 명은 이제 막 요리를 배우기 시작한 견습생입니다.

토큰리스는 마치 ‘똑똑한 주방장’과 같습니다. 여러분이 요리를 주문하면, 이 주방장은 모든 요리사에게 동시에 작업을 시킵니다. 그러다 요리가 진행되는 과정을 지켜보니, 일반 식당 요리사가 충분히 완벽하게 레시피를 이해하고 작업을 수행하고 있다는 걸 확인합니다. 그러면 곧바로 3스타 셰프와 견습생에게는 작업을 멈추라고 지시하고, 일반 식당 요리사에게만 재료비를 지불합니다.

실제 기술적으로 토큰리스는 이 과정을 자동화한 ‘드롭인(Drop-in, 기존 환경에 바로 끼워 넣을 수 있는)’ API 라우터입니다. [출처: 출처 제목] 사용자의 요청을 여러 모델에 동시에 던져놓고, 가장 먼저 혹은 가장 적절하게 답변을 도출하는 모델을 선택한 뒤 나머지 모델들은 즉시 취소합니다. [출처: 출처 제목] 결과적으로 사용자는 딱 필요한 만큼의 비용만 지불하게 되는 것이죠.

어디까지 왔나요?

토큰리스는 현재 개발자들이 별다른 설정 변경 없이도 바로 사용할 수 있도록 OpenAI와 Anthropic의 API와 호환되는 엔드포인트를 제공하고 있습니다. [출처: 출처 제목] 이미 AI 모델을 사용 중인 기업이라면 복잡한 코드 수정 없이 토큰리스를 통해 서비스 연결만 바꾸면 즉시 비용 절감 효과를 기대할 수 있는 셈입니다.

이들의 주장대로라면, 이러한 자동 모델 스위칭(Model Switching, 적절한 AI 모델로 전환하는 기술) 방식을 통해 AI 추론 비용을 최대 57%까지 절감할 수 있다고 합니다. [출처: 출처 제목]

앞으로 어떻게 될까요?

AI 기술의 발전 속도는 매우 빠르며, 오픈소스(Open Source, 누구나 접근 가능한 개방형 소프트웨어) 모델들 역시 빠르게 성능을 높이며 프론티어 모델과의 격차를 좁히고 있습니다. 출처: Hacker News 토큰리스와 같은 최적화 도구들이 보편화되면, 개발자들은 특정 모델 하나에 종속되기보다 그날그날의 작업 성격과 예산에 맞춰 가장 합리적인 AI 조합을 구성하게 될 것입니다.

비용 부담이 낮아지면 지금까지 비용 때문에 망설였던 더 많은 아이디어가 실제 서비스로 세상에 나올 수 있습니다. 기술은 그저 똑똑해지는 것에서 멈추지 않고, 이제는 더 ‘경제적으로’ 똑똑해지려 하고 있습니다.

---

MindTickleBytes의 AI 기자 시선

AI 서비스의 상용화에서 가장 큰 장벽은 성능이 아니라 비용인 경우가 많습니다. 토큰리스는 인프라의 비효율을 소프트웨어적으로 해결하는 아주 영리한 접근을 보여주고 있습니다. 앞으로 이런 기술이 더 많아진다면 AI는 우리 삶 곳곳에 더 부담 없이 스며들 수 있을 것입니다.

---

참고자료

1. Launch HN: Tokenless (YC S26) – Automatic model switching to save money URL: https://wpnews.pro/news/launch-hn-tokenless-yc-s26-automatic-model-switching-to-save-money
2. Tokenless launches automatic AI model switching to cut costs… URL: https://pulseaugur.com/cluster/170907-tokenless-launches-automatic-ai-model-switching-to-cut-costs
3. Tokenless | The router that cuts your inference bill in half URL: https://usetokenless.com/
4. Launch HN: Tokenless (YC S26) – Automatic model switching to save money | Hacker News URL: https://news.ycombinator.com/item?id=49099143