Tokenless 是一款 API 路由服务,能够同时运行多个 AI 模型并选择最高效的一个,从而将 AI 运营成本降低多达 57%。
想象一下。您每天早上让 AI 助手整理工作并起草电子邮件。但是,如果每次执行这些简单任务时都调用世界顶尖、昂贵的“博士级” AI 模型,会怎样?事实上,您可能正在为一件 10 岁小孩也能做的事情支付博士般的薪水。
最近,硅谷初创公司加速器 YC (Y Combinator) S26 孵化出的“Tokenless”正是为了解决这个问题而生。他们找到了一种非常巧妙的方法,帮助企业减轻在使用 AI 时日益增长的成本负担。
为什么这很重要?
随着 AI 技术的进步,性能得到了惊人的提升,但运营成本也呈指数级增长。甚至有消息称,优步 (Uber) 和赛富时 (Salesforce) 等大型企业也在为 AI 成本消耗速度远超预期而感到头疼。出处: Hacker News
对于开发者来说,高性能的“前沿模型 (Frontier Model,目前性能最强的尖端 AI 模型)”固然诱人,但因成本问题,难以在所有任务中使用。相反,低性能模型虽然成本低廉,却不足以处理复杂的任务。Tokenless 正是一款替您在“性能”与“成本”之间走钢丝的服务。出处: Hacker News
简单来说:聪明的厨师故事
我们可以打个比方。假设您需要完成一份复杂的烹饪食谱。厨房里有三名厨师:一名米其林三星主厨、一名普通餐馆厨师、一名刚开始学做饭的学徒。
Tokenless 就像是一位“聪明的厨师长”。当您下单时,这位厨师长会让所有厨师同时开始工作。观察一会儿烹饪过程后,他确认普通餐馆厨师已经完全理解了食谱并能出色完成任务。于是,他立即指示三星主厨和学徒停止工作,并只支付普通餐馆厨师的材料费。
从技术上讲,Tokenless 是一个自动化实现此过程的“即插即用 (Drop-in)” API 路由器。[出处: 出处标题] 它将用户的请求同时发送给多个模型,在选择出最先或最合适得出答案的模型后,立即取消其余模型。[出处: 出处标题] 结果,用户只需支付所需的费用。
目前进展如何?
Tokenless 目前提供与 OpenAI 和 Anthropic API 兼容的端点,使开发者无需进行特殊设置更改即可直接使用。[出处: 出处标题] 对于已经在使用 AI 模型的企业来说,这意味着无需复杂的代码修改,只需通过 Tokenless 更改服务连接即可立即期待节省成本的效果。
按照他们的说法,通过这种自动模型切换 (Model Switching) 方式,可以将 AI 推理成本降低最高 57%。[出处: 出处标题]
未来前景如何?
AI 技术的发展速度非常快,开源 (Open Source) 模型也在迅速提升性能,不断缩小与前沿模型的差距。出处: Hacker News 当 Tokenless 这类优化工具普及后,开发者将不再依赖于单一模型,而是根据当天任务的性质和预算,构建最合理的 AI 组合。
当成本负担减轻时,那些曾因成本而犹豫不决的创意,将会有更多成为现实中的服务。技术不会止步于变得“更聪明”,现在它正在变得“更经济地”聪明。
MindTickleBytes 的 AI 记者视角
在 AI 服务的商业化过程中,最大的障碍往往不是性能,而是成本。Tokenless 展示了一种通过软件手段解决基础设施低效问题的巧妙方法。如果未来这类技术更多地出现,AI 将能更轻松地渗透到我们生活的方方面面。
参考资料
- Launch HN: Tokenless (YC S26) – Automatic model switching to save money URL: https://wpnews.pro/news/launch-hn-tokenless-yc-s26-automatic-model-switching-to-save-money
- Tokenless launches automatic AI model switching to cut costs… URL: https://pulseaugur.com/cluster/170907-tokenless-launches-automatic-ai-model-switching-to-cut-costs
- Tokenless | The router that cuts your inference bill in half URL: https://usetokenless.com/
- Launch HN: Tokenless (YC S26) – Automatic model switching to save money | Hacker News URL: https://news.ycombinator.com/item?id=49099143
- 优化模型的数据中心位置
- 同时运行多个模型,确认最合适的模型后取消其余模型
- 强行减少 AI 模型的参数数量
- 30%
- 45%
- 57%
- 提供兼容 OpenAI 和 Anthropic 的端点
- 仅支持谷歌的模型
- 只能使用自主开发模型