AI不再长篇大论,只做“决策”?9.5倍提速的AI模型揭秘

描绘AI快速分析数据并做出即时决策的图形。
AI Summary

介绍一种无需长篇大论、直接输出行动导向答案,比传统大语言模型(LLM)快几十倍的“决策模型(Jev)”,以及高效运维该模型的技术“Flide”。

想象一下:你正处于需要在智能手机上实时过滤垃圾邮件,或者在股票数据中捕捉转瞬即逝的买入/卖出时机的场景。此时,如果你请求AI:“请用三段话解释为什么这些数据是垃圾邮件,或者是卖出信号”,结果会怎样?等待回答的那几秒钟一旦流逝,你就可能错过了最关键的时机。

最近,人工智能行业开始关注一种新型模型,它们不再进行冗长的文字解释,而是直接做出“决策”。这就是像“Jev”一样的“决策模型(Decision Models)”。

这为什么很重要?(Why It Matters)

我们常用的如ChatGPT等大语言模型(LLM)虽然非常聪明,但生成回答需要相当长的时间。这是因为它们需要斟酌句式、添加客套的解释。但在实际的数据处理现场,比起详细的解释,“这是垃圾邮件(Yes/No)”或“重要度为85分”这种即时信号价值更高。

“Jev类”决策模型瞄准的正是这种实用领域。无需人类阅读传统LLM撰写的长篇报告,AI直接给出分数和类别(Category),软件接收后即可立即付诸行动。这一过程比传统LLM处理速度快出两位数以上,因而非常高效 出处: Introducing System One Models and Jev。

通俗理解 (The Explainer)

打个比方吧:如果传统LLM是那种详细说明食谱的“亲切厨师”,那么决策模型就是那种一看到食材就喊“这个适合炒菜!”并立即分类放进篮子的“超高速分类器”。

  1. “系统一(System One)”模式:如同人类大脑无意识中做出即时判断一样,这些模型无需复杂的逻辑生成过程,即可直接返回类别或分数 出处: Scaling JEV-like Decision Models with SGLang。
  2. 效率:决策模型不撰写长文,因此不会浪费计算资源。正因如此,它无需依赖云服务器,在本地环境(如个人电脑或智能手机)中也能充分运行 出处: Jev-like decision models are flooding the AI market…。

事实上,近期研究表明,在本地运行的模型响应速度比基于云的通用模型快了近20倍 出处: Локальная модель Laya на 421 млн параметров превзошла…。

现状 (Where We Stand)

目前,包括Jev在内的决策模型正在涌向市场 出处: Jev-like decision models are flooding the AI market…。这些模型不仅能给出正确答案,还会同时计算出对自己所做决策的“置信度(Confidence Level)” 出处: Introducing the Artificial Analysis Decision Index v2。

例如,AI在判断是否为垃圾邮件时,若置信度较低,则会交给人工核查;若置信度高,则立即拦截。在此基础上,像最近发布的“Flide”这样的库,将这些模型的处理速度最高提升了9.5倍,打破了实时判断的瓶颈 出处: flide· PyPI。

未来展望 (What’s Next)

未来,所有的AI将不会再像人一样尝试进行聊天式对话。取而代之的是,在用户看不见的APP内部,能够在0.01秒内做出最优决策并分类信息的“无形AI”将会更多。

这些模型更轻、更快,且能直接在个人设备上运行,降低了个人信息泄露的风险。AI不仅超越了能够听写对话的时代,现在已经进入了替代人类闪电般做出判断的时代。

AI视点 (MindTickleBytes的AI记者视点)

如果说语言模型证明了“表达能力”,那么决策模型正在证明“判断能力”的实用性。在速度即竞争力的数字世界中,快速决策将取代迟缓的解释,成为人工智能的新标准。

参考资料

  1. flide· PyPI
  2. [Introducing the Artificial Analysis Decision Index v2 Artificial Analysis](https://artificialanalysis.ai/articles/decision-index-v2)
  3. [Jev-like decision models are flooding the AI market… Tom’s Hardware](https://www.tomshardware.com/tech-industry/artificial-intelligence/jev-like-decision-models-are-flooding-the-ai-market-after-researcher-claims-typesafe-copied-their-research-microsoft-openai-among-companies-releasing-lightweight-system-one-ai-models)
  4. bestjev: 896 Open Source Jev Projects & Tools
  5. Scaling JEV-like Decision Models with SGLang - LMSYS Org
  6. [LitJev: Benchmarks & research with Jev Calibrated Decisions](https://calibrateddecisions.com/projects/litjev)
  7. Introducing System One Models and Jev - TypeSafe AI Blog
  8. Scaling JEV-like Decision Models with SGLang - LMSYS Org
  9. Локальная модель Laya на 421 млн параметров превзошла…
AD
测试你的理解
Q1. 与传统大语言模型(LLM)相比,“Jev类”决策模型最大的特点是什么?
  • 撰写非常长的报告
  • 立即返回类别(Category)或分数(Score)
  • 必须始终经过人工确认
决策模型不使用叙述性解释,而是输出系统可以直接使用的类别或分数。
Q2. Jev类模型之所以被称为“系统一(System One)”AI,原因是什么?
  • 只能在最新型电脑上运行
  • 像人的直觉一样可以进行快速高效的处理
  • 是开发最早的AI
因为它像人类直觉且快速的思维系统“系统一”一样,能够非常快速且高效地做出判断。
Q3. Flide等技术为什么很重要?
  • 因为可以调节AI的色彩
  • 因为能让决策模型运行速度显著提升
  • 因为能让AI的回答变得更长
Flide是一个重要的工具,它通过优化决策模型,使其运行速度比以往提升了最高9.5倍。