只需问 AI 一次：使用 'STROT' 实现永久性的本地 AI 决策

想象一下，每当需要汇总或分类复杂文档时，如果都必须付费请求云端的人工智能 (AI) 来回答，会怎样？等待回复的那几秒钟，以及对宝贵数据被发送到外部服务器的隐隐不安，往往成为我们在日常生活中使用 AI 技术的障碍。

最近在 Hacker News 上备受关注的开源项目 STROT (出处 1, 出处 7) 正是为了解决这个问题而诞生的。该技术的核心理念是：“只需问 AI 一次，之后就在你的电脑上永久执行决策。”

为什么这很重要？

在自动化日常任务时，AI 虽然非常有用，但每次都调用大型语言模型（LLM，通过学习海量数据来理解和生成语言的 AI）可能会显得效率低下。这不仅是因为成本问题，还因为依赖网络速度使得即时处理变得困难。

STROT 打破了这些限制，将 AI 的智能“编译”为代码并嵌入到用户的计算机中。通过这种方式，用户可以体验到以下实际变化：

• 零边际成本 (Zero Marginal Cost)： 无需每次都支付 API 调用费用，只需一次编译即可。 出处 1
• 即时速度： 所有处理均在用户本地硬件上完成，消除了网络延迟。 出处 1
• 高可靠性： 由于采用确定性方式（Deterministic，即在输入相同的情况下始终产生相同的结果）运行，用户无需担心因 AI “心情”不同而导致的回答反复、幻觉现象或代理行为不可预测的问题。 出处 2

简单易懂：烹饪食谱与资深大厨的比喻

让我们做一个比喻。大型语言模型 (LLM) 就像一位顶级大厨，掌握着全世界的烹饪知识。如果想开发一道新菜，就得一直去问这位大厨。每次问大厨都要耗费时间，还会产生费用。

STROT 是一个能够准确理解大厨意图，并将其制作成完美烹饪食谱（编译后的代码）的工具。一旦拿到这份食谱，就不再需要不断呼叫顶级大厨了，任何人只要按照食谱，在家里也能做出同样的味道。这个过程就是 STROT 执行的“编译”。现在，在运行时环境中，不再需要大厨，而是由一位轻巧敏捷的助手（小型 NLU 模型，自然语言理解模型）遵循食谱，快速准确地处理工作。 出处 2

核心概念：什么是 STROT

STROT 是 Structured Task Reasoning and Output Transformation（结构化任务推理与输出转换）的缩写。 出处 3, 出处 6 该框架于 2025 年 5 月首次以研究论文的形式发布，它通过将 AI 的意图转化为清晰的结构，使得分类（classification）、评分（scoring）和路由（routing）等分析任务变得更加可靠。 出处 3, 出处 5

目前，STROT 支持开发人员在 Python 环境中将包含自己意图的工作流编译为 LLM，并将其生成为独立的 Python 文件。 出处 2 生成的代码以具有类型安全性的 JSON（一种轻量级的数据存储和传输格式）输出结果，并提供每项决策的概率和置信度，使用户能够清楚地了解 AI 做出判断的依据。 出处 1

未来展望

如果像 STROT 这样的技术得到普及，在没有复杂云端 AI 基础设施的情况下，在本地环境中构建强大的个性化 AI 工具将变得更加容易。人们将尝试不仅将 AI 视为交流伙伴“聊天助手”，更将其作为“高效且明确的决策引擎”来利用。

未来，STROT 能否准确编译更多样化的数据格式和复杂业务将成为关键。如果你是一名开发者，何不现在就尝试将其应用到你的项目中，亲身体验一下这种将 AI 的角色从云端带回到本地电脑上的全新方式呢？

参考资料

1. GitHub - strot-ai/Project-STROT: https://github.com/strot-ai/Project-STROT
2. STROT: https://www.strot.ai/
3. [2505.01636] Structured Prompting and Feedback-Guided Reasoning with LLMs: https://arxiv.org/abs/2505.01636
4. The STROT Framework: Structured Prompting and Feedback-Guided Reasoning with LLMs: https://arxiv.org/pdf/2505.1636
5. Paper page - Structured Prompting and Feedback-Guided Reasoning with LLMs: https://huggingface.co/papers/2505.01636
6. The STROT Framework: Structured Prompting and Feedback-Guided Reasoning with LLMs: https://arxiv.org/html/2505.01636v1

7. HN.watch

   Hacker News with explainer videos: https://hn.watch/