如何确定 AI 代理是否真的有“实力”？

想象一下，你雇佣了一位个人助理 AI。你对它寄予厚望，因为它看起来非常聪明。然而，当你让它“整理会议资料”时，它要么拿错了文件，要么整理方式随心所欲。无论 AI 本身多么聪明，如果不教给助理“如何整理”或“如何查找资料”的方法，它就毫无用处。

最近，在 AI 领域，“教学”——即如何管理和评估赋予 AI 代理新能力与专业知识的技能 (Agent Skills)，已成为一个重要议题。今天，我们就来了解一下如何确认身边的 AI 是否真的具备了相应的实力。

为什么这很重要？

创建一个“聪明的 AI”与创建一个“真正能高效处理工作的 AI 代理”是完全不同的概念。代理技能可以帮助 AI 更快地解决预期目标，但如果技能设计不当，反而可能降低代理的性能，导致工作变得更加缓慢和复杂 参考：How to Evaluate Agent Skills (And Why You Should)。

当我们引入 AI 到实际工作中时，不能仅仅因为 AI 回答得好就完全信任它。我们需要验证它为了得出答案所使用的“工具”和“指令”，并评估其过程是否具有成本效率。评估技能就像给新员工提供详细反馈，以确保他们正确学习工作方式的过程。

易于理解：什么是技能？

简单来说，AI 代理的技能是一个“包含用于执行特定任务的指令和工具的文件夹”。通常，像 SKILL.md 这样的文件就是其核心 参考：A standardized way to give AI agents new capabilities and expertise.。

我们可以用厨师来做比喻：

• AI 模型：厨师的基本智能和感官。
• 技能：执行特定烹饪（如韩式食谱、意式烹饪法）所需的“详细配方”和“厨具”合集。

无论厨师（模型）多么出色，如果食谱（技能）编写错误或厨具生锈，都无法做出美味的菜肴。这就是我们需要评估“技能”的原因。最近，英伟达 (NVIDIA) 等企业推出了 SkillEvaluator 等工具，提供了一个评估框架，通过比较 AI 使用技能与不使用技能时的结果来验证其质量 参考：SkillEvaluator - NVIDIA Documentation Hub。

现状：我们如何进行评估？

评估 AI 代理与传统的模型评估完全不同。专家们通常利用“四大支柱 (Four Pillars) 框架”来进行评估 参考：Agent Evaluation: How to Test and Measure Agentic AI …：

1. 任务成功 (Task Success)：代理是否完成了分配的任务？
2. 工具质量 (Tool Quality)：执行任务所使用的工具是否适当且准确？
3. 推理连贯性 (Reasoning Coherence)：在执行过程中是否存在逻辑错误？
4. 成本效率 (Cost Efficiency)：是否以较少的资源（时间、计算能力）取得了结果？

未来发展趋势

随着 AI 代理的增多，标准化“技能”并实现自动评估的技术将变得更加精细。目前，许多开发者已经开始在各自的项目中加入定制化指令，并在这一过程中利用 AGENTS.md 等分层指令文件，将针对不同项目筛选最佳技能的工作常态化 参考：AGENTS.md。

请记住，各位读者：与其认为“AI 会自动处理一切”，不如培养一种批判性的眼光，关注 AI 是通过什么流程得出结果的，以及该过程是否高效。聪明的助理 AI 只有在我们对其进行正确指导和评估时，才能真正诞生。

参考资料

1. Agent Evaluation: How to Test and Measure Agentic AI …
2. How to Evaluate Agent Skills (And Why You Should)

3. [Mastering Agentic Techniques: AI Agent Evaluation

   NVIDIA …](https://developer.nvidia.com/blog/mastering-agentic-techniques-ai-agent-evaluation/)

4. SkillEvaluator - NVIDIA Documentation Hub
5. GitHub - NVIDIA/SkillEvaluator: Multi-tier framework for …
6. A standardized way to give AI agents new capabilities and expertise.
7. AGENTS.md