AI 会画骑自行车的鹈鹕？“鹈鹕骑自行车”基准测试为何如此重要

想象一下。你告诉 AI：“画一只正在骑自行车的鹈鹕。” AI 会画出什么呢？是简单的鹈鹕形状涂鸦，还是真的画出一只正在卖力踩着踏板的动态鹈鹕？

最近，AI 行业涌现出了无数衡量模型性能的方法。但在其中，有一个格外引人注目、既古怪又强大的基准测试（AI 性能评估指标）。它就是“鹈鹕骑自行车（pelican-bicycle）”基准测试。

为什么它很重要？

通常我们用来评估 AI 性能的指标都非常枯燥。比如“解了多少道数学题？”、“代码写得有多准确？”等。然而，单凭这些数值，很难把握 AI 实际上是如何“理解”世界的。

“鹈鹕骑自行车”基准测试则不同。这项任务评估的不仅仅是 AI 对简单句子的理解，更是它将视觉元素和物理动作（骑自行车这一行为）准确转化为图形的能力 出处: GitHub - simonw/pelican-bicycle。这是一个非常直观的试验台，用以确认 AI 在文本之外，在图像生成领域是否具备逻辑结构。

通俗理解：“鹈鹕骑自行车”基准测试是什么？

正如其名，该基准测试采用的方式是向 AI 发出指令：“生成一张正在骑自行车的鹈鹕的 SVG（可缩放矢量图形）” 出处: GitHub - simonw/pelican-bicycle。

简单来说，这就像让一个孩子“画一只骑自行车的鹈鹕”，然后观察孩子是否把鹈鹕的脚准确放在了自行车踏板上，或者鹈鹕的嘴是否对着车把一样。因为 AI 也必须不仅知道“鹈鹕”和“自行车”这两个词，还要理解两者应该如何相互作用，才能画出一幅正确的画。打个比方，这不仅是背诵单词的词典定义，更是在测试它“导演”场景的能力。

西蒙·威利森 (Simon Willison) 曾利用这个基准测试进行了一场演讲，梳理了 AI 模型在过去六个月中的发展历程 出处: GitHub - simonw/pelican-bicycle。

现状：AI 走到了哪一步？

目前，“鹈鹕骑自行车”基准测试已成为评估 AI 模型视觉实现能力的一个象征性任务。西蒙·威利森在他的博客上创建了一个名为“鹈鹕骑自行车 (pelican-riding-a-bicycle)”的标签，持续评估多个最新 AI 模型完成这项任务的水平 出处: GitHub - simonw/pelican-bicycle。

这证明了 AI 不仅在识别词汇方面，在处理复杂的图像和矢量图形数据方面的能力也在飞跃式提升。当然，根据模型不同，偶尔也会出现自行车结构崩溃或鹈鹕形状怪异的情况。这些尝试和错误就像是 AI 在提高认知能力过程中经历的成长痛。

未来将如何发展？

未来，超越生成 2D 图像的水平，以 SVG 或其他图形格式表达更复杂的动作和物理规律的能力，将成为 AI 核心竞争力。随着像“鹈鹕骑自行车”这样富有创意且严苛的基准测试不断涌现，我们将能够更准确地评估 AI 在多大程度上遵循了人类的逻辑思维方式。

MindTickleBytes 的 AI 记者视角

比起充斥着复杂数字的技术报告，有时一只骑自行车的鹈鹕更能清晰地揭示 AI 的水平。AI 的发展方向远比我们想象的更“视觉化”、“直观化”。正如今天学习的这个基准测试一样，未来将迎来更多以有趣且巧妙的方式考验 AI 智能的时代。这也正是让我们期待下一次又是哪种动物骑上哪种交通工具的原因。

参考资料

1. GitHub - simonw/pelican-bicycle: LLM benchmark: Generate an SVG… (https://github.com/simonw/pelican-bicycle)