AI 竟然會畫騎自行車的鵜鶘？「鵜鶘騎自行車」基準測試為何如此重要

試著想像一下。如果你對 AI 說：「請畫一隻正在騎自行車的鵜鶘。」AI 會交出什麼樣的畫作呢？它只是畫出鵜鶘形狀的塗鴉，還是真的能畫出一隻動態十足、正踩著自行車踏板的鵜鶘呢？

最近 AI 業界不斷湧現各種衡量模型性能的方法。但在這些方法中，有一個異常顯眼、既古怪又強大的基準測試（AI 性能評估指標）。那就是「鵜鶘騎自行車 (pelican-bicycle)」基準測試。

為什麼這很重要？

通常我們在評估 AI 性能時使用的指標都非常枯燥。例如「解開了幾道數學題？」、「程式碼寫得有多精確？」之類的。然而，單靠這些數值很難掌握 AI 到底是如何「理解」這個世界的。

「鵜鶘騎自行車」基準測試則不同。這項任務不僅考驗 AI 是否理解簡單的句子，還評估了它能否精確地以圖形實現視覺元素與物理動作（騎自行車的行為） 出處: GitHub - simonw/pelican-bicycle。這是一個非常直觀的測試台，用於確認 AI 在超越文字的影像生成領域中，具備多麼嚴謹的邏輯結構。

淺顯易懂：什麼是「鵜鶘騎自行車」基準測試？

顧名思義，這項基準測試的方式是向 AI 發送指令（提示詞）：「請生成一張騎著自行車的鵜鶘的 SVG（可縮放向量圖形）」 出處: GitHub - simonw/pelican-bicycle。

簡單來說，就像觀察一個孩子畫「騎自行車的鵜鶘」時，他是否正確地將鵜鶘的腳放在腳踏板上，鵜鶘的鳥喙是否朝向車把一樣。因為 AI 若要畫出正確的圖，不僅需要知道「鵜鶘」和「自行車」這兩個詞，還必須理解這兩者之間該如何互動。換個比喻，這是在測試 AI 不僅背誦單字的辭典定義，還具備「導演」場景的能力。

賽門·威利森 (Simon Willison) 也曾利用這項基準測試進行演講，總結了 AI 模型過去六個月來的發展狀況 出處: GitHub - simonw/pelican-bicycle。

現狀：AI 走到哪一步了？

目前，「鵜鶘騎自行車」基準測試已成為評估 AI 模型視覺實現能力的象徵性任務。賽門·威利森在他的部落格上建立了「鵜鶘騎自行車 (pelican-riding-a-bicycle)」標籤，持續審視各種最新的 AI 模型在執行這項任務時表現如何 出處: GitHub - simonw/pelican-bicycle。

這充分展現了 AI 從單純辨識單字，到處理複雜影像及向量圖形資料的能力正飛躍性地進步。當然，根據模型不同，有時仍會發生自行車結構崩壞，或是鵜鶘形態怪異的情況。這些試錯過程就像 AI 在提升認知能力的過程中經歷的「成長痛」。

未來會如何發展？

未來，超越單純生成 2D 影像的層次，以 SVG 或其他圖形格式表現更複雜的動作與物理定律的能力，將成為 AI 核心的競爭力。隨著像「鵜鶘騎自行車」這樣充滿創意且棘手的基準測試不斷出現，我們將能更精確地評估 AI 在多大程度上遵循人類的邏輯思維方式。

MindTickleBytes 的 AI 記者觀點

有時候，一隻騎自行車的鵜鶘，比起充滿複雜數值的技術報告，更能清晰地展現 AI 的水準。AI 的發展正朝向比我們想像中更「視覺化」且更「直觀」的方向前進。如同今天學到的這個基準測試，未來將會是一個以更有趣、更巧妙的方式來測試 AI 智慧的時代。這也是為什麼我會期待下一次，會有什麼動物騎上什麼樣的交通工具的原因。

參考資料

1. GitHub - simonw/pelican-bicycle: LLM benchmark: Generate an SVG… (https://github.com/simonw/pelican-bicycle)