AI 聊天機器人為何只會畫騎腳踏車的鵜鶘?深入探討「多樣性崩潰」現象

生成騎腳踏車鵜鶘圖像的 AI 聊天機器人
AI Summary

在評估 LLM 效能的「騎腳踏車的鵜鶘」測試中,AI 生成的圖像日趨相似,出現了「多樣性崩潰」現象。本文將從專家觀點分析此現象的成因與啟示。

AI 聊天機器人為何只會畫騎腳踏車的鵜鶘?深入探討「多樣性崩潰」現象

試想一下。您要求頂尖的 AI 聊天機器人畫一張圖。不是普通的貓咪或絕美風景畫,而是有些古怪的「騎腳踏車的鵜鶘」。本來期待 AI 能帶給我們五花八門的驚喜畫作,結果回傳的竟是長相一模一樣的鵜鶘,以及完全相同的腳踏車。彷彿所有 AI 都是從同一家工廠生產出來的。

近期,人工智慧(AI)領域出現了一項受到關注的「鵜鶘測試」。這是一種用於評估大型語言模型(LLM)效能的基準測試,特別是衡量其指令遵循能力與創意產出。然而,在這項「騎腳踏車的鵜鶘」測試中,卻發現 AI 生成的結果日趨相似,專家將此現象稱為「LLM 多樣性崩潰(LLM diversity collapse)」。出處: The Emperor Pelican Has No Clothes - arcfu.com 出處: Why the Pelican Test Worked and Why It Is Done - LLM …

這為何重要?

隨著 AI 技術深入我們的生活,AI 產出內容的多樣性與創造力成為了關鍵議題。如果 AI 總是依循同樣的思維模式並給出相同的結果,會發生什麼事?這意味著 AI 的創造力有限,在解決非預期問題或提出創新點子時的能力將有所欠缺。

AI 的真正價值不僅在於快速準確地處理資訊,更在於擴展人類的思考方式並提供新視角。比喻來說,這就像所有主廚在烹調世上所有料理時,都只使用同一份食譜。料理的多元與創意將消失,我們的味蕾體驗會變得極度單調。試想,若 AI 在醫療診斷、法律諮詢或複雜的科學研究中,只給出單一的「最優」路徑而不探索其他可能性,我們可能會錯失罕見疾病的診斷良機或創新的科學發現。

事實上,研究人員分析了 18 個 LLM 所產生的超過 1,300 萬個標籤後發現,「幾乎所有假設都能在統計學上達成顯著性」。這暗示了只要稍作調整 LLM 的設定,結果便可能產生巨大差異;反之,若依特定設定運作,則極易導向高度統一的結果。出處: LLMHacking: 6 Strategies to Avoid False Findings in Your Research. LLM 只生成統一結果的現象,令人懷疑 AI 終究是在重複習得的模式,而非真正的「理解」。

「騎腳踏車的鵜鶘」出了什麼問題?

「騎腳踏車的鵜鶘」提示詞旨在綜合測試 LLM 的圖像生成能力與指令遵循能力。出處: Why the Pelican Test Worked and Why It Is Done - LLM … 出處: I tested the top local LLMs against ChatGPT and Claude … - MUO 通過此測試有幾個標準:首先,生成的圖像必須讓人一眼認出是「鵜鶘」;其次,腳踏車必須具備完整的車輪與車架;最重要的是,鵜鶘必須是處於「正在騎乘」的狀態。出處: I tested the top local LLMs against ChatGPT and Claude … - MUO

過去,針對這項提示詞,不同的 LLM 能產出各具特色且多樣化的鵜鶘圖像。有的鵜鶘戴著頭盔,有的蓄著鬍鬚,腳踏車的樣式也各異。這證明了 LLM 在解析提示詞與創意實踐方面表現卓越。出處: Simon Willison on pelican-riding-a-bicycle

然而,近幾個月來,LLM 生成的「騎腳踏車的鵜鶘」圖像相似度高得驚人。出處: The last six months in LLMs, illustrated by pelicans on bicycles 出處: The Emperor Pelican Has No Clothes - arcfu.com 正如前述,這便是 LLM 的「多樣性崩潰」現象。

現況:格式化的鵜鶘們

這種格式化現象對 LLM 的開發與評估方式提出了根本性的質疑。有分析指出,AI 模型在「高推理(high reasoning)」等特定設定下可能展現出更好的效能,但這反而可能損害了結果的多樣性。出處: Simon Willison on llm-reasoning 當模型以「高推理」模式執行時,針對特定提示詞,傾向於產生最「安全且經過驗證」結果的動機可能會增強。結果就是只會生成最普遍、最可預測的圖像,而排除了獨創或非預期的詮釋。出處: 2025 in LLMs so far - ai.engineer

這引發了懷疑:AI 是否根本不是在「理解」或「思考」,而僅是模仿學習數據中出現頻率最高的模式。如果 LLM 總是重複同樣的姿態,這說明 AI 作為啟發我們想像力與開啟新可能性的工具,其角色是有侷限的。

未來走向?

LLM 的「多樣性崩潰」現象鮮明地呈現了 AI 技術發展的一體兩面。一方面 AI 正以驚人速度發展,逼近人類智慧;但另一方面,隨著結果趨於統一,也對創意這一人類獨有的領域提出了質疑。

未來,AI 開發者除了提升效能外,還需專注於研究 AI 能產出多麼豐富多樣的創意成果。同時正如「騎腳踏車的鵜鶘」測試所示,必須銘記 AI 的評估方式本身也會影響結果的多樣性。如前所述,研究者 Bauman 等人發表的論文警示,目前的評估方法可能過於聚焦在尋找能達成特定結果的設定,而非衡量 AI 的真實能力。出處: LLMHacking: 6 Strategies to Avoid False Findings in Your Research.

為了讓 AI 真正成為補充與擴展人類智慧的工具,發展方向必須克服統一結果的陷阱,並轉向包容更大範圍的創造力與不可預測性。騎腳踏車的鵜鶘所呈現的格式化現象,正對 AI 的未來發展道路提出關鍵的省思要求。

參考資料

  1. Why the Pelican Test Worked and Why It Is Done - LLM … - https://braindetox.kr/en/posts/llm_benchmark_pelican_test_2026.html
  2. The last six months in LLMs, illustrated by pelicans on bicycles - https://simonwillison.net/2025/Jun/6/six-months-in-llms/
  3. 2025 in LLMs so far - ai.engineer - https://ai.engineer/talks/YpY83-kA7Bo-llm-pelican-benchmark
  4. I tested the top local LLMs against ChatGPT and Claude … - MUO - https://www.makeuseof.com/tested-the-best-local-llms-against-claude-and-chatgpt-with-one-a-pelican/
  5. The Emperor Pelican Has No Clothes - arcfu.com - https://arcfu.com/post/the-emperor-pelican-has-no-clothes/
  6. Simon Willison on pelican-riding-a-bicycle - https://simonwillison.net/tags/pelican-riding-a-bicycle/
  7. LLM- Detailed dive into LLM w Andrej Karpathy… - Obsidian Publish - https://publish.obsidian.md/followtheidea/Content/AI/LLM+-+Detailed+dive+into+LLM+w+Andrej+Karpathy
  8. LLMHacking: 6 Strategies to Avoid False Findings in Your Research. - https://www.linkedin.com/pulse/llm-hacking-6-strategies-avoid-false-findings-your-mikel-k-ngueajio-nogqf
  9. Simon Willison on llm-reasoning - https://simonwillison.net/tags/llm-reasoning/
AD
測試你的理解
Q1. 展現 AI 聊天機器人「多樣性崩潰」現象的代表性測試是什麼?
  • 貓咪照片生成
  • 有風天氣的風景畫
  • 騎腳踏車的鵜鶘 SVG 生成
  • 城市夜景描寫
在用於評估 LLM 效能與創造力的「騎腳踏車的鵜鶘」SVG 生成測試中,觀察到了 AI 生成結果日益雷同的「多樣性崩潰」現象。
Q2. LLM「鵜鶘測試」評估的主要要素是什麼?
  • 鵜鶘的顏色與大小
  • 腳踏車的品牌與型號
  • 鵜鶘是否可識別、腳踏車是否結構完整、鵜鶘是否真的在騎車
  • 鵜鶘所穿的衣物
鵜鶘測試綜合評估生成的鵜鶘是否可識別、腳踏車是否有車輪與車架,以及鵜鶘是否確實正騎著腳踏車等條件。
Q3. LLM 的「多樣性崩潰」現象代表什麼含義?
  • AI 變得更有創造力且不可預測
  • AI 生成的結果趨於雷同,導致創造力下降
  • AI 的學習能力降低
  • AI 模型間的效能差距變大
多樣性崩潰意指 LLM 生成的結果日益相似,導致創造力與不可預測性降低,這對 AI 的發展方向提出了重要問題。