在評估 LLM 效能的「騎腳踏車的鵜鶘」測試中,AI 生成的圖像日趨相似,出現了「多樣性崩潰」現象。本文將從專家觀點分析此現象的成因與啟示。
AI 聊天機器人為何只會畫騎腳踏車的鵜鶘?深入探討「多樣性崩潰」現象
試想一下。您要求頂尖的 AI 聊天機器人畫一張圖。不是普通的貓咪或絕美風景畫,而是有些古怪的「騎腳踏車的鵜鶘」。本來期待 AI 能帶給我們五花八門的驚喜畫作,結果回傳的竟是長相一模一樣的鵜鶘,以及完全相同的腳踏車。彷彿所有 AI 都是從同一家工廠生產出來的。
近期,人工智慧(AI)領域出現了一項受到關注的「鵜鶘測試」。這是一種用於評估大型語言模型(LLM)效能的基準測試,特別是衡量其指令遵循能力與創意產出。然而,在這項「騎腳踏車的鵜鶘」測試中,卻發現 AI 生成的結果日趨相似,專家將此現象稱為「LLM 多樣性崩潰(LLM diversity collapse)」。出處: The Emperor Pelican Has No Clothes - arcfu.com 出處: Why the Pelican Test Worked and Why It Is Done - LLM …
這為何重要?
隨著 AI 技術深入我們的生活,AI 產出內容的多樣性與創造力成為了關鍵議題。如果 AI 總是依循同樣的思維模式並給出相同的結果,會發生什麼事?這意味著 AI 的創造力有限,在解決非預期問題或提出創新點子時的能力將有所欠缺。
AI 的真正價值不僅在於快速準確地處理資訊,更在於擴展人類的思考方式並提供新視角。比喻來說,這就像所有主廚在烹調世上所有料理時,都只使用同一份食譜。料理的多元與創意將消失,我們的味蕾體驗會變得極度單調。試想,若 AI 在醫療診斷、法律諮詢或複雜的科學研究中,只給出單一的「最優」路徑而不探索其他可能性,我們可能會錯失罕見疾病的診斷良機或創新的科學發現。
事實上,研究人員分析了 18 個 LLM 所產生的超過 1,300 萬個標籤後發現,「幾乎所有假設都能在統計學上達成顯著性」。這暗示了只要稍作調整 LLM 的設定,結果便可能產生巨大差異;反之,若依特定設定運作,則極易導向高度統一的結果。出處: LLMHacking: 6 Strategies to Avoid False Findings in Your Research. LLM 只生成統一結果的現象,令人懷疑 AI 終究是在重複習得的模式,而非真正的「理解」。
「騎腳踏車的鵜鶘」出了什麼問題?
「騎腳踏車的鵜鶘」提示詞旨在綜合測試 LLM 的圖像生成能力與指令遵循能力。出處: Why the Pelican Test Worked and Why It Is Done - LLM … 出處: I tested the top local LLMs against ChatGPT and Claude … - MUO 通過此測試有幾個標準:首先,生成的圖像必須讓人一眼認出是「鵜鶘」;其次,腳踏車必須具備完整的車輪與車架;最重要的是,鵜鶘必須是處於「正在騎乘」的狀態。出處: I tested the top local LLMs against ChatGPT and Claude … - MUO
過去,針對這項提示詞,不同的 LLM 能產出各具特色且多樣化的鵜鶘圖像。有的鵜鶘戴著頭盔,有的蓄著鬍鬚,腳踏車的樣式也各異。這證明了 LLM 在解析提示詞與創意實踐方面表現卓越。出處: Simon Willison on pelican-riding-a-bicycle
然而,近幾個月來,LLM 生成的「騎腳踏車的鵜鶘」圖像相似度高得驚人。出處: The last six months in LLMs, illustrated by pelicans on bicycles 出處: The Emperor Pelican Has No Clothes - arcfu.com 正如前述,這便是 LLM 的「多樣性崩潰」現象。
現況:格式化的鵜鶘們
這種格式化現象對 LLM 的開發與評估方式提出了根本性的質疑。有分析指出,AI 模型在「高推理(high reasoning)」等特定設定下可能展現出更好的效能,但這反而可能損害了結果的多樣性。出處: Simon Willison on llm-reasoning 當模型以「高推理」模式執行時,針對特定提示詞,傾向於產生最「安全且經過驗證」結果的動機可能會增強。結果就是只會生成最普遍、最可預測的圖像,而排除了獨創或非預期的詮釋。出處: 2025 in LLMs so far - ai.engineer
這引發了懷疑:AI 是否根本不是在「理解」或「思考」,而僅是模仿學習數據中出現頻率最高的模式。如果 LLM 總是重複同樣的姿態,這說明 AI 作為啟發我們想像力與開啟新可能性的工具,其角色是有侷限的。
未來走向?
LLM 的「多樣性崩潰」現象鮮明地呈現了 AI 技術發展的一體兩面。一方面 AI 正以驚人速度發展,逼近人類智慧;但另一方面,隨著結果趨於統一,也對創意這一人類獨有的領域提出了質疑。
未來,AI 開發者除了提升效能外,還需專注於研究 AI 能產出多麼豐富多樣的創意成果。同時正如「騎腳踏車的鵜鶘」測試所示,必須銘記 AI 的評估方式本身也會影響結果的多樣性。如前所述,研究者 Bauman 等人發表的論文警示,目前的評估方法可能過於聚焦在尋找能達成特定結果的設定,而非衡量 AI 的真實能力。出處: LLMHacking: 6 Strategies to Avoid False Findings in Your Research.
為了讓 AI 真正成為補充與擴展人類智慧的工具,發展方向必須克服統一結果的陷阱,並轉向包容更大範圍的創造力與不可預測性。騎腳踏車的鵜鶘所呈現的格式化現象,正對 AI 的未來發展道路提出關鍵的省思要求。
參考資料
- Why the Pelican Test Worked and Why It Is Done - LLM … - https://braindetox.kr/en/posts/llm_benchmark_pelican_test_2026.html
- The last six months in LLMs, illustrated by pelicans on bicycles - https://simonwillison.net/2025/Jun/6/six-months-in-llms/
- 2025 in LLMs so far - ai.engineer - https://ai.engineer/talks/YpY83-kA7Bo-llm-pelican-benchmark
- I tested the top local LLMs against ChatGPT and Claude … - MUO - https://www.makeuseof.com/tested-the-best-local-llms-against-claude-and-chatgpt-with-one-a-pelican/
- The Emperor Pelican Has No Clothes - arcfu.com - https://arcfu.com/post/the-emperor-pelican-has-no-clothes/
- Simon Willison on pelican-riding-a-bicycle - https://simonwillison.net/tags/pelican-riding-a-bicycle/
- LLM- Detailed dive into LLM w Andrej Karpathy… - Obsidian Publish - https://publish.obsidian.md/followtheidea/Content/AI/LLM+-+Detailed+dive+into+LLM+w+Andrej+Karpathy
- LLMHacking: 6 Strategies to Avoid False Findings in Your Research. - https://www.linkedin.com/pulse/llm-hacking-6-strategies-avoid-false-findings-your-mikel-k-ngueajio-nogqf
- Simon Willison on llm-reasoning - https://simonwillison.net/tags/llm-reasoning/
- 貓咪照片生成
- 有風天氣的風景畫
- 騎腳踏車的鵜鶘 SVG 生成
- 城市夜景描寫
- 鵜鶘的顏色與大小
- 腳踏車的品牌與型號
- 鵜鶘是否可識別、腳踏車是否結構完整、鵜鶘是否真的在騎車
- 鵜鶘所穿的衣物
- AI 變得更有創造力且不可預測
- AI 生成的結果趨於雷同,導致創造力下降
- AI 的學習能力降低
- AI 模型間的效能差距變大