AI 챗봇, 자전거 타는 펠리컨만 그리는 이유는? ‘다양성 붕괴’ 현상 파헤치기

상상해보세요. 여러분이 최고 성능의 AI 챗봇에게 그림을 그려달라고 요청했습니다. 평범한 고양이 그림이나 멋진 풍경화가 아닌, 조금은 엉뚱한 ‘자전거를 타는 펠리컨’을 말이죠. 분명 AI는 우리를 놀라게 할 다채로운 그림들을 선보일 거라 기대했겠지만, 돌아오는 결과물은 모두 똑같이 생긴 펠리컨과 똑같은 자전거였습니다. 마치 모든 AI가 똑같은 공장에서 찍혀 나온 듯한 그림만 내놓는 상황이죠.

최근 인공지능(AI) 분야에서 ‘펠리컨 테스트’라는 것이 주목받고 있습니다. 이는 대규모 언어 모델(LLM, Large Language Model)의 성능, 특히 지시를 얼마나 잘 따르고 창의적인 결과물을 만들어내는지를 평가하기 위한 일종의 벤치마크입니다. 그런데 이 ‘자전거 타는 펠리컨’ 테스트에서 AI들이 점점 더 비슷한 결과만을 생성한다는 놀라운 사실이 드러나고 있습니다. 전문가들이 이를 ‘LLM 다양성 붕괴(LLM diversity collapse)’라고 부르는 이유입니다. 출처: The Emperor Pelican Has No Clothes - arcfu.com 출처: Why the Pelican Test Worked and Why It Is Done - LLM …

이게 왜 중요할까요?

AI 기술이 우리 삶 깊숙이 파고들면서, AI의 결과물이 얼마나 다양하고 창의적인지는 매우 중요한 질문이 되었습니다. 만약 AI가 항상 똑같은 방식으로만 생각하고 동일한 결과만을 내놓는다면 어떻게 될까요? 이는 곧 AI의 창의성이 제한적이며, 예상치 못한 문제에 대한 해결책을 찾거나 새로운 아이디어를 제안하는 능력이 떨어진다는 것을 의미합니다.

AI의 진정한 가치는 단순히 정보를 빠르고 정확하게 처리하는 것을 넘어, 인간의 사고방식을 확장하고 새로운 관점을 제시하는 데 있습니다. 비유하자면, 모든 셰프가 세상의 모든 요리에 단 하나의 레시피만을 사용하는 것과 같습니다. 요리의 다양성과 창의성은 사라지고, 우리의 미각 경험은 극도로 단조로워질 것입니다. 상상해보세요. 만약 AI가 의료 진단, 법률 자문, 또는 복잡한 과학 연구에서 단 하나의 ‘최적’ 경로만을 제시하고 다른 가능성을 탐색하지 않는다면, 희귀 질환의 진단이나 혁신적인 과학적 발견의 기회를 놓칠 수도 있습니다.

실제로 연구자들은 1,300만 개 이상의 레이블을 18개 LLM으로부터 분석한 결과, ‘거의 모든 가설을 통계적으로 유의미하게 만들 수 있다’는 사실을 발견했습니다. 이는 LLM의 설정을 조금만 바꾸어도 결과가 크게 달라질 수 있음을 시사하며, 반대로 말하면 특정 설정에 따라 매우 획일적인 결과가 쉽게 도출될 수 있다는 의미이기도 합니다. 출처: LLMHacking: 6 Strategies to Avoid False Findings in Your Research. LLM이 획일적인 결과만을 생성한다는 것은 AI가 진정한 ‘이해’보다는 학습된 패턴의 반복에 그치고 있다는 의심을 낳게 합니다.

‘자전거 타는 펠리컨’은 무엇이 문제일까요?

‘자전거 타는 펠리컨’ 프롬프트는 LLM의 이미지 생성 능력과 복잡한 지시를 얼마나 잘 따르는지를 종합적으로 테스트하기 위해 고안되었습니다. 출처: Why the Pelican Test Worked and Why It Is Done - LLM … 출처: I tested the top local LLMs against ChatGPT and Claude … - MUO 이 테스트를 통과하기 위해서는 몇 가지 기준이 필요합니다. 먼저, 생성된 이미지가 ‘펠리컨’이라는 것을 알아볼 수 있어야 합니다. 또한, 자전거에는 바퀴와 프레임이 제대로 갖춰져 있어야 하며, 가장 중요한 것은 펠리컨이 실제로 자전거를 ‘타고 있는’ 모습이어야 합니다. 출처: I tested the top local LLMs against ChatGPT and Claude … - MUO

과거에는 이 프롬프트에 대해 LLM마다 개성 있고 다양한 펠리컨 그림을 생성했습니다. 어떤 펠리컨은 헬멧을 쓰고 있었고, 어떤 펠리컨은 콧수염을 기르고 있었으며, 자전거의 종류도 제각각이었습니다. 이는 LLM이 프롬프트를 해석하고 창의적으로 구현하는 능력이 뛰어나다는 것을 보여주는 증거였습니다. 출처: Simon Willison on pelican-riding-a-bicycle

하지만 최근 몇 달간, LLM들이 내놓는 ‘자전거 타는 펠리컨’ 그림들은 놀라울 정도로 비슷해졌습니다. 출처: The last six months in LLMs, illustrated by pelicans on bicycles 출처: The Emperor Pelican Has No Clothes - arcfu.com 앞서 말했듯, 이것이 바로 LLM의 ‘다양성 붕괴’ 현상입니다.

현재 상황: 획일화된 펠리컨들

이러한 획일화는 LLM의 개발 및 평가 방식에 대한 근본적인 질문을 던집니다. AI 모델들은 ‘높은 추론(high reasoning)’과 같은 특정 설정에서 더 나은 성능을 보일 수 있지만, 이것이 오히려 결과의 다양성을 해치는 요인이 될 수 있다는 분석도 있습니다. 출처: Simon Willison on llm-reasoning 모델이 ‘높은 추론’ 모드에서 실행될 때, 특정 프롬프트에 대해 가장 ‘안전하고 검증된’ 결과를 도출하려는 경향이 강해질 수 있기 때문입니다. 결과적으로 가장 보편적이고 예측 가능한 이미지만 생성하게 되고, 독창적이거나 예상치 못한 해석은 배제되는 것이죠. 출처: 2025 in LLMs so far - ai.engineer

이는 AI가 진정으로 ‘이해’하고 ‘생각’하는 것이 아니라, 학습 데이터에서 가장 빈번하게 나타나는 패턴을 모방하는 데 그치고 있다는 의심을 낳습니다. LLM이 똑같은 모습만을 반복한다면, 이는 AI가 우리 상상력을 자극하고 새로운 가능성을 열어주는 도구로서의 역할에 한계가 있음을 시사합니다.

앞으로 어떻게 될까?

LLM의 ‘다양성 붕괴’ 현상은 AI 기술 발전의 양면성을 극명하게 보여줍니다. 한편으로는 AI가 놀라운 속도로 발전하며 인간의 지능에 가까워지고 있지만, 다른 한편으로는 결과가 획일화되면서 창의성이라는 인간 고유의 영역에 대한 질문을 던지고 있습니다.

앞으로 AI 개발자들은 단순히 성능을 높이는 것을 넘어, AI가 얼마나 다채롭고 창의적인 결과물을 만들어낼 수 있는지에 대한 연구에 집중해야 할 것입니다. 또한 ‘자전거 타는 펠리컨’ 테스트가 보여주듯, AI의 평가 방식 자체가 결과의 다양성에 영향을 미칠 수 있다는 점도 기억해야 합니다. 앞서 언급했듯이, 연구자 Bauman 등이 발표한 연구는 현재의 평가 방법이 AI의 진정한 능력을 측정하기보다 특정 결과 도출에 유리한 설정을 찾아내는 데 초점을 맞추고 있을 위험성을 경고합니다. 출처: LLMHacking: 6 Strategies to Avoid False Findings in Your Research.

AI가 진정으로 인간의 지능을 보완하고 확장하는 도구가 되기 위해서는, 획일적인 결과의 함정을 극복하고 더 넓은 범위의 창의성과 예측 불가능성을 포용할 수 있는 방향으로 발전해야 합니다. 자전거 타는 펠리컨이 보여주는 획일화는 AI가 나아가야 할 길에 대한 중요한 성찰을 요구하고 있습니다.

참고자료

1. Why the Pelican Test Worked and Why It Is Done - LLM … - https://braindetox.kr/en/posts/llm_benchmark_pelican_test_2026.html
2. The last six months in LLMs, illustrated by pelicans on bicycles - https://simonwillison.net/2025/Jun/6/six-months-in-llms/
3. 2025 in LLMs so far - ai.engineer - https://ai.engineer/talks/YpY83-kA7Bo-llm-pelican-benchmark
4. I tested the top local LLMs against ChatGPT and Claude … - MUO - https://www.makeuseof.com/tested-the-best-local-llms-against-claude-and-chatgpt-with-one-a-pelican/
5. The Emperor Pelican Has No Clothes - arcfu.com - https://arcfu.com/post/the-emperor-pelican-has-no-clothes/
6. Simon Willison on pelican-riding-a-bicycle - https://simonwillison.net/tags/pelican-riding-a-bicycle/
7. LLM- Detailed dive into LLM w Andrej Karpathy… - Obsidian Publish - https://publish.obsidian.md/followtheidea/Content/AI/LLM+-+Detailed+dive+into+LLM+w+Andrej+Karpathy
8. LLMHacking: 6 Strategies to Avoid False Findings in Your Research. - https://www.linkedin.com/pulse/llm-hacking-6-strategies-avoid-false-findings-your-mikel-k-ngueajio-nogqf
9. Simon Willison on llm-reasoning - https://simonwillison.net/tags/llm-reasoning/