AI가 자전거 타는 펠리컨을 그린다고? '펠리컨-자전거' 벤치마크가 중요한 이유

상상해보세요. 여러분이 AI에게 “자전거를 타고 있는 펠리컨을 그려줘”라고 말했습니다. AI는 과연 어떤 그림을 내놓을까요? 단순히 펠리컨 모양의 낙서를 할까요, 아니면 정말로 자전거의 페달을 밟고 있는 역동적인 펠리컨을 그려낼까요?

최근 AI 업계에서는 모델의 성능을 측정하는 수많은 방법이 쏟아져 나오고 있습니다. 하지만 그중에서도 유독 눈에 띄는, 다소 엉뚱하면서도 강력한 벤치마크(AI 성능 평가 지표)가 하나 있습니다. 바로 ‘펠리컨-자전거(pelican-bicycle)’ 벤치마크입니다.

왜 중요한가요?

보통 우리가 AI 성능을 평가할 때 사용하는 지표들은 매우 딱딱합니다. “수학 문제를 몇 개나 풀었나?”, “코드를 얼마나 정확히 짰나?” 같은 것들이죠. 하지만 이런 수치만으로는 AI가 실제로 세상을 어떻게 ‘이해’하고 있는지 파악하기 어렵습니다.

‘펠리컨-자전거’ 벤치마크는 다릅니다. 이 과제는 AI가 단순한 문장을 넘어, 시각적인 요소와 물리적인 동작(자전거를 타는 행위)을 얼마나 정확하게 그래픽으로 구현할 수 있는지 평가합니다 출처: GitHub - simonw/pelican-bicycle. 이는 AI가 텍스트를 넘어 이미지 생성 영역에서 얼마나 논리적인 구조를 갖추었는지 확인하는 매우 직관적인 시험대입니다.

쉽게 이해하기: ‘펠리컨-자전거’ 벤치마크란?

이 벤치마크는 이름 그대로 AI에게 “자전거를 타고 있는 펠리컨의 SVG(확장 가능한 벡터 그래픽)를 생성하라”는 프롬프트(명령어)를 던지는 방식입니다 출처: GitHub - simonw/pelican-bicycle.

쉽게 말해서, 어린아이에게 “자전거 타는 펠리컨을 그려봐”라고 했을 때 아이가 펠리컨의 다리를 자전거 페달에 정확히 올리고 있는지, 펠리컨의 부리가 핸들을 향하고 있는지 관찰하는 것과 같습니다. AI 역시 단순히 ‘펠리컨’과 ‘자전거’라는 단어만 아는 것이 아니라, 이 둘이 어떻게 상호작용해야 하는지를 이해하고 있어야 제대로 된 그림을 그릴 수 있기 때문입니다. 비유하자면, 단어의 사전적 정의를 외우는 것을 넘어 상황을 ‘연출’하는 능력을 테스트하는 것이죠.

사이먼 윌리슨(Simon Willison)은 이 벤치마크를 활용해 AI 모델의 지난 6개월간의 발전상을 정리하는 강연을 진행하기도 했습니다 출처: GitHub - simonw/pelican-bicycle.

현재 상황: AI는 어디까지 왔나?

현재 ‘펠리컨-자전거’ 벤치마크는 AI 모델의 시각적 구현 능력을 평가하는 하나의 상징적인 과제가 되었습니다. 사이먼 윌리슨은 자신의 블로그에 ‘펠리컨-자전거 타기(pelican-riding-a-bicycle)’라는 태그를 만들어, 여러 최신 AI 모델들이 이 과제를 얼마나 잘 수행하는지 꾸준히 리뷰하고 있습니다 출처: GitHub - simonw/pelican-bicycle.

AI가 단어를 인식하는 수준을 넘어, 복합적인 이미지와 벡터 그래픽 데이터를 다루는 능력이 비약적으로 발전하고 있음을 보여주는 사례입니다. 물론 여전히 모델에 따라 자전거의 구조가 무너지거나 펠리컨의 형태가 기괴해지는 경우가 발생하곤 합니다. 이런 시행착오는 AI가 인지 능력을 높이는 과정에서 겪는 성장통과 같습니다.

앞으로 어떻게 될까?

앞으로는 단순히 2D 이미지를 생성하는 수준을 넘어, 더 복잡한 동작과 물리적 법칙을 SVG나 다른 그래픽 형식으로 표현하는 능력이 AI 모델의 핵심 경쟁력이 될 것입니다. ‘펠리컨-자전거’와 같이 창의적이고 까다로운 벤치마크들이 더 많이 등장할수록, 우리는 AI가 얼마나 우리 인간의 논리적 사고방식을 따라오고 있는지 더 정확하게 평가할 수 있을 것입니다.

MindTickleBytes의 AI 기자 시선

복잡한 수치로 점철된 기술 보고서보다, 자전거 타는 펠리컨 한 마리가 AI의 수준을 더 명확하게 드러낼 때가 있습니다. AI의 발전은 우리가 상상하는 것보다 훨씬 더 ‘시각적’이고 ‘직관적’인 방향으로 나아가고 있습니다. 오늘 학습한 이 벤치마크처럼, 앞으로는 더 재미있고 기발한 방식으로 AI의 지능을 시험하는 시대가 올 것입니다. 다음엔 또 어떤 동물이 어떤 탈것을 타게 될지 기대되는 이유입니다.

참고자료

1. GitHub - simonw/pelican-bicycle: LLM benchmark: Generate an SVG… (https://github.com/simonw/pelican-bicycle)