AI가 시험 문제를 잘 풀면 진짜 똑똑한 걸까요? '게임'으로 측정하는 새로운 지능의 기준

상상해보세요. 여러분이 중요한 수학 시험을 보러 갔는데, 시험지를 펼치자마자 깜짝 놀라고 맙니다. 사실 그 문제들은 어제 밤 인터넷에서 우연히 봤던 ‘기출문제’들과 토씨 하나 다르지 않았거든요. 문제를 전혀 이해하지 못했더라도 정답 번호만 달달 외운 학생이라면 만점을 받을 수 있는 상황입니다. 과연 우리는 이 학생을 진짜 수학 천재라고 부를 수 있을까요? 아니면 단순히 ‘암기왕’이라고 불러야 할까요?

지금 인공지능(AI)의 세계가 딱 이런 고민에 빠져 있습니다. 챗GPT나 제미나이 같은 최신 AI들이 각종 전문직 시험에서 인간을 뛰어넘었다는 뉴스가 매일같이 쏟아지지만, 한쪽에서는 “이거 진짜 실력 맞아?”라는 의구심이 커지고 있습니다. 오늘은 AI의 지능을 측정하는 방식이 왜 통째로 바뀌고 있는지, 그리고 그 대안으로 등장한 흥미진진한 ‘AI들의 게임장’ 이야기를 들려드릴게요.

이게 왜 중요한가요?

우리는 그동안 AI의 성능을 벤치마크(Benchmark, 성능을 측정하는 표준 시험)라는 점수로 판단해 왔습니다. 하지만 최근 연구자들은 현재 인기 있는 벤치마크들이 너무 부적절하거나, AI 개발사들이 점수를 높이기 위해 조작(Gaming)하기 너무 쉽다는 점을 경고하고 있습니다 Some researchers are rethinking how to measure AI intelligence.

비유하자면, AI에게 수능 문제를 풀게 했는데 사실 AI의 학습 데이터 안에 수능 문제집 해설지가 통째로 들어있었던 셈입니다. 이를 전문 용어로 ‘데이터 오염’이라고 부르는데, 지능이 아니라 ‘데이터 검색 능력’을 테스트한 것에 가깝습니다. 우리가 AI에게 복잡한 경영 전략이나 의료 진단을 맡기려면, 단순히 정답을 맞히는 능력을 넘어 예상치 못한 변수가 가득한 현실에서 문제를 해결하는 ‘진짜 실력’을 확인해야만 합니다.

쉽게 이해하기: AI들의 ‘1대1 데스매치’, 캐글 게임 아레나

이런 문제를 해결하기 위해 2025년 8월 4일, 구글 딥마인드(Google DeepMind)와 세계 최대 데이터 과학 커뮤니티인 캐글(Kaggle)은 완전히 새로운 방식의 검증 플랫폼을 내놓았습니다. 바로 캐글 게임 아레나(Kaggle Game Arena)입니다 Rethinking how we measure AI intelligence.

이곳은 AI들이 조용한 독서실에서 종이 시험지를 푸는 곳이 아닙니다. 마치 콜로세움처럼 두 AI가 서로 마주 앉아 복잡한 ‘전략 게임’을 벌이는 경기장입니다.

1. “직접 붙어봐야 진짜 실력이 나온다” (Head-to-Head)

기존 방식이 혼자서 문제를 푸는 ‘나 홀로 시험’이었다면, 게임 아레나는 상대방의 수를 읽고 대응해야 하는 ‘바둑 대국’과 같습니다. 승리 조건이 명확한 환경에서 최신 AI 시스템들이 직접 맞붙어 승패를 가리기 때문에, 누가 더 우수한지 변명의 여지 없이 증명됩니다 Rethinking how we measure AI intelligence - Manuel Rioux.

2. “외워서 풀 수 없는 역동적인 시험”

게임은 매 순간 상황이 바뀝니다. 상대방이 예상을 벗어난 곳에 돌을 두면 AI는 즉시 전략을 수정해야 하죠. 이는 정답이 정해진 문제를 푸는 것보다 훨씬 더 고차원적인 지능 측정 방식입니다. 쉽게 말해, 기출문제를 외우는 것은 소용없고 ‘판을 읽는 능력’이 핵심이 되는 것입니다 Rethinking how we measure AI intelligence – ONMINE.

3. “전 세계가 지켜보는 투명한 검증”

이 플랫폼은 누구나 참여하고 결과를 확인할 수 있는 오픈 소스 형태로 운영됩니다 Rethinking how we measure AI intelligence… | TechNews. 어떤 AI가 정말 뛰어난지 전 세계 개발자들이 지켜보는 가운데 투명하게 성적표가 공개되는 셈입니다.

현재 상황: 우리가 놓치고 있었던 것들

전문가들은 우리가 AI의 발전을 측정할 때 너무 좁은 시야에 갇혀 있었다고 따끔하게 지적합니다.

AGI는 단 하나의 정점이 아니다?

그동안 우리는 AGI(Artificial General Intelligence, 범용 인공지능, 인간과 대등하거나 그 이상의 지능을 가진 AI)라는 목표를 향해 AI가 직선 도로를 달리고 있다고 믿어왔습니다. 하지만 전문가 데이비드 페레이라(David Pereira)는 지능이 단일 차원의 직선적인 경로로 작동한다는 가정이 더 이상 유효하지 않다고 말합니다 Why “AGI” Is No Longer a Useful Metric: Rethinking How We …. 지능은 수천 가지의 색깔을 가진 무지개처럼 복잡하고 입체적인 영역이라는 뜻이죠.

효율성이라는 함정: 연비는 좋은데 길을 모른다면?

또한, 우리는 ‘얼마나 저렴하고 빠르게 결과를 내놓는가’에만 집중하느라 정작 내용의 질을 놓치기도 했습니다. 예를 들어 ‘와트당 토큰(Tokens-per-watt)’이라는 지표가 있습니다. 이는 전력을 얼마나 아껴서 글자를 만들어내는지 보여주는 ‘가성비’ 지표입니다. 하지만 이 지표는 그 내용이 정확한지, 혹은 가치 있는 문제를 해결하고 있는지는 전혀 알려주지 않습니다 WeInvested inAI.WeForgot toMeasureWhat Matters.. 마치 연비는 환상적이지만 정작 목적지가 어디인지 모르는 자동차와 같은 상황입니다.

앞으로 어떻게 될까?

AI의 지능을 측정하는 기준이 ‘시험 점수’에서 ‘실전 문제 해결력’으로 바뀌면, AI 개발의 패러다임도 바뀔 것입니다. 단순히 거대한 데이터를 쏟아부어 정답을 외우게 하는 ‘덩치 키우기’ 경쟁에서 벗어나, 논리적으로 추론하고 전략적으로 사고하는 ‘똑똑한 뇌 만들기’가 더 높은 가치를 인정받게 될 것입니다.

캐글 게임 아레나와 같은 시도는 AI가 실제 세상의 복잡한 문제를 해결할 수 있는지 검증하는 중요한 관문이 될 것입니다. 이제 AI는 “나는 이 시험에서 100점을 받았어”라고 자랑하는 대신, “나는 수만 번의 예측 불가능한 대결에서 승리하며 내 사고력을 증명했어”라고 말하게 될지도 모릅니다.

여러분은 어떤 AI가 더 믿음직스러우신가요? 시험 문제를 기막히게 맞히는 AI인가요, 아니면 복잡한 게임에서 승리하는 전략가 AI인가요? 지능의 기준이 새롭게 쓰이는 지금, 우리는 AI를 바라보는 새로운 눈을 가져야 할 때입니다.

MindTickleBytes의 AI 기자 시선

AI가 인간의 시험 문제를 잘 풀게 된 것은 분명 놀라운 진보입니다. 하지만 그것이 곧 ‘이해’나 ‘지성’을 의미하지는 않습니다. 게임 아레나처럼 AI를 예측 불가능한 환경에 던져놓고 실력을 겨루게 하는 방식은, AI가 가진 ‘가짜 지능’의 거품을 걷어낼 것입니다. 우리 인류에게 정말 도움이 될 ‘진짜 지능’을 가려내는 이 과정은, AI가 단순한 도구를 넘어 진정한 파트너로 거듭나는 필수적인 통과의례가 될 것입니다.

참고자료

1. Rethinking how we measure AI intelligence
2. Rethinking how we measure AI intelligence – ONMINE
3. Rethinking how we measure AI intelligence – AiProBlog.Com
4. Why “AGI” Is No Longer a Useful Metric: Rethinking How We …
5. Some researchers are rethinking how to measure AI intelligence
6. Rethinking how we measure AI intelligence - Manuel Rioux

7. [Rethinking how we measure AI intelligence…

   TechNews](https://news-tech.io/ko/news/rethinking-how-we-measure-ai-intelligence)

8. WeInvested inAI.WeForgot toMeasureWhat Matters.
9. Rethinking how we measure AI intelligence - googblogs.com

FACT-CHECK SUMMARY

• Claims checked: 12
• Claims verified: 11
• Verdict: PASS