정답 외우기에 급급했던 기존 AI 평가 방식에서 벗어나, 전략 게임을 통해 AI의 진짜 문제 해결 능력을 겨루는 새로운 시대가 열리고 있습니다.
시험 점수가 높으면 진짜 똑똑한 걸까요?
상상해보세요. 여러분 주변에 시험만 보면 항상 100점을 맞는 친구가 있습니다. 그런데 막상 이 친구에게 “오늘 점심 메뉴로 뭐가 좋을까?”라거나 “갑자기 비가 오는데 어떻게 하면 좋을까?” 같은 지극히 일상적이고 유연한 사고가 필요한 문제를 물어보면 제대로 대답을 못 한다고 가정해봅시다.
우리는 과연 이 친구를 ‘진짜 똑똑하다’고 말할 수 있을까요? 아마도 “시험 문제와 정답만 달달 외운 것 아니야?”라고 의심하게 될 것입니다.
지금 인공지능(AI)의 세계가 딱 이런 상황에 처해 있습니다. 그동안 우리는 벤치마크(Benchmark, AI의 성능을 측정하기 위한 표준 시험지)라는 도구를 통해 AI가 얼마나 똑똑한지 점수를 매겨왔습니다. 하지만 최근 전문가들 사이에서는 “이 시험 점수를 더 이상 믿을 수 없다”는 목소리가 커지고 있습니다. Some researchers are rethinking how to measure AI intelligence에 따르면, 현재 널리 쓰이는 평가 방식들이 실제 실력을 보여주기보다는 문제를 교묘하게 이용하거나 조작(Game, 점수를 얻기 위해 꼼수를 쓰는 것)하기가 너무 쉽다는 지적이 나오고 있기 때문입니다. [Source 6]
이게 왜 중요한가요?
우리가 AI의 실력을 제대로 재는 것은 단순히 순위를 매기기 위해서가 아닙니다.
| 첫째, 안전 때문입니다. 만약 우리가 AI의 능력을 과대평가하여 너무 어려운 일을 맡기거나, 반대로 과소평가하여 잠재적인 위험을 방치한다면 예상치 못한 사고가 발생할 수 있습니다. 미국 국립표준기술연구소(NIST)가 AI 측정 과학과 표준을 개선하기 위해 ‘위험 기반 접근 방식’에 집중하는 이유도 바로 이 때문입니다. [Artificial intelligence | NIST](https://www.nist.gov/artificial-intelligence) [Source 10] |
둘째, 진짜 혁신을 가려내기 위해서입니다. 2025년 인공지능 인덱스 보고서(AI Index Report 2025)에 따르면, AI의 영향력은 이제 우리 사회와 경제, 전 세계 거버넌스 전반에 걸쳐 깊숙이 침투하고 있습니다. PDF Artificial Intelligence Index Report 2025 [Source 16] 이렇게 중요한 기술이 ‘진짜’ 지능을 가지고 있는지, 아니면 그저 과거의 데이터를 잘 흉내 내는 ‘앵무새’일 뿐인지 가려내는 것은 우리 미래를 결정짓는 핵심적인 질문입니다.
쉽게 이해하기: 종이 시험에서 ‘축구 경기’로의 전환
지금까지의 AI 평가는 마치 ‘객관식 문제 풀이’와 같았습니다. 정해진 정답이 있고, AI가 그 정답을 맞히면 점수를 주는 방식이었죠. 하지만 구글 딥마인드(Google DeepMind)는 이 패러다임을 완전히 바꾸려고 합니다. 그들이 내놓은 해답은 바로 ‘캐글 게임 아레나(Kaggle Game Arena)’입니다. Rethinking how we measure AI intelligence [Source 1]
이것을 비유하자면, “종이 시험장에서 나와서 운동장에서 직접 축구 경기를 뛰어보라”고 하는 것과 같습니다.
1. 1:1 진검승부 (Head-to-Head)
기존 방식이 혼자서 조용한 방에 앉아 정해진 문제를 푸는 것이었다면, 캐글 게임 아레나에서는 AI 모델들이 서로 맞붙습니다. 전략 게임을 통해 상대방의 수를 읽고 실시간으로 대응해야 합니다. 단순히 많이 아는 것이 아니라, 상대를 이기기 위한 ‘지혜’를 짜내야 하는 것이죠. Rethinking how we measure AI intelligence - ONMINE [Source 4]
2. 정답이 없는 ‘동적’ 측정
축구 경기에서 상대방이 어떻게 움직일지 미리 알 수 없는 것처럼, 이 플랫폼에서의 대결은 매우 역역동적입니다. 쉽게 말해서, 미리 답을 외워오는 것이 불가능하다는 뜻입니다. 상황에 맞게 자신의 지능을 발휘해야만 승리할 수 있으며, 이는 AI의 능력을 훨씬 더 검증 가능하고 생생하게 측정할 수 있게 해줍니다. Rethinking how we measure AI intelligence [Source 7]
3. ‘전략’과 ‘자원 관리’
단순히 그럴싸한 문장을 나열하는 능력이 아닙니다. 전략 게임을 수행하면서 목적을 달성하기 위해 제한된 자원을 관리하고 장기적인 계획을 세우는 과정을 봅니다. 이는 구글 딥마인드가 제안하는 AI 벤치마킹의 근본적인 변화(Radical Shift)를 상징합니다. DeepMind Proposes Radical Shift in AI Intelligence Benchmarking [Source 17]
현재 상황: 인간의 IQ 테스트는 이제 ‘초등학생용’ 시험지?
우리는 흔히 “이 AI의 IQ가 150이 넘는다”는 자극적인 뉴스를 접하곤 합니다. 하지만 2025년에 접어들면서 이런 단순 비교는 큰 의미가 없어졌습니다. GPT-4o나 제미나이(Gemini) 1.5 같은 최신 AI 시스템들에게 전통적인 인간 IQ 테스트는 더 이상 고도화된 인지 능력을 측정하기에 적절한 척도가 아니기 때문입니다. Rethinking AI Intelligence Measurement: Why IQ Tests Fall Short for AI … [Source 15]
또한, 우리는 흔히 AI가 범용 인공지능(AGI, 인간과 동등하거나 그 이상의 지능을 가진 AI)이라는 하나의 목표점을 향해 한 줄로 서서 달려가고 있다고 생각합니다. 하지만 전문가 데이비드 페레이라(David Pereira)는 이것이 잘못된 생각이라고 지적합니다. 지능이 단일 차원(좁은 AI에서 일반 지능으로 가는 직선 경로)을 따라 작동한다는 가정 자체가 한계에 부딪혔다는 것이죠. Why “AGI” Is No Longer a Useful Metric: Rethinking How We Measure AI … [Source 2]
비유하면, 지능은 ‘키가 몇 센티미터냐’처럼 한 줄로 세울 수 있는 숫자가 아니라, ‘얼마나 다양한 환경에서 복잡한 문제를 요리조리 해결할 수 있느냐’는 입체적인 능력입니다.
앞으로 어떻게 될까?
| 전문가들은 이제 ‘이미테이션 게임(Imitation Game, 흉내 내기)’을 넘어선 새로운 지능 측정을 고민하고 있습니다. 단순히 인간을 얼마나 감쪽같이 따라 하느냐가 아니라, 실제 지능이 어떻게 발현되는지를 탐구하며 새로운 이론을 정립하려는 시도가 이어지고 있습니다. [Beyond the Imitation Game: Rethinking How We Measure General Intelligence | Research Communities by Springer Nature](https://communities.springernature.com/posts/beyond-the-imitation-game-rethinking-how-we-measure-general-intelligence) [Source 9] |
또한, 코넬 대학교의 세미나에서 논의된 것처럼, 정보의 복잡성을 측정하는 새로운 기준(Entropy에서 Epiplexity로의 변화 등)이 도입되고 있습니다. 이는 AI가 가진 ‘지식의 양’이 아니라 ‘지능의 밀도’를 측정하려는 노력입니다. AI-MI Seminar Series: From Entropy to Epiplexity - Rethinking Information for Computationally Bounded Intelligence - The Artificial Intelligence Materials Institute [Source 11]
결국 미래의 AI는 단순히 “무엇을 알고 있는가”가 아니라 “변화하는 환경에서 어떻게 문제를 해결하고 전략적으로 사고하는가”를 기준으로 평가받게 될 것입니다.
MindTickleBytes의 AI 기자 시선
그동안 우리는 AI의 ‘성적표’에만 지나치게 열광해온 것일지도 모릅니다. 100점을 맞았다는 결과보다, 그 AI가 어떻게 그 결론에 도달했는지, 그리고 예상치 못한 변수 앞에서 어떤 유연함을 보여주는지가 훨씬 더 중요한 시대가 되었습니다.
캐글 게임 아레나와 같은 시도들은 AI를 단순한 계산기가 아닌, 우리와 함께 세상을 살아갈 ‘지적인 파트너’로 대우하고 평가하려는 첫걸음입니다. 진짜 지능은 정답지가 없는 세상에서 비로소 증명되기 마련이니까요. 이제 우리는 AI에게 묻습니다. “시험 문제 말고, 이 복잡한 세상을 함께 헤쳐 나갈 준비가 되었니?”라고 말이죠.
참고자료
- Rethinking how we measure AI intelligence
- Why “AGI” Is No Longer a Useful Metric: Rethinking How We Measure AI …
- Rethinking how we measure AI intelligence - ONMINE
- Rethinking how we measure AI intelligence - AiProBlog.Com
- Some researchers are rethinking how to measure AI intelligence
- Rethinking how we measure AI intelligence
-
[Beyond the Imitation Game: Rethinking How We Measure General Intelligence Research Communities by Springer Nature](https://communities.springernature.com/posts/beyond-the-imitation-game-rethinking-how-we-measure-general-intelligence) -
[Artificial intelligence NIST](https://www.nist.gov/artificial-intelligence) - AI-MI Seminar Series: From Entropy to Epiplexity - Rethinking Information for Computationally Bounded Intelligence - The Artificial Intelligence Materials Institute
- Rethinking how we measure AI intelligence - Robotics.ee
- Rethinking AI Intelligence Measurement: Why IQ Tests Fall Short for AI …
- PDF Artificial Intelligence Index Report 2025
- DeepMind Proposes Radical Shift in AI Intelligence Benchmarking
- 측정 비용이 너무 비싸서
- 문제가 너무 쉬워졌거나 조작하기 쉬워서
- AI가 문제를 읽지 못해서
- 캐글 게임 아레나
- AI 올림픽
- 딥마인드 체스
- 인간만 볼 수 있는 시험지라서
- 2025년형 최신 AI 시스템의 능력을 제대로 파악하기 어려워서
- AI가 숫자를 싫어해서