AI가 초등학교 5학년 수준의 지식만 배웠다면? '리틀 러너'의 도전

상상해보세요. 여러분이 대학 입시를 앞두고 있는데, 지금까지 공부한 내용이 딱 초등학교 5학년 교과서 수준까지라면 어떨까요? 수학 문제를 풀거나 복잡한 세상 소식을 이해할 때 무척 당황스러울 것입니다. 하지만 인공지능(AI)의 세상에서는 이야기가 조금 다릅니다. 최근 AI 연구계에서는 아주 흥미로운 실험이 진행되었습니다. 바로 초등학교 5학년 수준 이상의 지식은 아예 접해보지 못한 AI 모델이 과연 어디까지 이해할 수 있을까를 테스트해 본 것이죠.

이게 왜 중요한가요?

우리는 흔히 “AI는 데이터가 많을수록 좋다”고 생각합니다. 인터넷의 방대한 정보를 모두 긁어모아 학습시켜야 똑똑해진다고 믿죠. 하지만 이 방식은 AI가 잘못된 정보를 배우거나, 너무 방대한 양의 데이터 때문에 학습 효율이 떨어지는 문제를 낳기도 합니다.

만약 AI에게 정말 꼭 필요한 핵심 기초 지식만, 그것도 아주 잘 짜인 교육 과정에 맞춰 가르친다면 어떻게 될까요? 이 실험은 AI 학습의 ‘효율성’과 ‘교육 방식’에 대해 새로운 질문을 던집니다. 우리가 AI를 무작정 똑똑하게 만들기만 할 것인지, 아니면 어린아이처럼 차근차근 올바른 지식을 쌓게 할 것인지에 대한 해답을 찾기 위함입니다.

쉽게 이해하기

이번 연구에서 주인공으로 등장한 모델은 ‘리틀 러너(LittleLearner)’입니다. 팬페이 리(Fanfei Li) 연구팀이 발표한 이 모델은 약 50억 개의 파라미터(Parameter, AI가 정보를 기억하고 판단할 때 사용하는 핵심 조절 수치)를 가지고 있습니다. 연구자들은 50억 개의 파라미터를 가진 리틀 러너 모델을 처음부터 학습시켰습니다.

그런데 이 모델이 학습한 재료가 아주 특별합니다. 바로 유치원부터 초등학교 5학년까지의 교육 자료만을 사용한 것이죠. 리틀 러너는 오직 초등학교 5학년 수준 이하의 교육 자료로만 학습되었습니다.

쉽게 비유하자면, 거대한 AI 모델들이 전 세계의 도서관을 전부 읽어버린 ‘지식 탐험가’라면, 리틀 러너는 아주 체계적인 초등학교 교육 과정을 거친 ‘꼬마 수재’입니다. 도서관의 모든 책을 읽지는 않았지만, 기초가 되는 문법과 기초 과학, 역사 등의 핵심 원리를 차근차근 다졌다는 점이 특징입니다.

현재 상황

현재 인공지능 기술은 눈부시게 발전하고 있지만, 여전히 ‘할루시네이션(Hallucination, AI가 사실과 다른 정보를 마치 사실인 것처럼 말하는 현상)’이나 데이터의 편향성 문제에서 자유롭지 못합니다. 인터넷의 데이터를 무분별하게 학습하는 과정에서 AI가 거짓을 말하거나 오류를 범하는 경우가 생기는데, 실제로 AI 모델의 내부 상태를 분석하면 AI가 스스로 거짓을 말하고 있음을 감지할 수 있다는 연구도 있습니다.

이런 상황에서 리틀 러너와 같은 실험은 ‘깨끗한 데이터’의 중요성을 일깨워줍니다. 너무 어려운 전문 지식만을 쫓기보다, 기초적인 지식을 완벽하게 마스터하는 것이 AI의 성능에 어떤 긍정적인 영향을 미칠지 확인할 수 있는 중요한 지표가 되기 때문입니다.

앞으로 어떻게 될까?

앞으로 AI 개발 방향은 더 크고 무거운 모델을 만드는 것뿐만 아니라, 리틀 러너처럼 작고 효율적인 모델을 얼마나 잘 교육하느냐에 집중될 것입니다. AI 모델을 개발할 때는 정교한 데이터 수집과 선별, 윤리적 고려 사항, 그리고 모델의 세부적인 조정이 필수적인 과정입니다.

우리는 곧 특정 분야에 특화되거나, 아주 정제된 교육 과정을 거쳐 더 신뢰할 수 있는 소규모 AI 모델들을 일상에서 자주 만나게 될 것입니다. 여러분의 스마트폰 속 비서가 지금보다 훨씬 더 논리적이고 올바르게 말하는 미래, 그 첫걸음이 바로 이 ‘초등 교육받은 AI’ 실험에 담겨 있습니다.

MindTickleBytes의 AI 기자 시선

지식의 ‘양’보다 ‘질’이 중요하다는 것은 사람에게만 적용되는 진리가 아니었습니다. AI도 올바른 기초 위에서 성장할 때 비로소 우리가 믿고 맡길 수 있는 진정한 조력자가 될 것입니다.

참고자료

1. Researchers Train 5B LittleLearner on K-5 Curriculum · Digg
2. The Internal State of an LLM Knows When It’s Lying
3. The Hidden Life of an LLM: What Happens Before You Prompt