AI가 어려운 문제를 풀게 하는 법? '포기하지 않는' 학습의 비밀

상상해보세요. 수학 숙제를 하는데, 너무 어려운 문제라서 100번을 풀어도 정답에 가까이 가지 못하는 상황입니다. 선생님은 정답을 보여주지 않고 “계속 고민해봐”라고만 하십니다. 이런 상황이 계속되면 우리는 아마 숙제를 포기하고 싶어질 것입니다.

놀랍게도, AI(인공지능) 모델들도 똑같은 상황에 처하곤 합니다. 인공지능이 새로운 지식을 배우는 방식 중 하나인 ‘강화학습(Reinforcement Learning, 보상을 통해 모델을 학습시키는 방식)’을 사용할 때, 문제가 너무 어려우면 AI는 단 한 번도 정답을 찾아내지 못합니다. 정답을 본 적이 없으니 무엇이 잘한 것인지 배울 수도 없는 노릇이죠. 최근 이 문제를 해결하기 위해 AI가 ‘절대 포기하지 않는(Never Give Up)’ 학습법이 등장했습니다.

왜 중요한가요?

우리가 사용하는 AI 챗봇이 논리적인 추론이나 복잡한 코딩 문제를 더 잘 해결하게 만들려면, AI도 사람처럼 ‘어려운 문제’를 스스로 해결하는 경험이 필요합니다. 하지만 현재의 강화학습 방식으로는 문제 수준이 조금만 높아져도 AI가 좌절(정답 확률 0%)하기 일쑤였습니다 [출처: POPE: Learning to Reason on Hard Problems].

이 연구는 AI가 정답을 찾아낼 때까지 끈기 있게 도전하도록 설계되었습니다. 이는 단순히 AI의 지능을 높이는 것을 넘어, 우리가 일상에서 AI에게 더 복잡하고 중요한 업무를 맡길 수 있게 되는 중요한 진전입니다.

쉽게 이해하기

이 학습법을 이해하기 위해 두 가지 핵심적인 방식을 비유를 들어 설명해 보겠습니다.

첫 번째는 ‘NGU(Never Give Up)’라는 학습 방식입니다. 쉽게 말해서, AI가 어려운 문제를 풀 때 정답이 나올 때까지 포기하지 않고 끊임없이 여러 번 시도하게 만드는 시스템입니다 [출처: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]. 예를 들어, 쉬운 문제는 한두 번만 해봐도 정답이 나오지만, 어려운 문제는 수십 번을 시도해야 겨우 정답 근처에 갑니다. NGU는 AI가 쉬운 문제는 빠르게 넘어가고, 어려운 문제는 정답을 맞힐 때까지 더 많은 계산 자원을 집중하도록 도와줍니다 [출처: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up].

두 번째는 ‘ReGFT(Reference-Guided Fine-Tuning)’라는 방식입니다. 이는 마치 수학 선생님이 정답 전체를 알려주는 대신, 문제의 80% 정도를 풀어주고 나머지는 학생(AI)이 스스로 고민해서 풀도록 유도하는 것과 같습니다 [출처: Learn Hard Problems During RL with Reference Guided Fine-tuning]. AI는 주어진 힌트를 바탕으로 자신만의 논리를 활용해 마지막 정답에 도달하는데, 이 과정을 통해 스스로 어려운 문제를 해결하는 ‘사고의 근육’을 키우게 됩니다 [출처: How to Explore to Scale RL Training of LLMs on Hard Problems?].

현재 상황

현재 AI 업계에서 강화학습은 주로 수학 문제나 프로그래밍 코드처럼 ‘정답이 명확한’ 분야에서 활발히 사용되고 있습니다 [출처: How I Learned RL for LLMs]. 하지만 NGU나 ReGFT 같은 기법들이 등장하면서, 정답이 명확하지 않은 창의적인 글쓰기나 복잡한 의사결정 문제까지도 AI가 스스로 학습할 수 있는 환경이 조성되고 있습니다 [출처: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up].

다만, AI가 어려운 문제를 풀기 위해 계산 자원을 집중하다 보면 학습 비용이 늘어날 수 있다는 점은 앞으로 해결해야 할 숙제입니다 [출처: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up].

앞으로는 어떻게 될까요?

앞으로는 AI가 단순히 데이터를 외우는 것을 넘어, 스스로 전략을 세우고 실패를 거듭하며 학습하는 ‘사고하는 AI’의 시대가 더욱 빨라질 것으로 보입니다. 특히 인간의 도움(힌트)을 최소화하면서도 고난도의 문제를 해결하는 능력이 크게 강화될 것입니다 [출처: Learning to Solve Hard Problems in RL for LLMs by Never Giving Up]. 여러분이 앞으로 만날 AI는 어제보다 조금 더 끈기 있고, 조금 더 논리적인 친구가 되어 있을지도 모릅니다.

AI의 시선

MindTickleBytes의 AI 기자 시선: “AI에게 ‘정답을 알려주는 것’보다 ‘정답을 찾아가는 과정을 연습시키는 것’이 훨씬 가치 있다는 점을 시사합니다. 인간 교육과 AI 학습은 결국 같은 원리로 나아가고 있습니다.”

참고자료

1. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
2. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (HTML version)
3. How to Explore to Scale RL Training of LLMs on Hard Problems?
4. Learn Hard Problems During RL with Reference Guided Fine-tuning
5. How I Learned RL for LLMs: A Researcher’s Detour in Five Parts
6. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (HuggingFace)
7. Learning to Solve Hard Problems in RL for LLMs by Never Giving Up (AlphaXiv)
8. POPE: Learning to Reason on Hard Problems