AI가 보드게임 '스트라테고'를 정복했다고? 숨겨진 정보를 읽는 법

By Gi Pyeong Lee
AI 딥마인드 스트라테고 인공지능 딥내쉬
보드게임 스트라테고의 말들이 놓여 있는 판 위로 AI의 사고 과정을 상징하는 디지털 데이터 입자가 겹쳐 보이는 모습
AI Summary

구글 딥마인드의 AI '딥내쉬(DeepNash)'가 보드게임 '스트라테고'에서 인간 전문가 수준의 실력을 갖추며 새로운 AI의 한계를 돌파했습니다.

우리가 흔히 접하는 AI 뉴스는 바둑이나 체스에서 인간 챔피언을 꺾었다는 소식이 많았습니다. 하지만 이런 게임들에는 한 가지 공통점이 있죠. 바로 바둑판 위의 모든 돌이 다 보인다는 점입니다. 내가 둘 차례에 상대방이 가진 패를 모두 알 수 있으니, AI는 그저 계산만 잘하면 승리할 수 있었습니다.

그런데 상상해보세요. 만약 당신이 카드 게임을 하는데 상대방이 무슨 카드를 쥐고 있는지 전혀 알 수 없다면 어떨까요? 혹은 보드게임에서 상대방이 어떤 말을 숨기고 있는지 모른 채로 게임을 해야 한다면 말이죠. 이런 상황에서는 단순히 계산만 잘하는 것을 넘어, 상대의 심리를 읽고 ‘속임수’까지 써야 합니다. 최근 이 어려운 영역에서 AI가 드디어 인간의 벽을 넘었다는 놀라운 소식이 들려왔습니다. 구글 딥마인드(DeepMind)가 개발한 AI ‘딥내쉬(DeepNash)’가 보드게임 ‘스트라테고(Stratego)’를 정복했습니다.

왜 이 뉴스가 중요한가요?

일상생활을 떠올려 봅시다. 우리가 현실에서 마주하는 수많은 결정은 정보가 부족한 상태에서 이루어집니다. 내일 주식 시장이 어떻게 될지, 오늘 어떤 길로 가야 교통 체증을 피할 수 있을지 100% 확신할 수 있는 사람은 없죠. 이처럼 정보가 불완전한 상태에서 최선의 선택을 내리는 능력은 AI가 인간의 영역에 한 걸음 더 다가서기 위해 반드시 넘어야 할 벽이었습니다.

기존의 AI들은 체스나 바둑처럼 모든 정보가 투명하게 공개된 환경에서는 인간을 압도했지만, 스트라테고처럼 정보를 숨기고 속임수를 써야 하는 환경에서는 아마추어 수준을 벗어나지 못했습니다(출처: Gamehasbeen particularly challenging forAIto master, scientists say, 출처: [2206.15378] MasteringtheGameofStrategowith Model-Free…). 하지만 딥내쉬의 등장은 AI가 이제 복잡한 현실 세계의 ‘불확실성’을 다루기 시작했음을 의미하는 큰 사건입니다.

쉽게 말해서, 어떤 게임인가요?

스트라테고는 상대방의 말 정체를 알 수 없는 ‘불완전한 정보의 게임(a game of imperfect information)’입니다(출처: DeepMind’s newestAIthrashes human gamers atStratego).

비유하자면 이렇습니다. 체스가 모든 카드를 펼쳐놓고 하는 정면 대결이라면, 스트라테고는 상대의 패가 무엇인지 모르는 상태에서 서로 첩보전을 벌이는 것과 같습니다. 적의 말을 직접 공격해서 전투를 벌이기 전까지는, 그 말이 폭탄인지 강력한 장군인지 알 수 없죠. 그래서 상대가 나를 속이려 하는지, 혹은 함정을 파둔 것인지를 끊임없이 의심해야 합니다(출처: ThisAIFinally Beat the Best Humans at One of the Last BoardGames…).

이런 게임을 정복하기 위해 딥내쉬는 ‘모델 프리 강화학습(model-free deep reinforcement learning)’이라는 방식을 사용했습니다([출처: AIbeats us at anothergame:STRATEGO DeepNash… - YouTube](https://www.youtube.com/watch?v=3vO45gcEbRs)).

쉽게 말해, 이 AI는 수많은 규칙을 외운 것이 아니라, 자신과 스스로 대국(self-play)을 반복하면서 어떤 수가 승률을 높이는지 몸소 깨달은 것입니다. 10^33개라는 어마어마한 시작 배치 경우의 수와 10^535개라는 광활한 게임 상태 가능성 속에서, 딥내쉬는 수억 번의 게임을 통해 상대의 수를 읽고 허점을 찌르는 법을 스스로 터득한 셈입니다(출처: ThisAIFinally Beat the Best Humans at One of the Last BoardGames…, 출처: MasteringtheGameofStrategowith Model-Free).

어디까지 왔을까요?

딥내쉬는 이미 전문가 수준의 인간 게이머들을 상대로 압도적인 실력을 보여주었습니다(출처: DeepMind’s LatestAITrounces Human Players attheGame‘Stratego’). 과거의 AI들이 단순히 빠른 계산으로 상대를 제압했다면, 이번 딥내쉬는 보이지 않는 정보를 추론하고 상대의 허를 찌르는 심리적인 판단력까지 보여주었다는 점에서 큰 차이가 있습니다.

다만, 이는 어디까지나 정해진 규칙 내에서의 성과입니다. 스트라테고는 매우 복잡하지만, 우리가 사는 현실 세계는 게임보다 훨씬 더 많은 예외와 변수가 존재하기 때문입니다. 그럼에도 불구하고 딥내쉬는 AI 시스템이 새로운 개척지(new frontier)에 도달했음을 확실히 증명했습니다(출처: DeepMind’s newestAIthrashes human gamers atStratego).

무엇이 기다리고 있을까요?

딥내쉬의 성공은 앞으로 AI가 실생활에서 더 유연한 의사결정을 내릴 수 있는 중요한 토대가 될 것입니다. 정보가 부족한 환경에서 의사결정을 내려야 하는 물류 최적화, 기업 간의 복잡한 협상, 혹은 더 변수가 많은 환경에서 AI의 능력이 크게 향상될 것으로 기대됩니다. AI 기자가 지켜보기에, 이제 AI는 단순한 계산기에서 벗어나 인간처럼 ‘눈치껏’ 상황을 판단하고 대응하는 수준으로 진화하고 있습니다. 머지않아 우리가 겪는 일상의 복잡하고 불확실한 문제들도 AI가 함께 고민해주는 시대가 올지도 모르겠습니다.

참고자료

  1. Snap! - - Spooky Space, CuteAI,AIMastersStratego- Spiceworks…
  2. [Vue HN 2.0 Withmostinformationhidden,thegameStrategohad…](https://vue-hackernews-ssr-5cavbdjcta-ew.a.run.app/item/49933740)
  3. ThisAIFinally Beat the Best Humans at One of the Last BoardGames…
  4. DeepMind’s newestAIthrashes human gamers atStratego
  5. Gamehasbeen particularly challenging forAIto master, scientists say
  6. MasteringtheGameofStrategowith Model-Free
  7. [AIbeats us at anothergame:STRATEGO DeepNash… - YouTube](https://www.youtube.com/watch?v=3vO45gcEbRs)
  8. [2206.15378] MasteringtheGameofStrategowith Model-Free…
  9. stratego.io
  10. DeepMind’s LatestAITrounces Human Players attheGame‘Stratego’
  11. Withmostinformationhidden,thegameStrategohadstumped…
AD
이 글을 얼마나 이해했나요?
Q1. 보드게임 '스트라테고'가 바둑이나 체스보다 AI가 학습하기 더 어려웠던 이유는 무엇인가요?
  • 말의 개수가 너무 많아서
  • 상대방의 말 정체를 알 수 없는 불완전한 정보의 게임이라서
  • 시간 제한이 너무 짧아서
스트라테고는 상대방의 말 정체를 알 수 없는 '불완전한 정보'의 게임이기 때문에, 정보를 직접 관찰할 수 있는 체스나 바둑보다 AI가 학습하기 훨씬 어렵습니다.
Q2. AI '딥내쉬(DeepNash)'가 스트라테고를 정복하기 위해 사용한 주요 학습 방식은 무엇인가요?
  • 인간의 기보를 방대한 양 학습
  • 자신과 스스로 대국하며 학습하는 모델 프리 강화학습
  • 전문가의 조언을 입력받는 방식
딥내쉬는 별도의 검색 알고리즘 없이 자신과 스스로 대국하며 학습하는 '모델 프리 강화학습' 방식을 통해 스트라테고를 마스터했습니다.
Q3. 스트라테고의 게임 환경은 어느 정도의 복잡성을 가지고 있나요?
  • 약 100가지의 경우의 수
  • 10^535개에 달하는 게임 상태 가능성
  • 체스보다 훨씬 적은 경우의 수
스트라테고는 무려 10^535개라는 천문학적인 게임 상태 가능성을 가지고 있어 매우 복잡한 전략 게임으로 분류됩니다.
    AI가 보드게임 '스트라테고'를 정복했다고? 숨겨...
    0:00