사람과 AI가 실시간으로 한 공간에서 상호작용한다면? 오디세이 ML '아고라-1(Agora-1)'의 등장

상상해보세요. 주말 오후, 여러분이 가상 현실(VR, Virtual Reality) 기기를 쓰고 온라인 게임에 접속합니다. 화면 속에는 여러 명의 캐릭터가 이리저리 뛰어다니고 있습니다. 누군가는 벽 뒤에 숨어 기회를 엿보고, 누군가는 팀원과 눈빛을 교환하며 작전을 짭니다. 그런데 놀라운 사실이 하나 있습니다. 그 공간 안에서 여러분과 함께 뛰고 있는 캐릭터 중 절반은 진짜 사람이고, 나머지 절반은 인공지능(AI)이라는 것입니다. 더 놀라운 것은, 여러분이 뛰어놀고 있는 이 복잡한 게임 속 세계 자체가 프로그래머가 미리 한 땀 한 땀 코딩해 놓은 고정된 맵이 아니라, AI가 매 순간 여러분의 움직임에 맞춰 실시간으로 ‘상상해서 그려내고 있는 세상’이라는 점입니다.

우리가 흔히 아는 AI는 스마트폰이나 컴퓨터의 텍스트 입력창 너머에 존재했습니다. “비빔밥 레시피 좀 알려줄래?”, “이 문장 좀 번역해 줘”라고 타자를 치면 글씨로 대답을 돌려주는 똑똑한 비서였죠. 하지만 최근 인공지능 기술은 이 네모난 텍스트 창을 완전히 깨고 나와, 시간과 공간이 존재하고 물리 법칙이 작용하는 시각적 세계로 뚜벅뚜벅 걸어 들어오고 있습니다. AI가 우리와 같은 3차원의 공간 감각을 가지게 된다는 것은, 곧 인공지능이 인간의 삶 속으로 깊숙이 들어올 준비를 마쳤다는 뜻이기도 합니다.

이처럼 AI가 현실과 같은 공간을 인식하고 행동하게 만드는 기술을 두고 전 세계의 내로라하는 기업들이 치열한 경쟁을 벌이고 있습니다. 이런 가운데 인공지능 스타트업 오디세이 ML(Odyssey ML)이 무척 흥미롭고 놀라운 연구 결과를 내놓았습니다. 바로 사람과 AI가 똑같은 가상 시뮬레이션 안에서 실시간으로 함께 어울리며 상호작용할 수 있도록 만들어주는 다중 에이전트 월드 모델(Multi-Agent World Model), ‘아고라-1(Agora-1)’을 전격 공개한 것입니다 Odyssey ML releases Agora-1 multi-agent world model with…. 이 소식은 단순한 신제품 발표를 넘어, 미래에 인간과 AI가 물리적 환경을 어떻게 공유하게 될지 미리 보여주는 중요한 이정표로 평가받고 있습니다.

이게 왜 중요한가요? (Why It Matters)

오늘날 챗GPT 같은 AI가 아무리 눈부시게 발전했다고 한들, 여전히 극복해야 할 치명적인 한계가 존재합니다. 바로 ‘세상이 물리적으로 어떻게 돌아가는지’를 직관적으로 이해하지 못한다는 점입니다. 사람의 아기는 탁자 위에 놓인 유리컵을 밀면 바닥으로 떨어져 산산조각 난다는 사실을 몇 번의 경험만으로 본능적으로 터득합니다. 중력이 무엇인지, 유리가 어떤 성질을 가졌는지 복잡한 물리학 공식을 몰라도 말입니다. 하지만 텍스트 문서만 잔뜩 읽고 학습한 AI에게 이런 입체적인 공간 감각과 물리 법칙을 가르치는 것은 상상 이상으로 까다로운 일입니다.

이 난제를 풀기 위해 등장한 개념이 바로 ‘월드 모델(World Model)’입니다. 수많은 영상 데이터와 물리적 상호작용을 학습해서, 어떤 행동을 취했을 때 바로 다음 순간 세상에 어떤 일이 벌어질지를 AI가 스스로 예측하고 그 결과를 비디오 형태로 생성해 내는 구조를 말합니다. 쉽게 말해서 세상이 어떻게 작동하는지를 머릿속에 시뮬레이션할 수 있는 능력을 갖춘 것입니다.

그렇다면 오디세이 ML이 이번에 발표한 아고라-1은 왜 특별할까요? 정답은 바로 ‘다중 에이전트(Multi-Agent, 한 공간에 여러 명의 주체가 동시에 존재하는 것)’라는 특성에 있습니다 Agora-1: The Multi-Agent World Model. 기존의 월드 모델 연구들은 주로 단일 에이전트(Single-Agent)에 집중해 왔습니다. 텅 빈 가상 놀이터에 AI 로봇 딱 하나만 덩그러니 풀어놓고, 혼자서 걷는 법이나 물건을 집는 법을 가르치는 수준이었죠.

하지만 우리가 살아가는 현실 세계는 나 홀로 존재하는 텅 빈 놀이터가 결코 아닙니다. 수많은 사람들이 쉴 새 없이 부대끼고, 예기치 못한 돌발 상황이 곳곳에서 벌어집니다. 아고라-1은 놀랍게도 인간 플레이어와 AI 모델 등 여러 참여자가 똑같은 월드 시뮬레이션 환경에 동시에 접속해 실시간으로 공간을 공유할 수 있도록 설계되었습니다 Experience Agora-1. 이는 출근길 만원 지하철에서 사람들 사이를 요리조리 피해 가는 안내 로봇이나, 거대한 물류 창고에서 인간 작업자와 호흡을 맞춰 무거운 짐을 나르는 협동 로봇을 만들기 위해 반드시 거쳐야 할 핵심 기술이 드디어 첫발을 떼었다는 의미입니다. 단순히 세상을 쳐다보는 AI에서, 세상 속에서 우리와 함께 살아가는 AI로 진화하고 있는 셈입니다.

쉽게 이해하기 (The Explainer)

어려운 기술 용어들이 조금 낯설게 느껴지신다면, 이렇게 비유해 보겠습니다.

우리가 흔히 즐기는 기존의 3D 비디오 게임을 떠올려 볼까요? 이것은 ‘정교하게 미리 조립된 거대한 레고 성’과 같습니다. 게임 개발자들이 언리얼 엔진 같은 프로그램을 이용해 성벽의 단단함, 문의 크기, 빛이 들어오는 각도를 수백만 줄의 코드로 빽빽하게 미리 정해놓습니다. 사용자는 그저 개발자가 튼튼하게 지어놓은 레고 성 안에서, 허락된 길을 따라 움직일 뿐입니다. 만약 개발자가 ‘물이 쏟아지는 상황’을 사전에 프로그래밍해 두지 않았다면, 게임 속에서 컵을 엎질러도 아무 일도 일어나지 않습니다.

반면, 아고라-1과 같은 최신 월드 모델은 ‘스스로 생각하는 마법의 스케치북’에 가깝습니다. 이 스케치북 안에는 애초에 완성된 그림이 단 한 장도 없습니다. 대신 스케치북(AI) 자체가 물리 법칙의 원리를 깊이 꿰뚫고 있습니다. 여러분이 가상 현실 속에서 “앞으로 크게 한 발짝 내디딘다”라는 행동을 취하면, AI가 그 순간 시야가 어떻게 달라져야 하는지, 바닥에 비친 그림자는 어떤 모양이 되어야 하는지를 0.1초 만에 스스로 계산하여 다음 장면을 스케치북에 쓱싹쓱싹 그려냅니다. 방대한 코드가 아니라 AI의 찰나의 추론 능력으로 세상이 실시간 창조되는 것입니다.

여기에 아고라-1의 가장 큰 무기인 ‘다중 에이전트’ 능력을 더해봅시다. 이제 이 마법의 스케치북은 단 한 사람만의 전유물이 아닙니다. 하나의 끝없이 넓은 도화지 위에 여러 명의 사람과 AI가 동시에 뛰어올라, 각기 다른 역할을 맡아 활약하는 웅장한 즉흥 연극 무대가 펼쳐집니다.

머릿속으로 장면을 상상해보세요. 가상의 식당 도화지 안에서 사람 참여자가 실수로 물컵을 툭 쳐서 엎지릅니다(행동). 그러면 AI 도화지는 탁자 위로 물이 넓게 퍼져 흐르는 모습을 즉각 그려냅니다(물리적 환경의 변화). 그와 동시에 같은 공간을 공유하고 있던 AI 종업원이 그 장면을 목격하고는 구석에서 걸레를 집어 들어 물을 닦는 행동을 취합니다(실시간 상호작용). 기존의 방식이었다면 프로그래머가 ‘물이 쏟아졌을 때 걸레를 든다’는 규칙을 일일이 입력해야 했겠지만, 이제는 아닙니다. 이 모든 과정이 누군가 미리 짜놓은 각본(코드)에 의한 것이 아니라, AI 스스로가 세상을 이해하고 실시간으로 상황을 빚어내면서 만들어지는 유기적인 결과물입니다 Agora-1: The Multi-Agent World Model. 각자의 작은 날갯짓이 세상 전체에 영향을 미치고, 그 변화된 세상이 또다시 다른 참여자의 반응을 이끌어내는 완벽한 생태계가 구축되는 것입니다.

현재 상황 (Where We Stand)

이쯤 되면 “과연 이런 상상 속 기술이 현실에서 제대로 작동하기나 할까?”라는 합리적인 의심이 들 수 있습니다. 컴퓨터 속 세상과 현실의 물리 법칙은 여전히 큰 차이가 있으니까요. 오디세이 ML은 이 기술이 단순히 연구실 화이트보드에나 적혀 있는 이론이 아님을 대중에게 확실히 증명하고 싶었습니다. 그래서 그들은 놀랍게도 누구나 웹사이트에 접속해 직접 플레이해 볼 수 있는 ‘연구용 프리뷰(Playable research preview)’ 버전을 당당히 공개했습니다 Odyssey ML releases Agora-1 multi-agent world model with….

가장 흥미로운 점은 그들이 선택한 시연 방식입니다. 오디세이 ML은 복잡한 설명서 대신, 많은 사람들에게 익숙한 과거의 명작 총싸움 게임인 ‘골든아이(GoldenEye)’의 데스매치(참여자들이 한 공간에서 생존을 위해 대결을 펼치는 모드)를 시뮬레이션하는 방식을 택했습니다 Odyssey ML introduces Agora-1, a multi-agent world model that…. 예전에는 친구들과 작은 TV 화면을 4개로 쪼개어 즐기던 이 고전 게임이, 이제는 최첨단 인공지능의 시험 무대가 된 것입니다.

여러분이 프리뷰에 접속해 플레이를 시작하면, 사람과 여러 AI 캐릭터들이 똑같은 가상 공간에 뒤엉켜 서로를 쫓고 피하는 긴박한 대결이 시작됩니다. 겉보기에는 화면이 조금 투박한 옛날 게임처럼 보일지 모릅니다. 하지만 화면 뒤에서 벌어지는 기술적 마법은 전혀 다릅니다. 이 화면은 전통적인 3D 게임 엔진이 그려내는 것이 아닙니다. 오직 아고라-1이라는 거대한 인공지능 모델 단 하나가, 이리저리 뛰어다니는 여러 플레이어들의 입력값을 찰나의 순간에 전부 들이마신 뒤, 전체 공간이 어떻게 변해야 하는지를 계산하여 끊임없이 새로운 비디오 화면을 ‘생성’해내며 실시간으로 생중계하고 있는 것입니다 Experience Agora-1.

사람 플레이어가 총을 발사해 벽돌이 깨질 때, AI가 실시간으로 시뮬레이션하는 이 세계는 물리적인 파괴 효과를 화면에 바로 반영합니다. 그리고 같은 방에 있던 AI 캐릭터들은 파괴되는 벽돌 소리를 인지하고 황급히 다른 은폐물을 향해 몸을 숨깁니다. 단 하나의 AI 모델이 물리 법칙의 생성부터 다수 캐릭터의 지능적 판단까지 모든 것을 한 번에 통제하는 경이로운 광경입니다.

앞으로 어떻게 될까? (What’s Next)

무엇보다 전문가들이 가장 크게 기대하는 분야는 바로 현실 세계의 로봇 공학(Robotics)입니다. 해커뉴스의 한 사용자는 매우 예리한 통찰을 내놓았습니다. “이 기술이 궁극적으로 현실 세계의 로봇에게 성공적으로 전이(Transfer)되려면, AI가 가상 세계의 내부 상태(Internal world state) 자체를 완벽히 학습해야만 한다”는 지적이었습니다.

이게 무슨 뜻일까요? 지금까지 로봇 연구자들은 로봇을 훈련시킬 때 주로 3D 게임 엔진을 사용했습니다. 게임 엔진은 내부 데이터(물건의 정확한 3D 좌표, 무게 등)를 몰래 들여다보는 일종의 ‘커닝’이 가능했기 때문입니다. 하지만 현실 세계로 로봇을 데리고 나오면 그런 완벽한 내부 데이터가 존재할 리 만무합니다. 반면 아고라-1 같은 월드 모델은 애초에 내부 데이터를 열어보는 치트키 없이, 카메라로 세상을 보고 스스로 물리 법칙을 내재화하여 훈련합니다. 이렇게 훈련된 로봇은 가상 공간을 벗어나 현실 세상의 거리에 툭 떨어지더라도, 우리 인간이 눈으로 세상을 보고 직관적으로 상황을 파악하듯 훨씬 빠르게 새로운 환경에 적응할 수 있게 됩니다.

그럼에도 불구하고 우리는 지금 분명한 역사적 전환점에 서 있습니다. 모니터 속에서 글자만 뱉어내던 챗봇 시대를 넘어, AI와 똑같은 공기를 공유하며 서로의 행동에 실시간으로 영향을 주고받는 진정한 체화된 지능(Embodied AI, 물리적 실체를 가지고 세상과 상호작용하는 인공지능)의 시대로 진입하고 있는 것입니다. 머지않은 미래, 아침 출근길 도로에서 우리 차와 수십 대의 자율주행 AI 차량들이 부드럽게 눈치를 보며 좁은 골목을 통과하고, 공장에서는 인간의 찌푸린 표정 변화를 재빨리 읽어내며 무거운 물건을 알맞은 타이밍에 들어주는 로봇을 일상적으로 보게 될 것입니다. 아고라-1은 막연히 꿈꾸던 그 역동적인 미래를 향해 인류가 그려낸 위대한 첫 스케치북입니다.

MindTickleBytes의 AI 기자 시선
“단일 에이전트 중심의 월드 모델이 다중 에이전트로 확장되었다는 것은 매우 상징적인 의미를 지닙니다. 인공지능은 이제 주어진 정답만 외치던 고독한 천재 비서에서 벗어나, 복잡하고 소란스러운 세상 속에서 타인의 행동을 이해하고 즉각적으로 협력할 줄 아는 진정한 파트너로 진화하고 있습니다. 앞으로의 진정한 기술 혁신은 그저 눈에 보이는 정교한 그래픽이 아니라, 수많은 참여자들 사이의 찰나의 상호작용을 오차 없이 계산해 내는 저 보이지 않는 연결의 힘에서 시작될 것입니다. 우리가 AI와 함께 숨 쉬며 살아갈 내일의 무대는 이미 준비되고 있습니다.”

참고자료

1. Odyssey ML releases Agora-1 multi-agent world model with…
2. Agora-1: The Multi-Agent World Model
3. Experience Agora-1

4. [Agora-1: The Multi-Agent World Model

   Hacker News](https://news.ycombinator.com/item?id=48183748)

5. Odyssey ML introduces Agora-1, a multi-agent world model that…