사진 한 장이 살아있는 게임 세상으로? 구글의 새로운 AI ‘지니 2’ 이야기

상상해보세요. 어릴 적 그린 서툰 그림 한 장이나 여행지에서 찍은 평범한 사진 한 장이 갑자기 살아 움직이는 3D 게임 세상이 된다면 어떨까요? 여러분이 그 사진 속으로 걸어 들어가 나무를 만지고, 시냇물에서 수영을 하며, 언덕 위로 점프해 올라갈 수 있다면 말이죠. 마치 영화 <쥬만지>처럼 현실의 이미지가 입체적인 모험의 공간으로 변하는 마법 같은 일이 이제 우리 코앞까지 다가왔습니다.

동화 속 이야기 같지만, 구글 딥마인드(Google DeepMind)가 최근 공개한 새로운 AI 모델 ‘지니 2(Genie 2)’ 덕분에 이 상상은 현실에 한 걸음 더 가까워졌습니다. Genie 2: A large-scale foundation world model — Google DeepMind 과연 이 ‘지능형 램프의 요정’은 어떤 세상을 우리에게 보여주려는 걸까요?

이게 왜 중요한가요?

지금까지의 AI는 주로 글을 쓰거나(ChatGPT), 멋진 그림을 그려주는(Midjourney) 데 특화되어 있었습니다. 하지만 지니 2는 차원이 다릅니다. 이 AI는 ‘월드 모델(World Model)’이라 불리는 존재입니다. 쉽게 말해서, 주변 환경의 물리적 법칙과 상호작용을 스스로 이해하고 시뮬레이션(가상 실험)하는 능력을 갖춘 AI 모델입니다. Genie 2: A large-scale foundation world model — Google DeepMind

이게 왜 중요할까요? 단순히 예쁜 영상을 보여주는 것을 넘어, 우리가 그 안에서 무언가를 했을 때 어떤 결과가 벌어질지 AI가 미리 ‘예측’하고 실시간으로 ‘반응’할 수 있다는 뜻이기 때문입니다.

비유하자면, 기존의 AI가 완성된 영화를 보여주는 영사기였다면, 지니 2는 관객이 마음대로 시나리오를 바꾸며 뛰어놀 수 있는 거대한 연극 무대와 같습니다. 캐릭터가 물속으로 뛰어들면 물보라가 일고, 중력에 의해 아래로 가라앉는 물리적인 반응을 AI가 실시간으로 계산해 그려냅니다. 이러한 기술은 단순히 게임을 만드는 즐거움을 넘어, 현실 세계의 로봇이 위험한 사고를 겪지 않고도 안전한 가상 세계에서 고도의 훈련을 쌓게 돕는 등 산업 전반에 엄청난 변화를 가져올 잠재력을 가지고 있습니다. Google DeepMind CEO demonstrates Genie 2, world … - CBS News

쉽게 이해하기: 지니 2는 어떻게 작동할까?

지니 2를 한마디로 정의하면 ‘상상력이 풍부한 천재 게임 제작자’라고 할 수 있습니다. Genie 2: A large-scale foundation world model - simonwillison.net

보통 게임을 만들려면 수많은 프로그래머가 복잡한 코드를 짜고, 디자이너가 며칠 밤을 새워 입체 모델을 그려야 합니다. 하지만 지니 2는 단 한 장의 사진만 주어지면 그 안의 평면적인 공간을 입체적인 3D로 순식간에 재구성해냅니다. Genie 2: The Next-Generation Foundation Model for 3D Worlds

1. 행동의 결과를 예측하는 지능

지니 2는 사용자의 입력(점프, 수영, 걷기 등)에 따라 가상 세계가 어떻게 변해야 하는지 스스로 판단합니다. Genie 2: A large-scale foundation world model — Google DeepMind 마치 우리가 눈을 감고 ‘내가 여기서 돌을 던지면 저 유리창이 깨지겠지?’라고 상상하는 것과 비슷합니다. AI가 물리 법칙(Physics)을 교과서로 배운 게 아니라, 수많은 경험을 통해 스스로 체득하고 있는 셈이죠. Genie 2: A large-scale foundation world model - deepmind.google

2. 동영상으로 세상을 독학했어요

이 똑똑한 AI는 어떻게 이런 능력을 갖게 되었을까요? 바로 엄청난 양의 동영상 데이터를 학습했기 때문입니다. Genie 2: A large-scale foundation world model — Google DeepMind 갓난아기가 세상을 관찰하며 배우듯, 지니 2는 수많은 영상을 보면서 “사람이 이렇게 움직이면 배경은 이렇게 바뀌는구나”, “물체끼리 부딪히면 튕겨 나가는구나”라는 인과관계를 스스로 깨우쳤습니다. 이 과정을 통해 지니 2는 복잡한 캐릭터의 관절 움직임이나 자연스러운 상호작용을 놀라울 정도로 생생하게 묘사할 수 있게 되었습니다. Genie 2: A large-scale foundation world model - deepmind.google

3. 다른 캐릭터의 마음까지 읽는다?

더욱 놀라운 점은 지니 2가 그 가상 세계 안에 있는 다른 존재(에이전트)들의 행동까지 예측할 수 있다는 것입니다. Genie 2: A large-scale foundation world model - deepmind.google 단순히 배경만 바뀌는 게 아니라, 가상 세계 속의 다른 인물이 내 움직임에 어떻게 반응할지까지 AI가 계산해서 보여줍니다. 마치 살아있는 생태계를 통째로 시뮬레이션하는 것과 같죠.

현재 상황: 2D에서 3D로의 거대한 도약

사실 지니 2에게는 듬직한 형님이 있습니다. 바로 2024년 초에 공개되었던 ‘지니 1(Genie)’입니다. 지니 1은 약 110억 개의 파라미터(AI의 뇌세포 역할을 하는 가중치 정보)를 가진 모델로, 주로 평면적인 2D 게임 환경을 만드는 데 성공했습니다. [2402.15391] Genie: Generative Interactive Environments

하지만 이번에 등장한 지니 2는 이를 훌쩍 뛰어넘어 훨씬 더 깊이 있고 몰입감 넘치는 3D 가상 세계를 창조합니다. Genie 2: The Next-Generation Foundation Model for 3D Worlds 구글 딥마인드 측은 이를 두고 AI 기술의 “범용성 면에서 중대한 도약”이라고 자신 있게 평가했습니다. Google announces Genie 2: A large-scale foundation world model

이 야심 찬 프로젝트는 잭 파커-홀더(Jack Parker-Holder)의 지휘 아래 스티븐 스펜서(Stephen Spencer)가 기술적 기틀을 닦았으며, 수십 명의 천재 연구원이 머리를 맞댄 결과물입니다. Genie 2: A Large-scale Foundation World Model

앞으로 어떻게 될까?

구글 딥마인드의 CEO 데미스 허사비스(Demis Hassabis)는 미국의 유명 시사 프로그램 <60분(60 Minutes)>에 출연해 지니 2를 직접 시연하며 전 세계의 이목을 끌었습니다. Google DeepMind CEO demonstrates Genie 2, world … - CBS News

허사비스 CEO는 이 기술이 단순한 엔터테인먼트 도구에 머물지 않을 것임을 분명히 했습니다. 가장 주목받는 분야는 바로 ‘로봇의 조기 교육’입니다. Google DeepMind CEO Reveals Genie 2: AI-Powered World …

실제 로봇을 현실 세계에서 훈련하려면 비싼 기기가 망가질 위험도 크고, 사고의 위험도 늘 따라다닙니다. 하지만 지니 2가 생성한 ‘현실보다 더 현실 같은 가상 세계’에서 로봇을 수만 번 훈련시킨다면 어떨까요? 로봇은 시행착오를 안전하게 겪으며 훨씬 더 정교하고 빠르게 일을 배우게 될 것입니다. 나아가 교육 현장이나 예술 창작 분야에서도, 우리가 꿈꾸던 세상을 즉석에서 구현해 직접 탐험하는 시대가 곧 열릴 것으로 보입니다. Google DeepMind CEO Reveals Genie 2: AI-Powered World …

AI의 시선 (MindTickleBytes AI 기자의 한마디)

지니 2의 등장은 AI가 단순히 ‘글을 읽고 그림을 그리는 비서’를 넘어, 우리가 발을 딛고 서 있는 ‘세상의 작동 원리’를 본격적으로 이해하기 시작했음을 시사합니다. 물리 법칙이 살아 숨 쉬는 가상 공간을 마음껏 만들어내는 이 기술은 머지않아 현실과 가상의 벽을 허물고, 똑똑한 로봇들이 우리 일상 속으로 자연스럽게 스며드는 ‘에이전틱 시대’를 더욱 앞당길 것입니다. 사진 한 장으로 시작된 모험이 우리 삶을 어떻게 바꿔놓을지 정말 기대되지 않나요?

참고자료

1. Genie 2: A large-scale foundation world model — Google DeepMind
2. [2402.15391] Genie: Generative Interactive Environments
3. Genie 2: The Next-Generation Foundation Model for 3D Worlds
4. Genie 2: A large-scale foundation world model - simonwillison.net
5. Genie 2: A Large-scale Foundation World Model
6. Google announces Genie 2: A large-scale foundation world model
7. Google DeepMind CEO demonstrates Genie 2, world … - CBS News
8. Google DeepMind CEO Reveals Genie 2: AI-Powered World …
9. Genie 2: A large-scale foundation world model - deepmind.google