AI가 이제 '시간'도 봅니다? 구글 딥마인드가 만든 4차원 시각의 눈, D4RT

상상해보세요. 여러분이 따뜻한 햇살이 비치는 카페에 앉아 친구가 건네주는 커피잔을 바라보고 있습니다. 여러분의 눈은 단순히 멈춰 있는 사진을 찍는 것이 아닙니다. 잔이 내 쪽으로 다가오는 속도(시간), 테이블 위에서의 입체적인 위치(3D 공간), 그리고 잔 속의 커피가 흔들리는 미세한 움직임까지 실시간으로 파악하죠. 우리는 너무나 당연하게 여기는 이 능력이 사실 AI에게는 에베레스트산을 넘는 것만큼이나 어려운 숙제였습니다.

지금까지의 AI는 사진 속의 물체를 인식하거나, 멈춰 있는 물체를 3D 모델로 만드는 데는 뛰어난 실력을 보여주었습니다. 하지만 우리가 사는 이 ‘움직이는 세상’을 통째로, 그것도 시간의 흐름에 따라 입체적으로 이해하는 것은 차원이 다른 문제였죠. 쉽게 말해, 지금까지의 AI가 ‘사진가’였다면, 이제는 ‘영화감독’의 눈이 필요해진 것입니다.

2026년 1월, 구글 딥마인드(Google DeepMind)는 이 난제를 해결할 혁신적인 열쇠를 공개했습니다. 바로 AI가 인간처럼 4차원의 세상을 보고 느낄 수 있도록 가르치는 새로운 모델, D4RT(DeepMind 4D Reasoning Toolkit)입니다. 출처 제목 출처 제목

이게 왜 우리에게 중요한가요?

우리는 흔히 3D라고 하면 입체적인 공간을 떠올립니다. 가로, 세로, 높이가 있는 세상이죠. 여기에 ‘시간’이라는 소중한 한 가지 차원을 더하면 비로소 우리가 사는 진짜 세상인 4D가 됩니다. D4RT는 단순히 공간을 재구성하는 것을 넘어, 그 공간 속에서 물체가 시간에 따라 어떻게 변하고 움직이는지를 ‘이해’하기 시작했습니다. 출처 제목

이 기술이 우리 일상에 스며들면 어떤 놀라운 변화가 생길까요?

1. 눈치 빠른 가정용 로봇: 로봇이 거실을 돌아다닐 때, 단순히 “벽이 여기 있네”라고 아는 수준을 훨씬 넘어섭니다. “아이들이 저쪽에서 이 속도로 달려오고 있으니, 내가 1.5초 뒤에 여기서 멈춰야 부딪히지 않겠구나”라는 판단을 인간처럼 아주 자연스럽게 할 수 있게 됩니다. 출처 제목
2. 현실보다 더 현실 같은 증강현실(AR): AR 안경을 쓰고 길을 걸을 때, 가상의 귀여운 캐릭터가 실제로 움직이는 자동차나 보행자 사이를 요리조리 피하며 뛰어다니는 모습을 볼 수 있습니다. 공간과 시간을 동시에 파악하기 때문에 가상과 현실의 경계가 완전히 허물어지는 것이죠. 출처 제목
3. 자율주행의 퀀텀 점프: 복잡한 교차로에서 다른 차량이나 보행자의 미래 궤적을 4차원적으로 파악함으로써, 더욱 안전하고 부드러운 주행이 가능해집니다. 갑작스러운 돌발 상황에도 마치 숙련된 운전자처럼 대처할 수 있게 됩니다. 출처 제목

쉽게 이해하기: D4RT는 어떻게 세상을 보나요?

D4RT의 가장 큰 특징은 여러 가지 복잡한 일을 한꺼번에 처리하는 ‘통합형 AI’라는 점입니다. 기존에는 ‘깊이’를 재는 AI, ‘움직임’을 추적하는 AI, ‘카메라 위치’를 계산하는 AI가 제각각 따로 작동했습니다. 하지만 D4RT는 이 모든 정보를 하나의 트랜스포머(Transformer) 모델 안에서 동시에 처리합니다. 여기서 트랜스포머란, 영상 속 여러 요소들 사이의 관계를 파악하여 문맥을 읽어내는 똑똑한 두뇌 구조를 말합니다. 출처 제목 출처 제목

이해를 돕기 위해 비유를 하나 들어보겠습니다.

[비유: 무대 위의 조명 감독] 기존의 AI가 배우 한 명 한 명을 따로 관찰하며 보고하는 여러 명의 ‘초보 보조 감독’이었다면, D4RT는 무대 전체를 조망하며 모든 배우의 위치와 움직임, 조명의 각도를 한눈에 꿰뚫어 보고 지휘하는 ‘베테랑 조명 감독’과 같습니다.

D4RT는 평범한 영상 하나만 보고도 다음과 같은 고급 정보를 동시에 추출해냅니다.

• 깊이(Depth): 각 물체가 나로부터 얼마나 멀리 떨어져 있는지.
• 시공간적 대응 관계(Spatio-temporal correspondence): 시간이 흘러도 ‘저 사과’가 ‘그 사과’임을 놓치지 않고 끝까지 추적하는 끈기.
• 카메라 파라미터(Camera parameters): 영상을 찍고 있는 카메라가 어떤 각도로 얼마나 빠르게 움직이고 있는지에 대한 정보. 출처 제목 출처 제목

“쿼리 메커니즘”: 필요한 것만 쏙쏙 골라내기

우리가 1초에 30프레임이나 되는 고화질 영상을 하나하나 정밀하게 분석하려면 컴퓨터는 엄청난 열을 내며 고생할 것입니다. D4RT는 이 문제를 해결하기 위해 ‘쿼리(Querying) 메커니즘’이라는 영리한 기술을 도입했습니다. 출처 제목

비유하자면, 어두운 방 전체에 불을 켜는 대신, 내가 궁금한 물체에만 ‘스마트 손전등’을 비추어 “저 컵은 2초 뒤에 어디로 이동할까?”라고 질문(Query)을 던지고 답을 얻는 방식입니다. 덕분에 계산량은 획기적으로 줄이면서도, 아주 빠르고 정확하게 움직이는 세상을 재구성할 수 있게 되었습니다. 출처 제목

현재 상황: 어디까지 왔나요?

구글 딥마인드의 연구원 기욤 르 모잉(Guillaume Le Moing)과 메디 사자디(Mehdi S. M. Sajjadi)는 D4RT가 단순히 보는 것을 넘어, 인간의 ‘기억과 예측’ 기능을 AI에게 이식한 것이라고 강조합니다. 출처 제목

현재 D4RT는 복잡한 배경과 빠르게 움직이는 물체가 뒤섞인 환경에서도 놀라운 성능을 보여주고 있습니다. 출처 제목 딥마인드는 이 기술을 통해 AI가 단순한 기록 장치를 넘어, 세상을 살아있는 모습 그대로 이해하는 ‘진정한 목격자’가 되도록 진화시키고 있습니다. 출처 제목

물론 숙제도 남아있습니다. 여전히 일반 스마트폰에서 돌리기에는 계산 능력이 많이 필요하다는 점이죠. 연구팀은 앞으로 이 복잡한 계산 과정을 더 가볍게 만들어 누구나 쓸 수 있게 하는 것이 목표라고 밝혔습니다. 출처 제목

앞으로의 미래: 4차원의 눈이 바꿀 세상

D4RT의 등장은 AI 시각 기술의 새로운 시대, 즉 ‘4차원 전체 지각(Full Perception)’ 시대가 열렸음을 의미합니다. 출처 제목

가까운 미래에는 우리가 사용하는 스마트폰 카메라가 단순히 사진을 찍는 도구를 넘어, 우리가 보고 있는 현실의 모든 역동적인 움직임을 실시간 3D 데이터로 바꿔주는 마법 지팡이가 될지도 모릅니다. 또한, 우리의 삶을 돕는 로봇들이 훨씬 더 안전하고 정교하게 인간의 공간 속에서 함께 숨 쉬며 활동하게 될 것입니다. 출처 제목

구글 딥마인드가 선보인 이 ‘4차원의 눈’은 AI가 우리를 더 깊이 이해하고, 우리가 사는 세상을 더 정확하게 파악하는 데 결정적인 이정표가 될 것입니다. 출처 제목

AI의 시선: MindTickleBytes AI 기자 시선

그동안 AI에게 세상은 ‘멈춰 있는 사진들의 나열’에 불과했습니다. 하지만 D4RT는 그 사진들 사이를 흐르는 ‘시간의 선’을 찾아냈습니다. 이는 AI가 현실 세계의 물리 법칙을 경험적으로 학습하고, 다음에 일어날 일을 미리 준비할 수 있는 ‘능동적 지능’으로 진화했음을 보여줍니다. 우리가 보는 세상을 AI도 똑같이 보고 느끼게 되는 날이 머지않아 보입니다.

참고자료

1. D4RT: Teaching AI to see the world in four dimensions (https://deepmind.google/blog/d4rt-teaching-ai-to-see-the-world-in-four-dimensions/)
2. D4RT (https://d4rt-paper.github.io/)
3. Efficiently Reconstructing Dynamic Scenes One D4RT at a Time (https://arxiv.org/abs/2512.08924)
4. D4RT: Teaching AI to see the world in four dimensions (LinkedIn) (https://www.linkedin.com/posts/googledeepmind_d4rt-teaching-ai-to-see-the-world-in-four-activity-7420119403314454529-RZv1)
5. D4RT: Teaching AI to see the world in four dimensions (Dev.to) (https://dev.to/minimal-architect/d4rt-teaching-ai-to-see-the-world-in-four-dimensions-2k4n)
6. Efficiently Reconstructing Dynamic Scenes One D4RT at a Time (PDF) (https://arxiv.org/pdf/2512.08924)
7. Efficiently Reconstructing Dynamic Scenes One D4RT at a Time (HTML) (https://arxiv.org/html/2512.08924v1)
8. D4RT: Teaching AI to see the world in four dimensions (Technical Analysis) (https://dev.to/minimal-architect/d4rt-teaching-ai-to-see-the-world-in-four-dimensions-35fg)
9. Google DeepMind Launches D4RT AI Model for Real-Time 4D Reconstruction (https://www.newsbreak.com/winbuzzer-com-302470011/4458781235094-google-deepmind-launches-d4rt-ai-model-for-real-time-4d-reconstruction)
10. Google Deepmind’s D4RT model aims to give robots and AR devices more human-like spatial awareness (https://the-decoder.com/google-deepminds-d4rt-model-aims-to-give-robots-and-ar-devices-more-human-like-spatial-awareness/)
11. The Wide Perspective of Silicon-Based Life: Google DeepMind launches D4RT (https://news.aibase.com/news/24896)