一张照片变身游戏世界?谷歌 DeepMind 展示全新魔法“Genie 2”

形象化展示角色在精细生成的 3D 虚拟世界中展开冒险的图像
AI Summary

谷歌 DeepMind 公布的“Genie 2”是一项惊人的 AI 技术,输入一张图像即可实时生成可跳跃、游泳并进行交互的互动式 3D 环境。

想象一下。 你给 AI 看一张你昨天在旅途中拍摄的漂亮森林照片。片刻之后,照片中静止的树木开始随风摇曳,溪水潺潺流动,一切都变得鲜活起来。这不仅仅是播放一段视频。你可以按下键盘上的箭头键,亲自在森林中漫步,或者纵身跳上眼前的岩石,甚至跃入清凉的水中游泳。

昨天拍下的“回忆”变成了今天可以尽情探索的“游乐场”。这不仅是欣赏画作,更是直接走进画中世界,这种惊人的体验正成为现实。2024 年 12 月 4 日,谷歌 DeepMind (Google DeepMind) 正式发布了全新的 AI 模型 “Genie 2”,它能基于一张照片瞬间创建出可直接游玩的 3D 虚拟环境 Genie 2: A Large-scale Foundation World Model - GIGAZINE

为什么这很重要?

到目前为止,我们遇到的生成式 AI 主要集中在撰写像模像样的文章或绘制华丽的图画。但“Genie 2”更进一步,开启了 “世界模型 (World Model)” 的新篇章。简单来说,世界模型是指 “能自主理解并模拟世界运作原理的 AI 模型” Genie 2: A large-scale foundation world model — Google DeepMind

这项技术将给我们的生活和产业带来革命性的变化。

  1. 游戏制作的民主化:过去需要数百名开发人员耗时数年、熬夜奋战才能打造出的精细 3D 游戏世界,现在 AI 只需看一张照片就能轻松搞定。这意味着人人都能拥有并分享属于自己的虚拟世界的时代即将到来 Genie 2: A large-scale foundation world model - simonwillison.net
  2. AI 的“物理课”:Genie 2 不仅仅是在模仿图像。它自主学习了诸如“扔东西会往下掉”或“碰到坚硬的墙壁会停下”之类的物理定律 (Physics)。这对于未来将在现实世界中活动的机器人来说是必不可少的技术,让它们在现实中闯祸之前,能先在虚拟空间安全地接受“早期教育” Google Genie 2 (DeepMind Genie 2) is a large “World Model”…
  3. 无止境的交互:与只能按照既定剧本运行的传统游戏不同,用户可以体验到能实时响应突发行为并发生变化的“活生生的世界”。每次游玩都会展开全新的风景和事件 Genie 2: The Next-Generation Foundation Model for 3D Worlds

轻松理解:Genie 2 是如何运作的?

如果做个比喻,Genie 2 就像是 “AI 自主实时运行的游戏引擎” Genie 2: A large-scale foundation world model - simonwillison.net。究竟这种魔法般的事情是如何实现的?我们可以通过两个核心要点来看。

1. 拥有“想象之眼”的 AI

回想一下小孩子玩玩具车时的样子。孩子们即使没有学习过发动机原理或重力加速度,也知道汽车撞到墙上会发出“砰!”的一声并停下来。这是因为他们通过无数次的观察,亲身体会到了世界是如何运作的。

Genie 2 的学习方式与之类似。该模型通过观看海量的视频数据来学习世界 Genie 2: A large-scale foundation world model — Google DeepMind。即使没有专门的答案(标签),它也能通过观看视频自主领悟到“人跳起来会画出这样的曲线”、“进入水中动作会变慢”等规律。得益于此,只需看一张照片,它就能生动地“想象”出隐藏在照片背后的 3D 空间和物理反应 Genie: Generative Interactive Environments

2. 从跳跃到游泳,随心所欲操控

Genie 2 创造的世界不仅仅是用眼睛看的电影。它最大的特征是用户可以直接操控角色 (Action-controllable)。当用户下达“向左走”、“跳起来”等指令时,AI 会立即计算该行为在虚拟世界中会带来什么结果(例如:蹬地跃起的样子、着地时的震动等),并呈现在屏幕上 Genie 2: A large-scale foundation world model — Google DeepMind

例如,如果输入一张陡峭岩壁的照片,Genie 2 会将该地形重构为 3D 形式,并实时生成角色在上面小心行走或避开障碍物的复杂动作 Genie 2: A large-scale foundation world model — Google DeepMind

3. 比“Genie 1”聪明了多少?

前身模型“Genie 1”是一个拥有约 110 亿个参数(Parameter,类似于 AI 的脑细胞学习单位)的模型,主要处于生成类似 2D 游戏世界的水平 Genie: Generative Interactive Environments。相比之下,这次公开的 Genie 2 远超前者,能够随心所欲地生成完整的 3D 虚拟世界。专家们评价其在技术上实现了“重大跨越 (Significant leap forward)” Google announces Genie 2: A large-scale foundation world model

现状:我们什么时候能用上?

由杰克·帕克-霍尔德 (Jack Parker-Holder) 和技术负责人斯蒂芬·斯宾塞 (Stephen Spencer) 领导的研究团队开发的 Genie 2,目前是全球 AI 行业关注的焦点 Genie 2: A Large-scale Foundation World Model - aifuturethinkers.com

不过,遗憾的是,它目前还不是那种可以立即在智能手机上下载运行的“App”。目前 Genie 2 作为谷歌 DeepMind 的最新研究成果,正处于证明 AI 能多么精细地理解并模拟我们所生活的世界的阶段 Genie 2: A large-scale foundation world model - simonwillison.net

尽管如此,Genie 2 展示出的物理一致性 (Physical consistency)——即物体碰撞时的反应或视角改变时背景的自然转换等——被认为完美地超越了现有生成式 AI 的局限 Google Genie 2 (DeepMind Genie 2) is a large “World Model”…

未来会怎样?

谷歌 DeepMind 强调,Genie 2 摆脱了早期世界模型局限于狭窄领域的束缚,具备了更一般、更广泛的通用性 Google announces Genie 2: A large-scale foundation world model

如果这项技术正式来到我们身边,会发生什么呢?

  • 专属开放世界游戏:我小时候画的藏宝岛图画或昨天拍的社区小巷照片都能直接变成游戏关卡,邀请朋友们一起冒险。
  • 完善的训练模拟:自动驾驶汽车或配送无人机在进入复杂的现实世界之前,可以在 AI 创造的虚拟世界中进行数千万次的模拟驾驶,从而变得更加安全。
  • 沉浸式叙事:读者可以直接走进电影或小说的一个场景中,与主人公对话并解决事件,这类新型内容将层出不穷。

Genie 2 不仅仅是一项技术成就,它正在成为一盏“阿拉丁神灯”,将人类的想象力转化为物理定律生机勃勃的数字现实。

MindTickleBytes AI 记者的视角

Genie 2 的出现意味着 AI 现在已经开始超越“文字”和“平面图像”,理解“立体空间”和“随时间产生的变化”。AI 正在读懂我们不经意间拍下的一张照片中所蕴含的三维深度和分量。

“简单来说”,Genie 2 不仅仅是描绘风景的画家,更是在风景中设计重力和摩擦力的“创造者”。不久的将来,AI 将能像我们一样生动地感知现实世界并与之交互。Genie 2 开启的虚拟世界大门之后,会有怎样惊人的风景在等待着我们,真是让人心潮澎湃。

参考资料

  1. Genie 2: A large-scale foundation world model — Google DeepMind
  2. Genie: Generative Interactive Environments
  3. Genie 2: A large-scale foundation world model - simonwillison.net
  4. Genie 2: A Large-scale Foundation World Model - aifuturethinkers.com
  5. Genie 2: The Next-Generation Foundation Model for 3D Worlds
  6. Google Genie 2 (DeepMind Genie 2) is a large "World Model"…
  7. Google DeepMind announces ‘Genie2,’ an AI model that… - GIGAZINE
  8. Google announces Genie 2: A large-scale foundation world model
  9. Genie 2: A large-scale foundation world model - Object Digital
  10. Genie 2: A large-scale foundation world model – Inform Ai

事实核查摘要

  • 核查项:22
  • 已验证项:22
  • 结论:通过 (PASS)
测试你的理解
Q1. Genie 2 最核心的特征是什么?
  • 仅生成高分辨率照片。
  • 将一张照片转化为可交互的 3D 虚拟世界。
  • 将文本转换为音频文件。
Genie 2 是一个接收单张图像输入并生成可供用户直接操控和探索的 3D 环境的模型。
Q2. 以下哪项不是 Genie 2 在虚拟世界中可以实现的动作?
  • 跳跃和游泳
  • 与物体交互
  • 无视现实世界的物理定律
Genie 2 旨在模拟物理一致的世界,包括跳跃、游泳和物体间的碰撞。
Q3. Genie 2 的前身“Genie 1”主要生成什么形式的世界?
  • 精细的 3D 世界
  • 基于 2D 的世界
  • 基于文本的小说世界
Genie 1 引入了生成各种 2D 世界的方式,而 Genie 2 将其扩展到 3D,大大提高了通用性。