一句話就能改變虛擬世界?Google 次世代世界模型「Genie 4」正式亮相

展示根據使用者自然語言指令,即時變化的虛擬數位場景圖形界面
AI Summary

Google DeepMind 發表的「Genie 4」是一款次世代世界模型,使用者能透過自然語言即時操控場景,並生成音訊與增強的物理法則。

想像一下。您正舒適地坐在沙發上,看著智慧型手機裡的虛擬空間。當您對著螢幕說:「現在讓這裡下雨吧」,天空隨即變得陰沉,雨聲開始響起。「加入更多人吧」,新的登場人物便會出現,並對您的對話做出反應。這不是單純地觀看預錄影片,而是您說的每一句話,都直接成為現實的世界。

讓這夢幻般場景成為現實的技術,正是 Google DeepMind 發表的次世代世界模型(World Model,一種學習世界物理法則與互動方式並實現虛擬世界的 AI 模型)——「Genie 4」。

為什麼這很重要?

過去我們接觸的 AI 影片生成技術,主要集中於創造預設的成果。大多停留在根據使用者輸入的文字,「製作」出精美影片的階段。然而,Genie 4 更進一步。這項技術不僅僅讓 AI 「繪製」畫面,更讓 AI 「理解」畫面中的世界規則,並與我們進行即時「互動」[Source 1, Source 8]。

簡單來說,如果我們過去一直只是觀眾,現在則打開了一扇大門,讓我們成為能與 AI 一同創作故事的「創作者」。在遊戲製作、電影導演、教育等多個領域,我們想像的世界正隨時準備好即時呈現於數位環境中。

簡單理解:Genie 4 是什麼?

為了讓您輕鬆理解 Genie 4,我們可以將其比喻為一位「聰明的影片拍攝導演」。

如果說先前的 AI 是一位繪畫技巧精湛的畫家,那麼 Genie 4 就是一位能在現場即時調整從攝影機運鏡、燈光、背景音樂到演員演技的所有細節的導演。Genie 4 是建立在 Google 最新的 Gemini 模型基礎上,因此能比以往更精確地掌握世界的物理規則與人類的自然動作[Source 2, Source 6, Source 9]。

具體來說,Genie 4 就如同一座巨大的「虛擬遊樂場」。當您透過自然語言發出指令時,該模型會立即更改畫面場景,甚至自動生成適合當下情況的環境音或對話[Source 1, Source 8]。例如,在投擲蘋果的場景中,它能非常自然地呈現蘋果在空中畫出拋物線落下的物理運動。連球撞擊牆壁反彈的反應,或是雨天地板質感的變化,都能細膩地表現出來[Source 6, Source 8]。

現狀:發展到什麼程度了?

目前的 Genie 4 並非所有人都能直接使用的服務。Google DeepMind 目前以「研究預覽版(Research Preview)」的形式公開,讓經過驗證的合作夥伴與研究人員先行體驗[Source 3]。

我們目前所確認到的 Genie 4 主要功能如下:

  • 即時操控(Steering): 透過自然語言指令即可變更攝影機視角、轉換天氣或加入新角色[Source 1, Source 9]。
  • 原生音訊生成: 根據影片場景即時生成環境音、背景音樂與角色對話,提升沉浸感[Source 1, Source 8]。
  • 物理法則與動作: 比起前代模型,應用了更逼真的物理法則(重力、碰撞等)與更自然的人體動作[Source 6, Source 8]。

雖然目前還處於受限環境下的測試階段,但這將成為一個重要的里程碑,展現出 AI 對於我們所處世界的運作機制,已有了多麼深層的理解。

未來發展如何?

隨著 Genie 4 這類世界模型的進一步發展,未來會發生什麼事呢?專家預測,AI 將進入能預測世界發展,並在其中主動採取行動的時代[Source 10]。

短期內,我們將創造出能像玩高階遊戲一樣,即時遊玩並享受想像中內容的環境。長遠來看,AI 不僅限於建構數位世界,更會更深入地結合現實世界,用於模擬或研究現實問題。Genie 4 所展示的即時音訊與物理法則生成技術,是一個明確的訊號:我們已經準備好從單純地「觀看」AI,轉變為與 AI 在同一個世界中「互動共生」的生活方式。

MindTickleBytes 的 AI 記者視角

Genie 4 的出現,不只是影片技術的進步,更意味著 AI 終於開始學習「世界的規則」。接下來重要的不是 AI 能畫出多逼真的圖像,而是它能多自然地與我們交流,並和諧地引領這個虛擬世界。這正是我們為何對 AI 將與我們共同創造出的全新未來充滿期待的原因。

參考資料

  1. We’re announcing Genie 4, our new world model for real-time interactive…
  2. Genie 4: A new generation of world simulation - YouTube
  3. Google’s Genie 4 world model adds audio, more realistic… - TechCrunch
  4. DeepMind’s Genie 4 world model adds audio and more realistic people to… - Ars Technica
  5. Genie4: A new generation of world simulation — Google DeepMind
  6. Genie4: A new generation of world simulation - YouTube
  7. [LTX Open Foundation Models for Video, Audio, and World Simulation](https://ltx.io/)
AD
測試你的理解
Q1. 透過 Genie 4,使用者可以進行什麼樣的互動?
  • 將圖像轉換為固定影片
  • 使用自然語言即時操控場景中的天氣或登場人物
  • 單純將文字轉換為部落格文章
Genie 4 是一款互動模型,使用者可以使用自然語言即時操控場景,例如移動攝影機、更改天氣、加入新角色等。
Q2. Genie 4 能提供比以前的模型更逼真模擬的原因之一是什麼?
  • 更多的手動編碼工作
  • 建立在 Google 最新的 Gemini 模型基礎上,並增強了物理法則模擬
  • 無需網路連線即可運作
Genie 4 是基於 Google 更新後的 Gemini 模型所建構,大幅提升了模擬物理法則與自然人類動作的能力。
Q3. Genie 4 具備什麼獨特的音訊生成功能?
  • 搜尋無版權音樂
  • 根據場景變化,即時生成環境音、音樂與對話等原生音訊
  • 手動上傳音訊檔
Genie 4 具備原生音訊功能,能即時生成場景中產生的環境音、音樂以及互動對話。