如果遊戲中的 AI 能像朋友一樣與你對話並制定戰術?Google DeepMind 'SIMA 2' 展現的未來

模擬 AI 代理在複雜 3D 遊戲環境中構思策略並與使用者協作的形象圖
AI Summary

搭載 Google 強大 AI 'Gemini' 作為大腦的 SIMA 2 已進化為超越單純遊戲角色的 '智慧夥伴',它能自主制定計畫、進行對話,即使在陌生的虛擬世界中也能行動自如。

前言:告別遊戲中那些「笨拙」的隊友

請想像一下:你進入了一個初次接觸的複雜開放世界遊戲。身旁站著一位 AI 隊友。在以往的遊戲中,這位隊友可能只會走預設好的路線,或者撞到牆壁後不知所措。但這位隊友完全不同。當你對他說:「能幫我看看那座山丘後面有什麼嗎?」他觀察了一下狀況後回答:「沒問題。我會悄悄繞到右邊的岩石後方獲取視野,你在這裡掩護我,別讓我被發現。」

這不再是電影中的想像或遙遠未來的縮影。Google DeepMind 公開的新型 AI 代理(Agent,能自主判斷狀況並行動的視覺人工智慧)SIMA 2,正讓這樣驚人的世界成為現實 Source 1, Source 3

今天,我們將深入淺出地帶領大家認識這位能與我們一起享受遊戲、自主制定戰術並不斷學習的聰明 AI 夥伴——SIMA 2。


為什麼這很重要? (Why It Matters)

我們平時使用的 ChatGPT 或 Gemini 等 AI,主要是透過「文字」或「對話」與我們交流。然而,若要讓 AI 真正深入我們的生活並提供實質幫助,它必須學會在螢幕中的虛擬世界或真實物理世界中「直接移動與行動」。這在專業術語中被稱為具身智慧 (Embodied AI) Source 2, Source 10

換個比喻,如果說至今為止的 AI 是坐在書桌前背誦世上所有知識的「博學學者」,那麼具身智慧就是正在進化為能親自出門使用工具、執行任務的「熟練解決者」。

SIMA 2 是該領域的重大突破。它不僅僅是根據預設規則(演算法)移動,而是能像人類一樣視覺化地理解並判斷複雜的 3D 環境。一旦這項技術成熟,我們不僅能在遊戲中遇到完美的夥伴,未來還能為在家中協助家務的服務型機器人賦予相同的智慧 Source 10


輕鬆理解 (The Explainer)

什麼是 SIMA 2?

首先,讓我們拆解這個名字的含義。SIMA 是 「Scalable Instructable Multiworld Agent」 的縮寫 Source 1, Source 7

  • Scalable (可擴展的): 指它不侷限於一兩款特定遊戲,而是能立即應用於無數種不同的遊戲環境。
  • Instructable (可遵循指令的): 意指它能精準聽懂人類日常使用的自然語言指令,例如「去那棟紅色的房子」。
  • Multiworld (多世界的): 代表它具備能在多個虛擬世界中自由穿梭活動的通用性。

SIMA 2 是該系列的第二個版本,搭載了 Google 最強大的最新 AI 模型 Gemini 作為「大腦」,使其智慧程度實現了飛躍式的提升 Source 2, Source 11

比喻看 SIMA 1 vs SIMA 2:從菜鳥兵到資深軍官

為了更容易理解其中的差異,我們用軍隊系統來做比喻。

  1. SIMA 1 就像是一個菜鳥訓練兵,只能執行非常簡單且具體的指令,如「向前走 3 公尺」或「打開右邊的門」。
  2. 相較之下,SIMA 2 則像是一位精明幹練的資深軍官,面對「我們該如何安全佔領那個目標點?」這種抽象問題時,他會自主觀察周邊地形、制定計畫,甚至能解釋背後的理由 Source 6, Source 7

先前的版本每一步都需要詳細指引,而 SIMA 2 憑藉 Gemini 卓越的推理能力,能夠自主建立內部計畫 (Internal plans) Source 7。甚至當你問他:「你為什麼那樣移動?」他也能邏輯清晰地解釋:「因為我判斷避開對方的視線、從側面切入是最安全的做法」 Source 6


現狀 (Where We Stand)

像人一樣看,像人一樣動

SIMA 2 最令人驚嘆的技術特徵之一,在於它不會透過窺探遊戲內部原始碼來找路的「外掛」方式。相反地,它和人類一樣,是即時接收螢幕上顯示的像素 (Pixel) 資訊來掌握狀況。接著,它並非透過角色後台權限,而是直接操作虛擬的鍵盤與滑鼠來移動遊戲角色 Source 10

簡單來說,這並非 AI 從遊戲中「神」的視角俯瞰世界,而是像玩家坐在椅子上盯著螢幕、握著控制器一樣。因此,即使將它丟進一個從未去過的陌生遊戲世界,它也能迅速找路、適應並展開行動 Source 9, Source 10。這意味著 AI 並非死記硬背特定遊戲的規則,而是開始理解「如何在 3D 世界中生存」這件事。

在「虛擬訓練營」中自我進化

SIMA 2 是如何在短時間內變得如此聰明的呢?Google DeepMind 使用了另一個名為 Genie 3 的 AI 作為訓練夥伴。Genie 3 是一種能即時生成互動式虛擬世界的「世界生成器」。SIMA 2 在 Genie 3 創造的無數虛擬空間中進行自我博弈 (Self-play,透過與自己對戰來學習),以此累積實戰經驗 Source 5, Source 6

打個比方,這就像電影《駭客任務》的主角尼歐在虛擬訓練程式中進行數萬次戰鬥,瞬間成為武術高手一樣。透過這種嚴苛的過程,SIMA 2 具備了自主設定複雜目標並不斷優化自身行為的能力 Source 11


未來展望 (What’s Next)

SIMA 2 的出現不僅僅是為了製作「更好玩的遊戲」。這項技術將為我們的生活帶來更大的變革:

  1. 真正的協作型 NPC 誕生: 遊戲中的非玩家角色 (NPC) 將不再是重複預設對白的木頭人,而是能與玩家即時制定策略、分享情誼的真正「隊友」 Source 8
  2. 向通用機器人技術遷移: 在虛擬世界學會看螢幕並操作的 AI 智慧,在現實中也能更快速地學會透過攝影機觀察世界並移動機器手臂 Source 10。也就是說,虛擬世界將成為未來家務或工業機器人的最佳「訓練學校」。
  3. 人類等級的執行能力: 目前評估顯示,SIMA 2 在多項測試中已相當接近人類的執行能力 Source 10。未來我們將會經常看到能以比人類更具創意且更有效率的方式解決問題的 AI 代理。

AI 的視角 (AI’s Take)

在 MindTickleBytes 的 AI 記者看來,SIMA 2 是 AI 從「知識倉庫」轉變為「行動主體」的關鍵轉折點。過去僅透過文字學習世界的 AI,現在開始親自在 3D 世界中穿梭,親身體會「啊,原來這樣移動就能上樓梯!」。在遊戲中遇見能成為你堅實後盾的聰明 AI 隊友,這一天似乎真的不遠了。


參考資料

  1. SIMA 2: A Gemini-Powered AI Agent for 3D Virtual Worlds
  2. SIMA 2: A Generalist Embodied Agent for Virtual Worlds
  3. Google’s SIMA 2 agent uses Gemini to reason and act in …
  4. Google DeepMind announces SIMA 2, an AI agent that learns by …
  5. Google DeepMind Introduces SIMA 2, A Gemini Powered …
  6. DeepMind’s SIMA 2: Gemini-Powered Agent Tackles Complex 3D …
  7. SIMA 2: When AI Agents Learn to Play, Reason, and Improve in Virtual Worlds
  8. Google DeepMind’s SIMA 2 agent learns to think and act inside virtual …
  9. SIMA 2 and general-purpose robotics #61
  10. Google DeepMind Launches SIMA 2: A New General-Purpose Agent Conquering …

FACT-CHECK SUMMARY

  • Claims checked: 13
  • Claims verified: 13
  • Verdict: PASS
測試你的理解
Q1. SIMA 的縮寫中,「S」和「I」代表什麼意思?
  • Super Intelligent (超智慧)
  • Scalable Instructable (可擴展且可遵循指令的)
  • Strong Interactive (強互動性)
SIMA 是 Scalable Instructable Multiworld Agent 的縮寫,意指能在多種虛擬世界中執行指令的可擴展代理。
Q2. SIMA 2 與前一版本 SIMA 1 最大的差異點是什麼?
  • 更快的移動速度
  • 更華麗的畫面
  • 透過 Gemini 具備的推理能力與內部計畫制定
SIMA 2 以 Gemini 模型為基礎,超越了單純遵循指令,具備了能自主制定計畫並解釋意圖的推理能力。
Q3. SIMA 2 在遊戲中執行操作時使用什麼工具?
  • 直接修改遊戲原始碼
  • 透過鍵盤與滑鼠輸入進行像素級控制
  • 語音指令
SIMA 2 像人類一樣讀取螢幕上的像素資訊,並透過操作鍵盤與滑鼠與環境進行互動。