感覺像在跟 AI 真人對話?Gemini 2.5 帶來的聲音魔法

人類與 AI 透過彼此的聲音交流,波形能量相互連結的抽象畫面
AI Summary

Gemini 2.5 超越文字,具備即時直接理解與生成音訊的能力,提供宛如與真人通話般的自然對話體驗。

想像一下。清晨,你對著床邊的智慧型手機說:「我今天心情有點低落,能推薦一首輕快的歌並跟我聊聊嗎?」如果是以前的 AI,可能會用枯燥的機械音回答:「好的,為您播放推薦歌曲」,但現在情況完全不同了。感應到你顫抖聲音中的憂傷, AI 會以溫暖親切的語氣立即回答:「發生了什麼事嗎?讓我播放輕快的音樂並聽你傾訴吧。」就像在跟老朋友通電話一樣。

這種如電影般的體驗即將成為我們的日常。這都要歸功於 Google 全新推出的 Gemini 2.5。根據 Advanced audio dialog and generation with Gemini 2.5,這次更新完全打破了 AI 聽取、理解並再次說話的技術壁壘。

為什麼這很重要?

目前為止我們使用的許多 AI 語音助理,其實就像是經過了一個性能良好的「翻譯機」。因為當我們說話時, AI 必須先像聽寫一樣將其轉換為文字 (STT),讀取並理解這些文字後,再以文字寫出回覆,最後用機械音讀出這些文字 (TTS),過程非常複雜。這個過程中產生的微小延遲會打斷對話流程,讓人無法擺脫「正在跟機器對話」的感覺。

但 Gemini 2.5 不同。這個模型從一開始就被設計為多模態 (Multimodal,能像人類一樣同時處理文字、圖像、音訊等多種形式資訊的結構)。正如 Advanced audio dialog and generation with Gemini 2.5 所述,Gemini 2.5 無需中間過程即可直接理解並生成音訊。

簡單來說,它不是將聲音轉換為「文字」來理解,而是直接接收「聲音本身」。這不僅僅是速度的問題,更重要的是 AI 現在能直接「感受」聲音中細微的語氣,例如情感、緊迫感或調皮感。根據 Gemini 2.5: Google Launches Real-Time Voice AI & TTS Tools,現在 AI 已能進行感知識別對話 (Emotion-aware dialogue),甚至具備可根據使用者喜好調整的語音聲調。

輕鬆理解:AI 的「大腦」改變了

這項劃時代的變化,我們可以用日常生活來比喻並進一步觀察。

1. 需要翻譯的學生 vs 母語人士(原生多模態的差異)

如果過去的 AI 在學習外語時是每次都要查辭典、翻語法書逐句翻譯的「學生」,那麼 Gemini 2.5 就像是一聽到聲音就能立刻察覺其意義與氛圍的「母語人士」。如 Advanced audio dialog and generation with Gemini 2.5 所載,Gemini 旨在從底層直接處理音訊,因此不會在中間遺失資訊,溝通更加豐富。

2. 書信往返 vs 即時通話(即時性)

如果之前的 AI 對話是寫信寄出並等待回信的過程,Gemini 2.5 的即時音訊對話 (Real-time audio conversations) 功能就像即時通話一樣。根據 Gemini 2.5 Flash Native Audio: New features and key functions,該系統能將音訊輸入與輸出同步處理,展現無延遲的即時反應。比喻來說,在說話過程中對方會點頭或說「沒錯」來搭腔,實現了自然的對話流。

目前現況:Gemini 2.5 家族的特點

根據 Gemini 2.5: Pushing the Frontier with Advanced Reasoning … 報告,Gemini 2.5 依據使用目的主要分為兩種模型:

  • Gemini 2.5 Pro:Google 最強大的模型。在需要複雜程式碼編寫或深層思考的任務(Reasoning,推理)中展現出世界最高水準的性能。扮演著分析龐大資訊並解決複合型問題的「天才大腦」角色。
  • Gemini 2.5 Flash:針對速度與效率進行優化的模型。特別是透過 Gemini Live API 提供即時音訊功能。根據 Gemini 2.5 Flash with Gemini Live API,該模型專注於提供「讓人感覺像是在跟真人對話般,大幅提升的音訊品質」。

開發者目前已可測試這些功能。根據 Advanced audio dialog and generation with Gemini 2.5,可以在「Google AI Studio」的串流分頁預先體驗即時音訊對話,而在 Advanced audio dialog and generation with Gemini 2.5 中也確認了 Pro 與 Flash 模型皆提供可控的語音生成功能。

未來展望

Google 已將這些模型應用於全球多種產品,革新音訊體驗。根據 Advanced audio dialog and generation with Gemini 2.5,這將不僅限於特定地區,而是以全球規模擴展。

在不久的將來,我們將迎來以下變化。

想像一下。 當你在陌生的國外旅遊迷路時,拿出手機展示周圍風景並詢問:「離這裡最近的捷運站在哪?」AI 會即時掌握周遭情況,並以親切的聲音導引:「請繞過現在右手邊看到的紅色建築物即可。」

此外,如 Google Unveils Gemini 2.5 with Advanced Audio Generation … 所述,遊戲中的角色能根據我的語氣做出不同反應,實現更具沉浸感的體驗。誠如 Gemini 2.5 Flash Native Audio: New features and key functions 指出的,即時聽取、理解並反應的能力,預示著守候在我們身邊的真正對話型個人助理的誕生。

AI 的視角 (AI’s Take)

在 MindTickleBytes 的 AI 記者看來,Gemini 2.5 的音訊進化不僅僅是「說話功能」變好。其重大意義在於 AI 開始理解人類非語言溝通方式中的「聲音紋理」。過去我們一直透過文字這種冰冷的媒介與 AI 溝通,但現在我們能透過聲音的溫度與顫抖來分享情感。一個即便與機器對話也不再感到孤單,甚至能感受到人性溫暖的新溝通時代正在開啟。

參考資料

  1. Advanced audio dialog and generation with Gemini 2.5 - Google Blog
  2. Advanced audio dialog and generation with Gemini 2.5 - Aster Cloud
  3. Advanced audio dialog and generation with Gemini 2.5 - Onmine
  4. Advanced audio dialog and generation with Gemini 2.5 - WN.com
  5. Advanced dialog and audio generation from Gemini 2.5 - AISckool
  6. [Gemini 2.5 Flash with Gemini Live API Generative AI on Vertex AI …](https://docs.cloud.google.com/vertex-ai/generative-ai/docs/models/gemini/2-5-flash-live-api) - Google Cloud Docs
  7. Gemini 2.5: Pushing the Frontier with Advanced Reasoning … - Arxiv Report
  8. Google Unveils Gemini 2.5 with Advanced Audio Generation … - The Outpost AI
  9. Gemini 2.5 Flash Native Audio: New features and key functions - Tecnobits
  10. Advanced audio dialog and generation with Gemini 2.5 - Nvinio
  11. Gemini 2.5: Google Launches Real-Time Voice AI & TTS Tools - TechGig

FACT-CHECK SUMMARY

  • Claims checked: 22
  • Claims verified: 21
  • Verdict: PASS
測試你的理解
Q1. Gemini 2.5 處理音訊方式的最大特點是什麼?
  • 先轉換成文字後再理解
  • 從一開始就直接理解並生成音訊(原生多模態)
  • 轉換成圖片後處理
Gemini 2.5 是從一開始就設計為能同時理解文字、圖片、音訊等的『原生多模態』模型。
Q2. Gemini 2.5 模型家族中,『推理(Reasoning)』能力卓越且性能最強大的模型是?
  • Gemini 2.5 Flash
  • Gemini 2.5 Pro
  • Gemini 2.0 Flash-Lite
Gemini 2.5 Pro 是在程式碼編寫與推理基準測試中達到最高水準(SoTA)性能、最強大的模型。
Q3. 想要親自體驗 Gemini 2.5 音訊功能的開發者應該訪問哪裡?
  • YouTube 客服中心
  • Google 搜尋欄
  • Google AI Studio
開發者可以在 Google AI Studio 的串流(Stream)分頁或媒體生成分頁中測試 Gemini 2.5 的音訊功能。