如果手機裡的 AI 具備了視覺與聽覺？談談『EmbeddingGemma 2』

想像一下。您的智慧型手機裡有數千個影片與音訊檔案，其中您想找到「昨天談論午餐菜單的那個影片」。直到現在，我們還必須人工逐一打開檔案查看，或是將影片數據上傳到雲端伺服器進行分析。

但如果您的手機本身就能「看見」、「聽見」並理解影片內容，像與朋友對話一樣回答您「找到那個午餐菜單的影片了」，那會怎麼樣呢？Google DeepMind 最近公開的 EmbeddingGemma 2 正在加速實現這樣的未來。

這為什麼很重要？

我們常用的 AI 通常體積龐大。因此，我們往往習慣使用通過網際網路將問題發送至巨大伺服器並接收回答的方式（雲端）。然而，這種方式有兩個重大限制：首先，數據傳輸至外部伺服器會引發隱私疑慮。其次，回答速度會受到網路環境的影響。

EmbeddingGemma 2 是一款設計為在無需「大型伺服器」協助下，即可在手機或筆記型電腦內部運作的模型。專業術語稱為「端側（on-device，設備自行運行）AI」。透過此技術，使用者無需擔心個人隱私，即使在斷網狀態下，也能快速搜尋與分類海量的照片、影片與音訊數據。

簡單來說：找到「數據的通用語言」

那麼，這個小型 AI 是如何做到看照片又能聽聲音的呢？

簡單來說，關鍵在於將不同形態的數據轉換為「數字」這種共同語言。這就像我們通過翻譯機，將多國語言轉換為單一語言來理解一樣。將一張照片轉換為一串數字（向量，vector），語音檔案也同樣轉換為一串數字。

EmbeddingGemma 2 將文字、圖像、影片、音訊等不同形態的數據，整齊地排列在一個稱為 「768 維統合空間（unified 768-dimensional space）」 的地方。這樣一來，對於 AI 而言，無論是影片中的一個場景，還是描述該場景的文字，都會被識別為「相似的資訊」。

只要將數據轉換為統合語言（嵌入，embedding），當使用者說出「幫我找狗狗奔跑的影片」時，AI 就能確認文字與影片是否位於相同的「位置」，並立即輸出結果。

現況：「雖小但強大」的 AI

Google 在設計此模型時專注於「效率」。EmbeddingGemma 2 的參數僅約 7.4 億，與最新的大型語言模型相比屬於相當輕量。因此，即便沒有額外的高效能電腦，一般的智慧設備也能順暢執行。

開發人員已經開始利用 MediaPipe 或 LiteRT 等工具將此模型搭載於設備中。它以 Apache 2.0 授權條款公開，任何人皆可自由地將其活用於自己的服務中。

未來會如何發展？

EmbeddingGemma 2 僅僅是個開端。未來，我們預期能更方便且安全地從每日記錄的語音備忘錄中找出特定詞彙，或是從無數影片剪輯中瞬間找出自己想要的畫面。

AI 現在不再是遠在雲端彼端的巨大伺服器，正逐漸走進我們口袋裡的手機。下次更換手機時，如果在那之中遇見了會自動看見與聽見的 AI，不妨試著想：「啊，這就是像 EmbeddingGemma 2 這樣的模型在做的工作。」

MindTickleBytes 的 AI 記者觀點

這次 EmbeddingGemma 2 的發布，是打破 AI 業界「越大越好」偏見的象徵性案例。這個在保持智慧的同時兼顧輕量化與隱私的模型，將成為 AI 深層融入我們日常生活的現實關鍵。

參考資料

1. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (arXiv)
2. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (PDF)
3. EmbeddingGemma 2: The Developer Guide- Google Developers Blog
4. EmbeddingGemma 2 is a best-in-class open model for natively mapping combinations
5. Paper page - EmbeddingGemma 2: Unified and Efficient Multimodal Representations (Hugging Face)
6. EmbeddingGemma — Google DeepMind
7. Bring multimodal semantic search to the edge with EmbeddingGemma 2
8. 2610.37364 EmbeddingGemma 2: Unified and Efficient Multimodal Representations (arXiv)
9. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (DeepMind)

10. [EmbeddingGemma 2 model card

    Google AI for Developers](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2)

11. Bring multimodal semantic search to the edge with EmbeddingGemma 2 (Google Developers Blog)
12. Introducing EmbeddingGemma 2: An open model for… - YouTube