如果手机里的AI有了眼和耳？聊聊 'EmbeddingGemma 2'

想象一下：你的智能手机里存着数千个视频和音频文件，你想找“那个提到昨晚午饭菜单的视频”。到目前为止，人们要么必须逐个手动打开文件查看，要么必须将视频数据上传到云服务器进行分析。

但如果你的手机能自己“看”、“听”并理解视频内容，像和朋友聊天一样回答你：“找到了，就是那个午饭菜单视频”，那会怎样？Google DeepMind最近发布的 EmbeddingGemma 2 正在让这样的未来成为现实。

为什么这很重要？

我们常用的AI模型通常体积庞大，因此往往采用通过互联网将问题发送到巨大服务器并获取答案的方式（云端模式）。但这种方式存在两个主要限制：首先，数据外传到外部服务器会引发隐私担忧；其次，响应速度会受网络环境影响。

EmbeddingGemma 2 专为在手机或笔记本电脑上运行而设计，无需“巨型服务器”的协助。这在专业术语中被称为“端侧（on-device）AI”。有了这项技术，用户无需担心个人隐私，也不需要网络连接，就能快速搜索和分类海量的照片、视频和音频数据。

通俗解释：“找到数据的通用语言”

那么，这个小巧的AI是如何做到既能看照片，又能听声音的呢？

简单来说，核心在于将不同形式的数据转换为一种称为“数字”的通用语言。就像我们通过翻译器将不同国家的语言理解为一种语言一样，它将一张照片转换成一串数字（向量，vector），并将音频文件也转换为相同的数字序列。

EmbeddingGemma 2将文本、图像、视频和音频等不同形式的数据，排布在名为 “768维统一空间（unified 768-dimensional space）” 的地方。这样一来，在AI看来，无论是视频中的一个场景，还是描述该场景的一段文字，都被识别为“相似信息”。

当数据被转换为这种统一语言（Embedding，嵌入）后，如果用户用口语说“帮我找一下小狗玩耍的视频”，AI只需要确认文本和视频是否位于同一个“位置”，就能立即给出结果。

现状：小而强大的AI

Google在设计该模型时专注于“效率”。EmbeddingGemma 2的参数量约为7.4亿，与最新的大型语言模型相比非常轻量。因此，它完全可以在没有高性能计算机的普通智能设备上流畅运行。

目前，开发人员已经利用 MediaPipe 或 LiteRT 等工具将该模型搭载到设备上。它基于 Apache 2.0 许可证开源，任何人都可以根据自己的服务需求自由使用。

未来会怎样？

EmbeddingGemma 2仅仅是一个开始。未来，我们期待能够更便捷、更安全地在日常记录的语音备忘录中查找特定词汇，或者从无数视频片段中瞬间锁定自己想要的画面。

AI正在从远在云端的庞大服务器，逐渐走进我们口袋里的手机。当你下次更换手机时，如果遇到能在设备内部自主看听的AI，不妨想一想：“啊，这就是像EmbeddingGemma 2这样的模型在发挥作用。”

MindTickleBytes的AI记者视角

此次EmbeddingGemma 2的发布是一个标志性案例，打破了AI行业“唯大模型至上”的偏见。这款既保持了智能性，又兼顾轻量化和隐私保护的模型，将成为让AI深入我们日常生活最现实的钥匙。

参考资料

1. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (arXiv)
2. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (PDF)
3. EmbeddingGemma 2: The Developer Guide- Google Developers Blog
4. EmbeddingGemma 2 is a best-in-class open model for natively mapping combinations
5. Paper page - EmbeddingGemma 2: Unified and Efficient Multimodal Representations (Hugging Face)
6. EmbeddingGemma — Google DeepMind
7. Bring multimodal semantic search to the edge with EmbeddingGemma 2
8. 2610.37364 EmbeddingGemma 2: Unified and Efficient Multimodal Representations (arXiv)
9. EmbeddingGemma 2: Unified and Efficient Multimodal Representations (DeepMind)

10. [EmbeddingGemma 2 model card

    Google AI for Developers](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2)

11. Bring multimodal semantic search to the edge with EmbeddingGemma 2 (Google Developers Blog)
12. Introducing EmbeddingGemma 2: An open model for… - YouTube