掌心里的微型AI：无需联网也能听会说的‘Babytalk’是如何实现的？

试想一下：你早上起床问智能音箱：“今天天气怎么样？”，该设备不需要与任何服务器通信，仅凭其内部的“小脑袋”就能听懂并回答你。安装在客厅的设备无需将你的语音发送到服务器，隐私担忧也随之烟消云散。

最近在开发者社区发布的一款名为 ‘Babytalk’ 的项目，正在让这样的未来加速成为现实。该系统可以在 ESP32 开发板（一种用于控制小型设备的小巧、廉价的微控制器）上，无需联网就能完美执行语音识别和语音合成。 来源: Hacker News

为什么 Babytalk 很重要？

此前，我们周围的“会说话的设备”大多必须联网。像“Hey Google”或“Alexa”这样的传统语音助手，为了听懂你的话，必须将语音数据上传到云端服务器，再从服务器接收解析后的回答。

然而，Babytalk 切断了这种对云端的依赖。无需联网的离线语音系统主要有三大优势：

1. 强大的隐私保护： 你的语音数据不会被发送到外部服务器。
2. 随处可用： 即便在没有 Wi-Fi 的环境中，设备也能自由地听和说。
3. 极高的独立性： 即使云服务中断或互联网断开，设备也能正常工作。

对于热衷嵌入式项目的开发者来说，云端依赖一直是个大痛点，而 Babytalk 成为了解决这一问题的强力替代方案。 来源: Building an Offline Text-to-Speech System With ESP32

通俗理解：背熟了捷径的向导

简单来说，Babytalk 就是在设备内部嵌入了一个经过高度压缩的“AI 大脑”。

打个比方，Babytalk 就像一位“背熟了捷径的向导”。如果说需要联网的传统方式是每次去目的地前都要打开地图 App 搜索路径，那么 Babytalk 就是设备已经将通往目的地的路线完整地记在了脑海里。

为了实现这一点，Babytalk 使用了一些特殊技术：

• 微调模型 (Finetuned Model)： 使用了经过特别训练的语音识别模型，即使在充满噪声的客厅或车间等环境中，也能准确提取人声。 来源: GitHub - tlack/babytalk
• 高性能计算引擎： 像 ESP32 这样的小芯片比 PC 慢得多。因此，Babytalk 使用了 4 位或 8 位整数 (Int) 运算引擎，将芯片的处理能力发挥到了极致。这就像一个身材娇小的人为了搬运重物，通过优化全身肌肉来发挥力量一样。 来源: GitHub - tlack/babytalk

目前进展如何？

目前，Babytalk 已完美支持在 ESP32-S3 和 ESP32-P4 开发板上进行离线语音识别 (STT) 和语音合成 (TTS)。 来源: GitHub - tlack/babytalk

当然，它也有局限性。它并不像云端拥有数十亿参数（AI 学习到的数值）的巨型语言模型那样聪明。与其进行复杂的哲学对话，它更适合被优化用于执行特定指令或播报简单信息，从而打造出一款“聪明的小工具”。与传统离线 TTS 项目常用的“Talkie”库（通过线性预测编码方式生成声音）相比，Babytalk 的巨大差异在于它结合了语音识别功能，能够实现更丰富的交互。 来源: ESP32 Text to Speech Offline: TTS with PAM8403 & Arduino

未来会怎样？

随着 Babytalk 的出现，预计未来会出现大量无需联网也能工作的“基于语音的嵌入式设备”。

• 即时智能家居： 用语音开关家里的智能开关时，无需通过云端，响应速度将大幅提升。
• 安全辅助设备： 为老弱群体提供的无障碍辅助设备可以在离线状态下运行，随时随地安全使用。 来源: Build an Offline ESP32 Text-to-Speech System - No Internet needed

即便不连接互联网这个巨大的世界，我们手掌里的小芯片开始自主思考和说话的时代已经开启了。

MindTickleBytes AI 记者视点

AI 不一定非要在巨大的数据中心里运行。像 Babytalk 这样通过极大化设备本身效率，在无网环境下也能聪明工作的“边缘 AI (Edge AI)”技术，才是让 AI 真正融入我们生活的关键钥匙。

参考资料

1. GitHub - tlack/babytalk: Optimized ESP32-S3/P4 fully offline speech to text and text to speech system. (https://github.com/tlack/babytalk)
2. Building an Offline Text-to-Speech System With ESP32. (https://www.instructables.com/Building-an-Offline-Text-to-Speech-System-With-ESP/)
3. Build an Offline ESP32 Text-to-Speech System - No Internet needed. (https://dev.to/david_thomas/build-an-offline-esp32-text-to-speech-system-no-internet-needed-aj5)

4. Show	Hacker News. (https://nhn.yuu.is/show)

5. ESP32 Text to Speech Offline: TTS with PAM8403 & Arduino. (https://circuitdigest.com/microcontroller-projects/esp32-text-to-speech-offline-system)