내 손 안의 작은 AI, 인터넷 없이도 말하고 듣는 '베이비토크(Babytalk)'는 어떻게 가능할까?

상상해보세요. 아침에 일어나 스마트 스피커에게 “오늘 날씨 어때?”라고 물어보는데, 이 기기가 어떤 서버와도 통신하지 않고 오직 자기 내부의 작은 두뇌만으로 당신의 말을 알아듣고 대답합니다. 거실에 설치된 장치가 당신의 목소리를 듣고 서버로 보내지 않으니, 프라이버시 걱정도 사라지죠.

최근 개발자 커뮤니티에 공개된 ‘베이비토크(Babytalk)’라는 프로젝트가 바로 이런 미래를 현실로 조금 더 앞당기고 있습니다. 이 시스템은 작고 저렴한 마이크로컨트롤러(Microcontroller, 소형 기기를 제어하는 칩)인 ESP32 보드에서 인터넷 연결 없이도 음성 인식과 합성을 완벽하게 수행합니다. 출처: Hacker News

왜 베이비토크가 중요한가요?

그동안 우리 주변의 ‘말하는 장치’들은 대부분 인터넷 연결을 필수적으로 요구했습니다. “헤이 구글”이나 “알렉사”와 같은 기존의 음성 비서들은 당신의 말을 알아듣기 위해 목소리 데이터를 클라우드 서버로 전송하고, 다시 서버에서 해석된 대답을 내려받는 방식을 사용했기 때문입니다.

하지만 베이비토크는 이 클라우드 의존의 고리를 끊어냅니다. 인터넷이 필요 없는 오프라인 음성 시스템은 크게 세 가지 장점이 있습니다.

1. 강력한 프라이버시: 당신의 음성 데이터가 외부 서버로 전송되지 않습니다.
2. 어디서나 작동: 와이파이가 없는 환경에서도 기기가 자유롭게 말하고 들을 수 있습니다.
3. 높은 독립성: 클라우드 서비스 운영이 중단되거나 인터넷이 끊겨도 기기는 문제없이 작동합니다.

임베디드 프로젝트를 즐기는 개발자들에게 그동안 클라우드 의존도는 큰 고민거리였는데, 베이비토크는 이를 해결할 수 있는 강력한 대안이 된 것입니다. 출처: Building an Offline Text-to-Speech System With ESP32

쉽게 이해하기: 지름길을 외운 길잡이

쉽게 말해서, 베이비토크는 기기 내부에 매우 압축된 ‘AI 두뇌’를 탑재한 것입니다.

비유하자면, 베이비토크는 ‘지름길을 완벽히 외운 길잡이’와 같습니다. 인터넷 연결이 필요한 기존의 방식이 목적지로 갈 때마다 지도 앱을 켜서 경로를 검색하는 방식이라면, 베이비토크는 기기가 이미 목적지까지 가는 길을 통째로 머릿속에 외우고 있는 상태인 것이죠.

이를 가능하게 하기 위해 베이비토크는 다음과 같은 특별한 기술을 사용합니다.

• 미세 조정된 모델(Finetuned Model): 소음이 가득한 거실이나 작업장 같은 환경에서도 사람의 목소리를 정확히 골라낼 수 있도록 특별히 학습된 음성 인식 모델을 사용합니다. 출처: GitHub - tlack/babytalk
• 고성능 계산 엔진: ESP32와 같은 작은 칩은 PC보다 훨씬 느립니다. 그래서 베이비토크는 4비트나 8비트 정수(Int) 형태의 연산 엔진을 사용하여 칩의 처리 능력을 최대한으로 끌어올렸습니다. 마치 덩치가 작은 사람이 무거운 짐을 들기 위해 온몸의 근육을 최적화하여 사용하는 것과 같다고 볼 수 있습니다. 출처: GitHub - tlack/babytalk

어디까지 왔을까요?

현재 베이비토크는 ESP32-S3 및 ESP32-P4 보드에서 오프라인 음성 인식(STT, Speech-to-Text)과 음성 합성(TTS, Text-to-Speech) 기능을 완벽하게 지원합니다. 출처: GitHub - tlack/babytalk

물론 한계도 존재합니다. 클라우드에 있는 수십억 개의 파라미터(Parameter, AI가 학습한 숫자값)를 가진 거대 언어 모델만큼 똑똑하지는 않습니다. 아주 복잡한 철학적 대화를 나누기보다는, 특정 명령을 수행하거나 간단한 정보를 알려주는 ‘똑똑한 가젯’을 만드는 데 최적화되어 있죠. 기존의 오프라인 TTS 프로젝트들이 주로 사용하는 ‘Talkie’ 라이브러리(선형 예측 부호화 방식을 통해 소리를 만들어냄)와 비교했을 때, 베이비토크는 음성 인식 기능까지 결합하여 훨씬 더 풍부한 상호작용이 가능하다는 점이 큰 차별점입니다. 출처: ESP32 Text to Speech Offline: TTS with PAM8403 & Arduino

앞으로 어떤 미래가 펼쳐질까요?

베이비토크의 등장으로 앞으로는 인터넷이 없는 환경에서도 작동하는 ‘음성 기반 임베디드 기기’들이 대거 등장할 것으로 기대됩니다.

• 즉각적인 스마트 홈: 집안의 스마트 스위치를 목소리로 켤 때 클라우드를 거치지 않으므로 응답 속도가 훨씬 빨라질 것입니다.
• 안전한 보조 기기: 노약자를 위한 접근성 보조 기기가 오프라인으로 작동하여 언제든 안전하게 사용할 수 있게 될 것입니다. 출처: Build an Offline ESP32 Text-to-Speech System - No Internet needed

인터넷이라는 거대한 세상과 연결되지 않아도, 우리 손 안의 작은 칩이 스스로 생각하고 말하는 시대가 이미 시작되었습니다.

MindTickleBytes의 AI 기자 시선

AI가 꼭 거대한 데이터 센터에서만 움직여야 하는 것은 아닙니다. 베이비토크처럼 기기 자체의 효율을 극대화하여 인터넷 없이도 똑똑하게 작동하는 ‘엣지 AI(Edge AI)’ 기술이야말로, AI를 우리 삶 속에 진정으로 녹아들게 할 열쇠가 될 것입니다.

참고자료

1. GitHub - tlack/babytalk: Optimized ESP32-S3/P4 fully offline speech to text and text to speech system. (https://github.com/tlack/babytalk)
2. Building an Offline Text-to-Speech System With ESP32. (https://www.instructables.com/Building-an-Offline-Text-to-Speech-System-With-ESP/)
3. Build an Offline ESP32 Text-to-Speech System - No Internet needed. (https://dev.to/david_thomas/build-an-offline-esp32-text-to-speech-system-no-internet-needed-aj5)

4. Show	Hacker News. (https://nhn.yuu.is/show)

5. ESP32 Text to Speech Offline: TTS with PAM8403 & Arduino. (https://circuitdigest.com/microcontroller-projects/esp32-text-to-speech-offline-system)