내 스마트폰에 숨은 14MB짜리 AI 에이전트? 'Needle2'가 온다

상상해보세요. 아침에 눈을 뜨고 스마트워치에 대고 “오늘 일정에 맞춰서 집 온도를 22도로 맞춰줘”라고 말합니다. 당신의 스마트워치는 서버를 거치지 않고도 즉시 이 요청을 이해하고 실행합니다. 거대하고 무거운 AI가 아닌, 당신의 손목 위에서 숨 쉬듯 가벼운 인공지능이 작동하고 있기 때문입니다.

최근 Cactus Compute에서 공개한 Needle2는 바로 이런 미래를 앞당기는 기술입니다. 14MB라는 놀라울 정도로 작은 크기의 인공지능 모델이 우리 주변의 기기들에 생명력을 불어넣으려 합니다.

이게 왜 중요한가요?

그동안 AI 기술은 ‘더 크게, 더 방대하게’만 달려왔습니다. 하지만 거대 언어 모델(LLM, 방대한 데이터를 학습해 인간처럼 글을 쓰는 AI)을 돌리려면 엄청난 서버 용량과 전력이 필요합니다. 그래서 스마트폰이나 스마트워치 같은 일상 기기에서 거대 AI를 직접 돌리는 것은 사실상 불가능에 가까웠죠.

Needle2와 같은 초경량 모델은 우리에게 ‘온디바이스 AI(On-device AI, 외부 서버 연결 없이 기기 자체에서 구동되는 인공지능)’의 가능성을 보여줍니다. 스마트폰, 웨어러블 기기, 로봇, 심지어 ESP32-S3와 같은 미니 컴퓨터(마이크로컨트롤러)에서도 즉각적인 AI 서비스를 누릴 수 있다는 뜻입니다. 데이터가 서버로 나가지 않으니 사생활 보호에도 유리하고, 인터넷 연결이 불안정한 환경에서도 AI 에이전트(사용자의 명령을 대리 수행하는 AI) 기능을 사용할 수 있습니다.

쉽게 이해하기: ‘교수님’ 대신 ‘비서’를

이렇게 비유하면 쉽습니다. 기존의 거대 언어 모델이 세상의 모든 지식을 백과사전처럼 머릿속에 넣고 다니는 ‘박학다식한 교수님’이라면, Needle2는 작고 기민한 ‘숙련된 비서’입니다.

박학다식한 교수님은 대화는 잘하지만 비서처럼 실제 사무실의 기기를 조작하거나 앱을 실행하는 일에는 서툴 수 있습니다. 반면, Needle2는 일반적인 잡담을 나누기보다는 도구 호출(Tool calling, AI가 직접 외부 앱이나 기기를 제어하는 기능)과 구조적 데이터 추출에 모든 능력을 집중했습니다. 2천6백만 개의 파라미터(Parameter, AI가 지식을 저장하는 조절 가능한 숫자값)를 가진 이 모델은 모바일 기기에서 초당 1,000~6,000개의 토큰(Token, AI가 인식하는 단어 단위)를 처리할 정도로 빠릅니다.

쉽게 말해서, Needle2는 작고 빠르지만, 당신이 시키는 일을 정확하게 실행할 수 있는 ‘실무형 비서’인 셈입니다. 특히 이 모델은 스스로 자신이 틀렸을 때 이를 인지하고 도움을 요청(Request assistance)하도록 훈련되었다는 점도 눈에 띕니다.

현재 상황

현재 Needle2는 다음과 같은 환경에서 작동할 준비를 마쳤습니다.

• 초소형 용량: 단 14MB의 이진(Binary) 파일로 구성되어 있으며, 약 28MB의 RAM만 있으면 구동됩니다.
• 다양한 플랫폼: 스마트폰은 물론 웨어러블, 로봇, 스마트 홈, 자동차 등 다양한 기기에 탑재가 가능합니다.
• 기술적 특성: 오픈소스인 Apache 2.0 라이선스로 공개되어 누구나 Hugging Face에서 모델 가중치를 내려받아 사용할 수 있습니다.
• 클라우드 연동: 기본적으로 기기 자체에서 돌아가지만, 필요할 경우 클라우드 백업(Cloud fallback) 기능도 갖추고 있습니다.

다만, 일반적인 대화형 AI가 아니기 때문에 친구와 수다를 떨기 위한 목적으로는 적합하지 않습니다. 오직 기기 제어와 같은 에이전트 업무에 특화된 모델입니다.

앞으로 어떻게 될까?

Needle2와 같은 기술은 우리의 기기 사용 방식을 근본적으로 바꿀 것입니다. 우리는 더 이상 복잡한 앱 메뉴를 일일이 찾아 클릭할 필요가 없을지도 모릅니다. 스마트폰 화면은 이제 검색하는 공간이 아니라 AI가 명령을 대리 수행하는 곳으로 변할 것입니다.

앞으로는 14MB보다 더 작은 모델이 나올 수도 있고, 이 모델이 더욱 다양한 기기와 결합해 우리 삶을 조용히 돕는 날이 올 것입니다. AI는 이제 서버 속에 거대하게 존재하는 것이 아니라, 당신의 주머니 속과 손목 위에서 더 작고 실용적인 모습으로 곁에 머물 것입니다.

---

MindTickleBytes의 AI 기자 시선

거대 모델이 ‘지능의 정점’이라면, Needle2는 ‘지능의 민주화’입니다. 기술이 가벼워질수록 우리 삶은 더 자유로워집니다. 다음번에 스마트워치를 볼 때, 그 작은 기기가 당신의 비서가 되어줄 미래를 상상해보세요.

참고자료

1. GitHub - cactus-compute/needle: 14MB foundation model for tiny devices; phones, wearables, smart home, and robots.
2. Cactus - On-device AI for Smartphones, Laptops & Edge

3. [Show HN: Needle: We Distilled Gemini Tool Calling into a 26M Model

   Hacker News](https://news.ycombinator.com/item?id=48111896)

4. GitHub - jmccardle/cactus-needle: Cactus foundation model for tiny devices; 14mb, 26m params, 1-6k toks/sec on mobiles, wearables smart home and robots.

5. [Needle - Tiny LLM for Edge Devices

   EveryDev.ai](https://www.everydev.ai/tools/needle-cactus-compute)

6. Needle, a lightweight version of Gemini’s tool invocation functionality designed to run on smartphones, has been released, with developers touting its usefulness in building AI agents for mobile devices. - GIGAZINE

7. [Needle2- The14MBAgenticLLMforTiny Devices

   Cactus](https://cactuscompute.com/needle)

8. ShowHN:Needle2:14MBagenticLLMforphones,wearables,smarthomeandrobots.
9. Needle2:14MBagenticLLMtargetsphones,wearables, and robots
10. AgenticAIPhonesand the Future of Indian Banking

11. [Cactus NeedleAgenticLLMfortiny devices

    Vuink.com](https://vuink.com/post/pnpghfpbzchgr-d-dpbz/needle)