내 컴퓨터에서 스스로 일하는 AI? 메타의 새로운 모델 '뮤즈 글리머(Muse Glimmer)'를 만나다

상상해보세요. 노트북을 켜놓기만 하면, AI가 밤새 밀린 업무를 정리하고, 필요한 코드를 짜고, 데이터 분석까지 완료해놓는다면 어떨까요? 지금까지는 이런 일을 하려면 거대한 클라우드 서버에 접속해 비용을 지불하고, 나의 소중한 데이터가 외부로 유출되지는 않을까 걱정해야 했습니다. 그런데 이제는 상황이 조금 달라질 것 같습니다. 메타(Meta)가 우리 집 컴퓨터에서 직접 실행 가능한 똑똑한 AI 모델, ‘뮤즈 글리머(Muse Glimmer)’를 세상에 내놓았거든요.

이게 왜 중요한가요?

‘로컬(Local, 인터넷 연결 없이 내 기기에서 직접 처리함)’에서 실행된다는 것은 일반 사용자에게 큰 의미가 있습니다. 첫째는 프라이버시입니다. 내 업무 데이터가 서버로 전송되지 않고 내 컴퓨터 내부에서만 처리되니 훨씬 안전합니다.

둘째는 항상 켜져 있는(always-on) 편리함입니다. 쉽게 비유하자면, 기존의 AI가 명령을 내릴 때마다 전화를 걸어 물어봐야 하는 ‘원격 비서’였다면, 뮤즈 글리머는 내 책상 옆에 앉아 묵묵히 일을 돕는 ‘전담 수행원’과 같습니다. 인터넷 연결 상태나 서버의 상태에 상관없이 내 컴퓨터가 켜져 있다면 AI가 내 뒤에서 일을 도와줄 수 있습니다. 코딩이나 복잡한 다단계 업무를 스스로 해결하는 AI 에이전트(Agent, 스스로 계획을 세우고 도구를 사용해 일을 수행하는 AI)를 이제 내 기기에서 직접 돌릴 수 있는 시대가 열린 것입니다출처: Meta AI Research.

쉽게 이해하기

뮤즈 글리머를 이해하려면 두 가지 개념을 알아야 합니다.

첫째, ‘30B(300억 개의 매개변수)’라는 규모입니다. 매개변수는 AI가 지식을 배우는 데 사용하는 ‘조절 가능한 숫자값’ 정도로 생각하면 됩니다. 300억 개라면 대략 한국 전체 인구의 600배에 달하는 정보 처리 단위가 들어있다고 볼 수 있습니다. 이 숫자가 클수록 AI가 똑똑하지만, 반대로 너무 크면 우리 컴퓨터가 감당하지 못합니다. 메타는 이 숫자를 ‘컴퓨터가 버벅대지 않을 정도로 큼직하면서도 똑똑한’ 수준으로 맞춘 것입니다출처: Meta AI Research.

둘째, ‘증류(Distillation)’ 기법입니다. 똑똑하지만 엄청나게 덩치가 큰 ‘선생님 AI’가 있다면, 뮤즈 글리머는 이 선생님으로부터 핵심적인 ‘추론 능력’만 쏙 빼서 배운 ‘학생 AI’입니다출처: fonearena. 덩치는 작아졌지만, 스스로 계획을 세우고 도구를 사용하는 능력은 그대로 유지하도록 설계되었습니다. 마치 기본 교육을 마친 신입사원이 선배에게 업무 매뉴얼을 배워서 실무에 투입되는 것과 비슷하죠.

현재 상황

현재 뮤즈 글리머는 매우 강력한 성능을 보여줍니다. NVIDIA GPU를 탑재한 컴퓨터에서 초당 2만 개의 토큰(단어 조각)을 처리할 수 있을 정도로 빠릅니다출처: NVIDIA Technical Blog.

원래 이 정도 성능을 가진 모델을 정상적으로 돌리려면 55GB 이상의 엄청난 메모리가 필요합니다. 하지만 메타는 ‘양자화(Quantization, AI 모델의 크기를 줄여 사양이 낮은 기기에서도 돌아가게 만드는 기술)’라는 기술을 써서 모델의 덩치를 줄였습니다. 덕분에 18GB 정도의 메모리(RAM)만 있어도 작동할 수 있게 되었고, 20GB 미만의 환경에서도 충분히 돌아갑니다출처: Digg, 출처: digit.in. 덕분에 일반적인 고성능 데스크톱이나 최신 맥(Mac)에서도 충분히 실행이 가능합니다출처: Threads.

앞으로 어떻게 될까?

앞으로 우리는 AI에게 “오늘 내가 할 일 좀 정리하고, 오류가 난 코드를 고쳐줘”라고 시켜놓고 잠을 잘 수 있게 될지도 모릅니다. 뮤즈 글리머는 단순히 글을 쓰는 것을 넘어, 스스로 도구를 사용하고 문제를 해결하는 ‘에이전트’ 모델이기 때문입니다출처: Hugging Face.

특히 누구나 자유롭게 가져다 쓸 수 있도록 ‘아파치 2.0(Apache 2.0)’이라는 아주 허용적인 라이선스로 공개되었습니다출처: Korshunov AI. 앞으로 개인 개발자들이 이 모델을 기반으로 나만의 AI 비서, 혹은 특정 업무에 특화된 로컬 AI 도구들을 쏟아낼 것으로 보입니다. 클라우드 비용 걱정 없이, 내 컴퓨터에서 스스로 일하는 AI 시대가 성큼 다가왔습니다.

MindTickleBytes의 AI 기자 시선

클라우드 서버에 데이터를 보내지 않고도 복잡한 추론이 가능하다는 점은 이제 AI가 ‘내 손안의 도구’가 되었음을 의미합니다. 거대 기업의 서버실에 갇혀 있던 AI가 이제 개별 사용자의 컴퓨터 위에서 자유롭게 뛰어놀 준비를 마쳤습니다.

참고자료

1. Introducing Muse Glimmer: An Open Agentic Model That Runs on Your Device

   Meta AI Research (https://research.meta.ai/blog/introducing-muse-glimmer-open-agentic-model)

2. AI at Meta on X (https://x.com/AIatMeta/status/2086757844544811485)

3. Run Local Agentic AI Workflows with Meta’s Muse Glimmer on NVIDIA

   NVIDIA Technical Blog (https://developer.nvidia.com/blog/run-local-agentic-ai-workflows-with-metas-muse-glimmer-on-nvidia/)

4. Introducing Muse Glimmer

   Threads (https://www.threads.com/@aiatmeta/post/Db2yw9ukbrc/introducing-muse-glimmer-an-open-weight-b-parameter-model-optimized-for-local/)

5. Meta Publishes Muse Glimmer As 30B Open Agentic Model - Phoronix (https://www.phoronix.com/news/Meta-Muse-Glimmer)

6. meta-models/Muse-Glimmer-30B

   Hugging Face (https://huggingface.co/meta-models/Muse-Glimmer-30B)

7. Meta releases Muse Glimmer for local AI agents

   TestingCatalog (https://www.testingcatalog.com/meta-releases-muse-glimmer-for-local-ai-agents/)

8. unsloth/Muse-Glimmer-30B-GGUF

   Hugging Face (https://huggingface.co/unsloth/Muse-Glimmer-30B-GGUF)

9. Meta introduces Muse Glimmer 30B open-weight model for local agent workflows

   fonearena (https://www.fonearena.com/blog/489237/meta-muse-glimmer-features.html)

10. Meta releases Muse Glimmer, a 30B open-weight model for local agent workflows

    Korshunov AI (https://korshunov.ai/en/article/17428-meta-releases-muse-glimmer-a-30b-open-weight-model-for-local-agent-workflows/)

11. Meta Releases Open Weights for 30B Muse Glimmer Model

    Digg (https://digg.com/tech/5etlpkzd)

12. Meta launches Muse Glimmer, a 30B AI model designed for local AI agents

    digit.in (https://www.digit.in/news/general/meta-launches-muse-glimmer-a-30b-ai-model-designed-for-local-ai-agents.html)

13. Meta Releases Open-Source 30B Model Muse Glimmer

    AGI Hunt (https://agihunt.info/en/e/19feb295fcf8eccc59144dc8e93)