NariQ는 AI 모델의 무게를 대폭 줄이는 양자화 기술로, 10만 토큰이 넘는 장기 에이전트 작업에서도 원본 모델과 동등한 성능을 발휘하는 최초의 기법입니다.
상상해보세요. 여러분이 인공지능(AI)에게 “우리 회사의 지난 3년 치 매출 데이터를 분석하고, 각 부서별 보고서를 검토한 뒤 오류가 있는 부분을 수정해서 최종 결론을 메일로 보내줘”라고 복잡한 심부름을 시켰습니다. AI는 혼자서 여러 개의 도구를 열고, 수만 줄의 문서를 읽어가며 수십 단계에 걸쳐 작업을 차근차근 수행해 나갑니다.
이처럼 AI가 단순히 질문에 답하는 것을 넘어, 긴 대화와 문서 속에서 스스로 판단하고 여러 도구를 조합해 장기적인 목표를 달성하는 과정을 장기 에이전트 작업(Long-horizon agentic tasks)이라고 부릅니다. 비유하자면, 단답형 퀴즈를 푸는 것이 아니라 몇 달 동안 진행되는 대형 프로젝트를 혼자서 기획하고 완수해내는 전문 컨설턴트의 모습과 같습니다. 이러한 작업은 보통 10만(100K) 토큰 이상의 엄청나게 긴 기억 공간(컨텍스트)을 필요로 합니다 [출처 제목].
하지만 현실적인 문제가 있습니다. 능력이 뛰어난 거대 언어 모델(LLM, 인류의 언어를 이해하고 생성하는 대규모 인공지능 모델)은 몸집이 너무 커서 일반 컴퓨터나 스마트 기기에서 구동하기가 하늘의 별 따기만큼 어렵습니다. 이 거대한 모델의 몸집을 다이어트시키는 기술을 양자화(Quantization, AI 모델 내부의 숫자 정밀도를 낮추어 용량을 줄이는 기술)라고 하는데요. 지금까지의 양자화 기술에는 치명적인 약점이 있었습니다. 짧은 글에는 꽤 잘 버티지만, 복잡하고 긴 에이전트 업무 앞에서는 성능이 반토막 나버리곤 했던 것입니다 [출처 제목].
최근 연구진이 이 한계를 보기 좋게 돌파했습니다. 바로 NariQ라는 새로운 양자화 기법입니다. 몸집을 바늘구멍처럼 줄이면서도 천재적인 에이전트 능력은 그대로 유지하는 비결이 무엇인지, 지금부터 차근차근 살펴보겠습니다.
이게 왜 중요한가요?
인공지능 기술이 발전할수록 모델의 크기는 점점 더 거대해지고 있습니다. 수천억 개의 파라미터(Parameter, AI 모델 내부의 조절 가능한 숫자값으로 인간의 시냅스 역할을 함)를 가진 모델을 원본 상태(BF16, 16비트 부동소수점 정밀도) 그대로 실행하려면 어마어마한 서버 비용과 막대한 전력이 필요합니다. 일반 개발자나 기업들이 고성능 AI를 로컬 환경이나 비용 효율적인 인프라에서 마음껏 쓰기란 그림의 떡입니다.
이를 해결하기 위해 모델의 각 가중치(Weight, 신경망 연결의 중요도를 나타내는 가중값)가 차지하는 비트 수를 낮추는 저비트(Low-bit) 양자화가 널리 쓰여왔습니다. 예를 들어 모델을 3비트 이하로 압축하면 저장 공간과 메모리 사용량을 획기적으로 줄일 수 있습니다.
하지만 여기서 큰 벽에 부딪혔습니다. 기존의 많은 저비트 양자화 방식들은 인터넷상의 짧은 웹 텍스트를 기준으로 보정되었고, 성능 평가 역시 단답형 시험이나 언어 이해도(Perplexity) 위주로 이루어졌습니다 [출처 제목].
이러한 방식의 미스매치(Mismatch, 이론과 실제 환경의 부조화)는 비용이 컸습니다. 쉽게 말해서 평소에 두꺼운 소설책이나 백과사전 읽기 연습만 하다가, 막상 회사에 취직해 실무를 처리하려고 하니 길을 잃어버리는 격이었습니다. 실제로 기존 방식으로 압축된 Qwen3.8-27B 모델은 AIME 같은 비교적 짧은 시험 문제에서는 원본(BF16)과 비슷한 성능을 냈지만, DeepSWE와 같은 실제 장기 에이전트 벤치마크에서는 원본 성능의 최대 72%밖에 발휘하지 못했습니다 [출처 제목]. 즉, 시험은 잘 보는데 실무에 투입하면 금방 지치거나 길을 잃어버리는 반쪽짜리 다이어트였던 셈입니다.
NariQ는 바로 이 지점을 정면으로 겨냥합니다. 모델의 몸집을 3비트 미만으로 극단적으로 줄이면서도, 복잡한 실무와 도구 호출이 난무하는 장기 에이전트 작업에서 원본과 똑같은 성능을 내는 최초의 양자화 기법으로 등장했습니다 [출처 제목].
쉽게 이해하기
양자화와 NariQ의 원리를 쉽게 이해하기 위해 요리사 트레이닝에 비유해 보겠습니다.
1단계: 교과서로만 공부한 요리사와 실제 주방에서 훈련한 요리사
기존의 양자화 방식들은 AI를 압축할 때 인터넷에 떠도는 잘 짜여진 짧은 글들(요리 교과서 이론)만을 가지고 모델을 보정했습니다. 그러다 보니 AI가 가상의 이론 시험은 잘 풀었지만, 실제 주방에서 손님이 끊이지 않고 주문이 밀려드는 긴박한 상황(장기 에이전트 세션)에 처하면 당황하기 시작했습니다.
반면 NariQ(트렐리스 코딩 기반 사후 양자화 기법, Trellis-coded post-training quantization method, 격자 구조 부호화를 활용해 정보 손실을 최소화하며 모델을 압축·보정하는 기술)는 완전히 다른 접근을 취했습니다. NariQ는 전체 정밀도(BF16) 모델이 실제 에이전트 세션 속에서 도구를 호출하고 대화를 나누며 생성한 생생한 토큰들을 직접 학습 및 보정 데이터로 활용했습니다 [출처 제목].
쉽게 말해, 요리사가 레시피 북만 외우게 한 것이 아니라, 실제 바쁜 레스토랑 주방에서 수석 셰프가 움직였던 동선과 노하우를 그대로 보며 압축 훈련을 시킨 것입니다. 이 덕분에 모델이 몸집을 줄여도 실제 에이전트 업무에서 헤매지 않고 완벽하게 적응할 수 있게 되었습니다.
2단계: 압축의 한계, 어디까지 줄일 수 있을까?
연구진은 Qwen3.8-27B 모델을 대상으로 다양한 비트 수준에서 NariQ 성능을 철저하게 검증했습니다 [출처 제목].
- 3.0 비트 퍼 웨이트 (3.0 bits per weight, 파라미터 당 3.0비트 사용)
- 2.5 비트 퍼 웨이트 (2.5 bits per weight, 파라미터 당 2.5비트 사용)
- 2.0 비트 퍼 웨이트 (2.0 bits per weight, 파라미터 당 2.0비트 사용)
비유하자면, 거대한 두께의 백과사전을 각각 30%, 25%, 20% 두께의 핵심 요약 노트로 압축하는 것과 같습니다. 놀랍게도 3.0 비트와 2.5 비트로 압축된 모델은 원본(BF16) 모델과 비교했을 때 성능 저하가 거의 눈에 띄지 않을 정도로 완벽한 수준을 보여주었습니다 [출처 제목]. 다만 2.0 비트 수준으로 더 줄인 체크포인트에서는 약간의 성능 한계(트레일링)가 나타났습니다 [출처 제목].
현재 상황
NariQ의 성능은 공인된 여러 벤치마크(성능 평가를 위한 표준 테스트 세트) 테스트를 통해 엄격하게 입증되었습니다. 연구진은 Qwen3.8-27B 모델을 NariQ로 압축한 뒤, 다음과 같은 까다로운 평가 지표들에 대입했습니다 [출처 제목].
- DeepSWE: 복잡한 소프트웨어 엔지니어링 문제를 다루는 대표적인 장기 에이전트 벤치마크입니다. 기존 저비트 양자화 모델들은 원본 성능의 72% 수준에 머물렀지만, NariQ(3.0 및 2.5 비트)는 원본(BF16)과 대등한 수준의 성능을 온전히 유지했습니다 [출처 제목].
- Terminal Bench: 터미널(명령어 기반 인터페이스) 환경에서 여러 명령어를 조합해 장기적인 작업을 수행하는 에이전트 평가 환경입니다. 이 역시 원본 수준의 높은 정확도를 기록했습니다 [출처 제목].
- AIME 및 RealWorldQA: 수학적 추론 능력과 현실 세계의 시각적·논리적 이해도를 측정하는 벤치마크에서도 NariQ 압축 모델들은 원본의 성능을 조금도 잃지 않고 나란히 발휘했습니다 [출처 제목].
장기 에이전트 작업은 10만 토큰이 넘는 긴 컨텍스트 속에서 수많은 단계에 걸쳐 도구를 호출해야 하기에 오류가 누적되기 쉬운 구조입니다 [출처 제목]. 3비트 미만의 초저비트 양자화 모델이 이 장기 레이스를 원본과 똑같이 완주해 낸 것은 이번이 업계 최초입니다 [출처 제목].
현재 연구진은 이 기술의 결실을 누구나 사용할 수 있도록 오픈소스로 공개했습니다. 관련 파일들은 Qwen3.8-27B-NariQ-GGUF(https://huggingface.co/nari-labs/Qwen3.8-27B-NariQ-GGUF)를 통해 배포되고 있으며, 추론 작업은 전용으로 포크된 llama.cpp(https://github.com/nari-labs/nari-llama.cpp)를 통해 손쉽게 이용할 수 있습니다 [출처 제목].
앞으로 어떻게 될까?
NariQ의 등장은 AI 생태계에 실질적인 변화를 예고합니다. 그동안 고성능 AI 에이전트를 로컬 컴퓨터나 비용이 제한된 환경에서 구동하는 것은 거대한 하드웨어 벽에 가로막혀 있었습니다. 하지만 3비트 미만의 초저비트에서도 에이전트의 핵심 지능이 유지된다면, 개인용 컴퓨터나 엣지 디바이스(서버가 아닌 사용자 주변의 기기들)에서도 강력한 자율형 AI 에이전트를 부담 없이 실행할 수 있는 길이 열리게 됩니다.
앞으로는 단순히 모델의 크기를 줄이는 것을 넘어, “AI가 실제로 어떤 목적을 위해 쓰이는가(에이전트 워크플로우)”에 맞추어 압축 알고리즘을 최적화하는 연구가 대세가 될 것입니다. 10만 토큰 이상의 긴 호흡으로 코딩을 하고, 문서를 분석하며, 도구를 자유자재로 다루는 스마트한 AI 비서를 내 컴퓨터 위에서 만날 날이 성큼 다가왔습니다.
AI의 시선
단순한 지식 암기형 AI를 넘어 스스로 도구를 쓰고 긴 호흡으로 일하는 ‘에이전트 시대’에는 압축 기술 역시 실무 패턴을 닮아야 한다는 점을 NariQ는 잘 보여줍니다. 용량의 벽을 허물면서도 실전 능력을 지켜낸 이번 성과는 온디바이스 에이전트 대중화의 강력한 마중물이 될 것입니다.
참고자료
- NariQ: Sub-3-Bit Quantization for Long-Horizon Agentic Tasks - https://arxiv.org/abs/2611.26157
- 짧은 웹 텍스트로 보정
- 에이전트 세션에서 모델이 생성한 토큰으로 보정
- 이미지 생성 속도 향상
- 1.0 비트
- 3.0 및 2.5 비트
- 8.0 비트
- 100K 토큰 이상의 컨텍스트에서 여러 단계에 걸쳐 도구 호출
- 단일 문장 번역
- 간단한 이미지 분류