瘦身不减智能!打破AI代理极限的NariQ技术之秘

象征在压缩AI模型容量的同时保持代理性能的NariQ技术的数字图形插图
AI Summary

NariQ是一种大幅减轻AI模型重量的量化技术,也是在超过10万个Token的长期代理任务中也能展现与原始模型同等性能的首个技术。

想象一下。你让人工智能(AI)去办一件复杂的差事:“分析我们公司过去三年的销售数据,审查各部门的报告,修改错误部分后,将最终结论发邮件给我。”AI独自打开多个工具,阅读数万行文档,分几十个步骤一步步地执行任务。

像这样, AI不仅仅是回答简单的问题, 而是在长对话和文档中自主判断, 组合多种工具达成长期目标的整个过程, 被称为长期代理任务(Long-horizon agentic tasks)。打个比方,这就像不是在做简答题,而是一个专业顾问独自策划并完成历时数月的宏大项目。这类工作通常需要10万(100K)Token以上极长的记忆空间(上下文) [来源标题]。

但现实中存在一个问题。能力卓越的大语言模型(LLM,理解和生成人类语言的大规模人工智能模型)体型过于庞大,要在普通电脑或智能设备上运行难如登天。这种为主模型“减肥”的技术被称为量化(Quantization,降低AI模型内部数值精度以减小容量的技术)。然而,迄今为止的量化技术有一个致命弱点:虽然在处理短文时表现尚可,但在面对复杂且漫长的代理任务时,性能往往会腰斩 [来源标题]。

最近,研究人员漂亮地突破了这一极限。这就是名为NariQ的全新量化技术。如何在将体型缩小到极致的同时,完美保持天才般的代理能力,接下来我们一起一探究竟。


为什么这很重要?

随着人工智能技术的发展,模型规模变得越来越庞大。要以原始状态(BF16,16位浮点精度)运行拥有数千亿个参数(Parameter,AI模型内部充当人类突触作用的可调节数值)的模型,需要巨额的服务器

layout: post title: “瘦身不减智!打破AIAgent瓶颈的NariQ技术秘籍” description: “深入浅出地介绍突破性的量化技术 NariQ:在将 AI 模型容量压缩至 3 比特以下的同时,完美保持复杂的长周期 Agent 任务执行能力。” summary: “NariQ 是一项大幅减小 AI 模型体积的量化技术,也是首个在超过 10 万Token的长周期 Agent 任务中展现出与原始模型同等性能的技术。” tags: [AI, Quantization, NariQ, Qwen, AgenticTasks] image: 2026-11-21-NariQ-Sub-3-Bit-Quantization-for-Long-Horizon-Agentic-Tasks.jpg image_alt: “象征 NariQ 技术的数字图形插图,该技术在压缩 AI 模型容量的同时保持了 Agent 性能” reporter: “MindTickleBytes AI” news_type: “Knowledge” ai_opinion: “超越了单纯的容量压缩,将 AI 实际工作的方式融入训练数据中,具有极高的实用价值。” quiz:

  • question: “NariQ 与传统量化技术相比,最大的区别是什么?” choices: [“用简短的网络文本进行校准”, “用 Agent 会话中由全精度模型生成的 Token 进行校准”, “提升图像生成速度”] answer: 1 explanation: “NariQ 是一种基于网格编码(Trellis coding)的量化技术,它不使用常规的网络文本,而是以 AI Agent 会话期间由全精度模型直接生成的 Token 作为校准基础。”
  • question: “应用了 NariQ 的 Qwen3.8-27B 模型在哪个比特水平下保持了原始(BF16)性能?” choices: [“1.0 比特”, “3.0 及 2.5 比特”, “8.0 比特”] answer: 1 explanation: “研究表明,当将 Qwen3.8-27B 模型压缩到 3.0 和 2.5 比特每权重(bits per weight)水平时,NariQ 能够在长周期 Agent 基准测试中保持原始的 BF16 性能。”
  • question: “在长周期 Agent 任务(Long-horizon agentic tasks)中,模型主要需要处理什么要求?” choices: [“在 100K Token 以上的上下文中跨多步骤调用工具”, “单句翻译”, “简单的图像分类”] answer: 0 explanation: “长周期 Agent 任务是在超过 10 万(100K)Token 的长上下文环境中,跨多个步骤调用工具并完成复杂任务的过程。” lang: ko ref: 2026-11-21-NariQ-Sub-3-Bit-Quantization-for-Long-Horizon-Agentic-Tasks —

试想一下。你给人工智能(AI)下达了一项复杂的差事:“请分析我们公司过去3年的营收数据,审查各部门报告后修正错误部分,并将最终结论发送邮件给我。”AI 独自打开多个工具,阅读数万行文档,历经几十个步骤有条不紊地完成了工作。

像这样,AI 不仅仅是回答问题,而是在漫长的对话和文档中自主判断、组合多种工具以达成长期目标的整个过程,被称为长周期 Agent 任务(Long-horizon agentic tasks)。打个比方,这就像不是在做单选题测试,而是一位专业顾问独自企划并完成历时数月的宏大项目。这类任务通常需要 10 万(100K)Token 以上极其庞大的记忆空间(上下文) [出처 제목].

然而,现实中存在一个棘手的问题。能力出众的大语言模型(LLM,即理解和生成人类语言的大型人工智能模型)体型过于庞大,要在普通电脑或智能设备上运行难如登天。这种给庞大模型瘦身的技术被称为量化(Quantization,即通过降低 AI 模型内部的数字精度来缩减容量的技术)。然而,以往的量化技术有一个致命弱点:应对短文本时还算对付得过去,但面对复杂且漫长的 Agent 任务时,性能往往会腰斩 [出처 제목].

最近,研究人员漂亮地突破了这一限制。这就是名为 NariQ 的全新量化技术。如何在将体型压缩得像针眼一样小的同时,完美保留天才般的 Agent 能力?接下来让我们一探究竟。


为什么这很重要?

随着人工智能技术的发展,模型规模变得越来越庞大。要以原始状态(BF16,16位浮点精度)运行拥有数千亿个参数(Parameter,即 AI 模型内部起调节作用的数值,相当于人类的突触)的模型,需要消耗巨额的服务器成本和庞大的电力。对于普通开发者和企业而言,在本地环境或成本高效的基础设施中随心所欲地使用高性能 AI 简直是天方夜谭.

为了解决这一问题,广泛采用低比特(Low-bit)量化来降低模型中每个权重(Weight,表示神经网络连接重要性的加权值)所占的比特数。例如,将模型压缩到 3 比特以下,可以戏剧性地减少存储空间和内存占用.

然而,在此遭遇了巨大的瓶颈。以往的许多低比特量化方法是以互联网上的短文本为基准进行校准的,其性能评估也主要围绕单选题或语言理解能力(Perplexity)展开 [出처 제목].

这种错位(Mismatch,即理论与实际环境的不协调)带来的代价是沉重的。简而言之,这就好比平时只练习阅读厚重的小说或百科全书,临到入职公司处理实际业务时却迷失了方向。事实上,使用传统方法压缩的 Qwen3.8-27B 模型在 AIME 等相对较短的测试中表现出与原始模型(BF16)相近的性能,但在 DeepSWE 等实际的长周期 Agent 基准测试中,只能发挥出原始性能的 72% [出처 제목]. 换句话说,这是一次考试成绩优异、一投身实战就容易疲惫或迷失方向的“半吊子减肥”.

NariQ 正是精准切中了这一痛点。它作为首个量化技术闪亮登场:在将模型体型极端压缩至 3 比特以下的同时,在充斥着复杂实务与工具调用的长周期 Agent 任务中发挥出与原始模型完全相同的性能 [出처 제목].


轻松理解

为了便于理解量化与 NariQ 的原理,我们可以将其比作厨师培训.

第一阶段:只看教科书学习的厨师 vs 在真实厨房中训练的厨师

以往的量化方法在压缩 AI 时,仅凭互联网上流传的精心编排的短篇文本(烹饪教科书理论)来对模型进行校准。因此,AI 能够通过虚拟的理论考试,但一旦置身于实际厨房中那种客源不断、订单蜂拥而至的紧迫局势(长周期 Agent 会话),便开始手足无措.

相比之下,NariQ(基于网格编码的后训练量化方法,Trellis-coded post-training quantization method,即利用网格结构编码在最大限度减少信息损失的同时压缩并校准模型的-技术)采取了截然不同的方法。NariQ 直接将全精度(BF16)模型在真实 Agent 会话中调用工具、进行对话所生成的生动 Token 用作训练和校准数据 [出처 제목].

简单来说,它不仅让厨师背诵食谱,还让其直接观察并学习主厨在繁忙的餐厅后厨中的实际动线与独家秘诀,从而开展压缩训练。正因如此,即使模型体型缩小,也能够在实际 Agent 业务中游刃有余、完美适应.

第二阶段:压缩的极限,究竟能缩减到什么地步?

研究人员以 Qwen3.8-27B 模型为对象,在各种比特水平下对 NariQ 的性能进行了严格验证 [出처 제목].

  • 3.0 比特每权重 (3.0 bits per weight,每个参数使用 3.0 比特)
  • 2.5 比特每权重 (2.5 bits per weight,每个参数使用 2.5 比特)
  • 2.0 比特每权重 (2.0 bits per weight,每个参数使用 2.0 比特)

打个比方,这就像是将厚厚的百科全书分别压缩成厚度为 30%、25%、20% 的核心摘要笔记。令人惊叹的是,与原始(BF16)模型相比,经 3.0 比特和 2.5 比特压缩的模型几乎看不出性能下降,展现出了堪称完美的水平 [出처 제목]. 不过,在压缩至 2.0 比特水平的检查点(Checkpoint)中,出现了一定程度的性能瓶颈(拖尾现象) [出처 제목].


当前现状

NariQ 的性能已通过多项公认的基准测试(用于性能评估的标准测试集)得到了严格证实。研究人员将 Qwen3.8-27B 模型经 NariQ 压缩后,代入到以下严苛的评估指标中 [出처 제목]:

  1. DeepSWE:处理复杂软件工程问题的代表性长周期 Agent 基准。以往的低比特量化模型仅停留在原始性能的 72% 水平,而 NariQ(3.0 和 2.5 比特)完整保持了与原始模型(BF16)平起平坐的性能 [出처 제목].
  2. Terminal Bench:在终端(基于命令行的界面)环境中组合多条命令执行长期任务的 Agent 评估环境。该项测试同样记录了接近原始水平的高准确度 [出처 제목].
  3. AIME 与 RealWorldQA:在衡量数学推理能力以及真实世界视觉与逻辑理解能力的基准测试中,NariQ 压缩模型也毫无保留地发挥出了原始模型的性能 [出처 제목].

由于长周期 Agent 任务需要在超过 10 万 Token 的长上下文中跨越无数步骤调用工具,因此结构上极易累积错误 [出처 제목]. 3 比特以下的超低比特量化模型能够像原始模型一样完美跑完全程,这在业界尚属首次 [出처 제목].

目前,研究人员已将该技术成果开源,供所有人使用。相关文件正通过 Qwen3.8-27B-NariQ-GGUF(https://huggingface.co/nari-labs/Qwen3.8-27B-NariQ-GGUF) 进行分发,推理任务则可通过专属分叉的 llama.cpp(https://github.com/nari-labs/nari-llama.cpp) 轻松体验 [出처 제목].


未来走向如何?

NariQ 的问世预示着 AI 生态系统将迎来实质性变革。过去,在本地电脑或受限成本环境中运行高性能 AI 一直受阻于巨大的硬件壁垒。然而,如果在 3 比特以下的超低比特下依然能够保持 Agent 的核心智能,那么在个人电脑或边缘设备(非服务器的周围设备)上毫无负担地运行强大的自主型 AI Agent 将成为可能。

未来,压缩算法的研究将不再局限于单纯减小模型体积,而是朝着“顺应 AI 的实际应用目的(Agent 工作流)”进行优化的方向全面发展。在自己的电脑上遇见呼吸着 10 万 Token 以上长节奏、能够编写代码、分析文档并自如调用工具的智能 AI 助手的日子已然指日可待。


AI 的视点

在超越单纯死记硬背型 AI、自主使用工具并以长节奏工作的“Agent 时代”,NariQ 完美展示了压缩技术同样需要贴合实战模式。这次在打破容量壁垒的同时坚守实战能力的成果,必将成为端侧 Agent 走向大众化的强劲东风。


参考资料

  1. NariQ: Sub-3-Bit Quantization for Long-Horizon Agentic Tasks - https://arxiv.org/abs/2611.26157
AD
测试你的理解
Q1. NariQ区别于现有量化技术的最显著特征是什么?
  • 使用短文本网络数据校准
  • 使用代理会话中模型生成的Token进行校准
  • 提升图像生成速度
NariQ是一种基于网格编码(Trellis-coded)的量化技术,它不使用普通网页文本,而是基于AI代理会话期间全精度模型直接生成的Token进行校准。
Q2. 应用了NariQ的Qwen3.8-27B模型在哪个比特水平下能保持原始(BF16)性能?
  • 1.0位
  • 3.0和2.5位
  • 8.0位
结果表明,当将Qwen3.8-27B模型压缩到每权重3.0和2.5比特水平时,NariQ在长期代理基准测试中仍能保持原始BF16性能。
Q3. 在长期代理任务(Long-horizon agentic tasks)中,模型主要需要处理什么要求?
  • 在100K Token以上的上下文中分多步骤调用工具
  • 单句翻译
  • 简单的图像分类
长期代理任务是在超过10万(100K)Token的长上下文中,需要分多步骤调用工具并完成任务的复杂任务。