縮 減 身 軀 而 智 慧 如 昔! 破 解 AI 代 理 人 極 限 的 NariQ 技 術 祕 密

象 徵 NariQ 技 術 的 數 位 圖 形 插 圖,能在壓 縮 AI 模 型 容 量 的 同 時 維 持 代 理 人 性 能
AI Summary

NariQ 是 一 項 大 幅 縮 減 AI 模 型 重 量 的 量 化 技 術,也 是 首 個 能 在 超 過 10 萬 個 Token 的 長 期 代 理 人 任 務 中,展 現 與 原 生 模 型 相 同 性 能 的 技 術。

試 想 一 下,如 果 你 給 人 工 智 能(AI)下 達 了 這 樣 的 複 雜 指 令:「請 分 析 我 們 公 司 過 去 三 年 的 營 收 數 據,審 查 各 部 門 的 報 告,修 正 其 中 有 錯 誤 的 部 分,然 後 把 最 終 結 論 發 電 子 郵 件 給 我。」此 時,AI 會 獨 立 打 開 多 個 工 具,讀 取 數 萬 行 文 件,並 且 有 條 不 紊 地 通 過 數 十 個 階 段 逐 一 執 行 任 務。

像 這 種 AI 不 僅 僅 是 回 答 問 題,而 是 在 長 期 對 話 與 文 件 中 自 行 判 斷,並 組 合 多 種 工 具 以 達 成 長 期 目 標 的 過 程,被 稱 為 長 期 代 理 人 任 務(Long-horizon agentic tasks)。打 個 比 方,這 不 是 在 解 答 選 擇 題,而 係 像 一 位 專 業 顧 問 獨 立 規 劃 並 完 成 爲 期 數 月 的 大 型 專案。這 類 任 務 通 常 需 要 超 過 10 萬(100K)Token 的 極 長 記 憶 空 間(上 下 文)[出處標題]。

然 而,這 背 後 存 在 一 個 現 實 的 難 題。能 力 強 大 的 巨 型 語 言 模 型(LLM,即 理 解 與 生 成 人 類 語 言 的 大 規 模 人 工 智 能 模 型)體 積 太 龐 大,要 在 一 般 電 電 腦 或 智 能 設 備 上 運 行 簡 直 難 如 登 天。將 這 個 巨 型 模 型 體 積 「 瘦 身 」 的 技 術 被 稱 為 量 化(Quantization,通 過 降 低 AI 模 型 内 部 數 值 精 度 來 減 少 容 量 的 技 術)。但 以 往 的 量 化 技 術 有 著 致 命 的 缺 點:雖 然 對 於 短 文 本 尚 能 應 付,但 在 複 雜 且 漫 長 的 代 理 人 任 務 面 前,性 能 常 常 會 腰 斬 [出處標題]。

近 期,研 究 人 員 漂 亮 地 突 破 了 這 個 極 限,推 出 了 名 為 NariQ 的 全 新 量 化 技 術。它 是 如 何 在 如 針 孔 般 縮 減 身 軀 的 同 時,完 美 保 留 天 才 級 的 代 理 人 能 力 呢?接 下 來 我 們 就 一 起 探 究 其 中 的 奧 祕。


這 為 什 麼 重 要?

隨 著 人 工 智 能 技 術 的 發 展,模 型 的 規 模 正 越 來 越 龐 大。若 要 以 原 始 狀 態(BF16,16 位 元 浮 點 數 精 度)運 行 擁 有 數 千 億 個 參 數(Parameter,AI 模 型 內 部 用 於 調 節 的 數 值,相當 於 人 類 的 神 經 突 觸)的 模 型,需要 巨 額 的 伺 服 器 成 本 與 龐 大 的 電 力。對 普 通 開 發 者 或 企 業 而 言,要 在 本 機 環 境 或 成 本 高 效 的 基 礎 架 設 中 隨 心 所 欲 地 使 用 高 性 能 AI 簡 直 是 天 方 夜 譚。

爲 了 解 決 這 個 問 題,低 位 元(Low-bit)量 化 技 術 獲 得 了 廣 泛 應 用,它 通 過 降 低 模 型 中 每 個 權 重(Weight,表 示 神 經 網 絡 連 接 重 要 性 的 加 權 值)所 佔 用 的 位 元 數 來 實 現 目 標。例 如,將 模 型 壓 縮 到 3 位 元 以 下 可 以 大 幅 減 少 儲 存 空 間 與 內 存 使 用 量。

然 而,此 時 卻 碰 到 了 重 大 瓶 頸。以 往 許 多 低 位 元 量 化 方 式 都 是 以 互 聯 網 上 的 短 網 頁 文 本 作 為 校 正 基 準,且 性 能 評 估 也 多 以 單 選 題 或 語 言 理 解 度(Perplexity)爲 主 [出處標題]。

這 種 不 配 對(Mismatch,理 論 與 實 際 環 境 的 脫 節)付 出 了 沈 重 的 代 價。簡 單 來 說,這 就像 平 時 只 練 習 讀 厚 厚 的 小 說 或 百 科 全 書,一 旦 进 入 企 業 負 責 實 務 時 卻 會 迷 失 方 向。實 際 上,透 過 既 有 方 式 壓 縮 的 Qwen3.8-27B 模 型 在 AIME 等 相 對 短 暫 的 測 試 中 表 現 得 與 原 生(BF16)相 差 無 幾,但 在 DeepSWE 等 實 際 長 期 代 理 人 評 測 中,其 性 能 卻 僅 能 發 揮 原 生 的 72% 以 下 [出處標題]。換 言 之,這 係 一 種 會 考 高 分 但 一 上 實 戰 就 容 易 疲 憊 或 迷 失 的 半 吊 子 減 肥 法。

NariQ 正 是 正 面 迎 擊 這 個 痛 點。它 成 爲 首 個 將 模 型 身 軀 極 端 壓 縮 至 3 位 元 以 下,同 時 在 充 滿 複 雜 實 務 與 工 具 呼 叫 的 長 期 代 理 人 任 務 中 展 現 出 與 原 生 模 型 完 全 相 同 性 能 的 量 化 技 術 [出處標題]。


輕 鬆 理 解

爲 了 容 易 理 解 量 化 與 NariQ 的 原 理,我 們 可 以 將 其 比 作 廚 師 培 訓。

第 1 階 段:只 靠 教 科 書 學 習 的 廚 師 與 在 真 實 廚 房 訓 練 的 廚 師

以 往 的 量 化 方 式 在 壓 縮 AI 時,僅 僅 使 用 互 聯 網 上 精 心 編 寫 的 短 文 本(烹 飪 教 科 書 理 論)來 對 模 型 进 行 校 正。因 此,AI 雖 然 能 解 開 虛 擬 理 論 考 試,但 一 但 被 置 於 真 實 廚 房 中 那 種 客 人 源 源 不 絕、訂 單 蜂 擁 而 至 的 緊 張 環 境(長 期 代 理 人 會 話)時,便 會 開 始 手 足 無 措。

相 反 地,NariQ(基 於 網 格 編 碼 的 事 後 量 化 技 術,Trellis-coded post-training quantization method,一 種 利 用 網 格 結 構 編 碼 將 信 息 損 失 減 到 最 低 並 壓 縮 與 校 正 模 型 的 技 術) 採 取 了 全 然 不 同 的 方 法。NariQ 將 全 精 度(BF16)模 型 在 真 實 代 理 人 會 話 中 呼 叫 工 具、進 行 對 話 所 生 成 的 生 動 Token 直 接 用 作 訓 練 與 校 正 數 據 [出處標題]。

簡 單 來 說,這 不 是 僅 僅 讓 廚 師 背 誦 食 譜,而 是 讓 其 直 接 觀 摩 總 廚 在 忙 碌 的 餐 廳 廚 房 中 的 動 線 與 秘 訣 來 進 行 壓 縮 訓 練。正 因 如 此,即 使 模 型 身 軀 縮 小,也 能 在 真 實 代 理 人 工 作 中 游 刃 有 餘 地 完 美 適 應。

第 2 階 段:壓 縮 的 極 限,究竟 能 縮 到 多 小?

研 究 人 員 針 對 Qwen3.8-27B 模 型,在 多 種 位 元 水 平 下 對 NariQ 的 性 能 進 行 了 嚴 格 的 驗 證 [出處標題]:

  • 3.0 位 元 權 重(3.0 bits per weight,每 個 參 數 使 用 3.0 位 元)
  • 2.5 位 元 權 重(2.5 bits per weight,每 個 參 數 使 用 2.5 位 元)
  • 2.0 位 元 權 重(2.0 bits per weight,每 個 參 數 使 用 2.0 位 元)

打 個 比 方,這 就 像 是 把 一 本 厚 重 的 百 科 全 書 分 別 壓 縮 成 只 有 原 本 厚 度 30%、25% 和 20% 的 核 心 摘 要 筆 記。令 人 驚 訝 的 是,經 過 3.0 與 2.5 位 元 壓 縮 的 模 型,與 原 生(BF16)模 型 相 比,幾 乎 看 不 出 任 何 性 能 下 降,展 現 了 堪 稱 完 美 的 水 平 [出處標題]。不過,在 進 一 步 縮 減 至 2.0 位 元 的 檢 查 點(Checkpoint)中,則 開 始 出 現 了 些 許 性 能 瓶 頸(尾 部 效 應)[出處標題]。


當 前 現 狀

NariQ 的 性 能 已 透 過 多 項 公 認 的 評 測(用 於 性 能 評 估 的 標 準 測 試 集)得 到 了 嚴 格 證 明。研 究 人 員 將 經 過 NariQ 壓 縮 的 Qwen3.8-27B 模 型 投 入 以 下 嚴 苛 的 評 估 指 標 中 [出處標題]:

  1. DeepSWE:處 理 複 雜 軟 件 工 程 問 題 的 代 表 性 長 期 代 理 人 評 測。以 往 的 低 位 元 量 化 模 型 僅 停 留 在 原 生 性 能 的 72% 水 平,而 NariQ(3.0 與 2.5 位 元)則 完 美 維 持 了 與 原 生(BF16)相 當 的 性 能 [出處標題]。
  2. Terminal Bench:在 端 口(基 於 指 令 的 界 面)環 境 下 組 合 多 項 指 令 執 行 長 期 任 務 的 代 理 人 評 估 環 境。這 項 測 試 同 樣 記 錄 了 達 到 原 生 水 平 的 高 準 確 度 [出處標題]。
  3. AIME 及 RealWorldQA:在 測 量 數 學 推 理 能 力 以 及 現 實 世 界 視 覺 與 邏 理 理 解 度 的 評 測 中,NariQ 壓 縮 模 型 同 樣 完 美 發 揮 了 原 生 模 型 的 能 力,毫 無 遜 色 [出處標題]。

長 期 代 理 人 任 務 需 要 在 超 過 10 萬 Token 的 長 上 下 文 中 經 過 多 個 階 段 呼 叫 工 具,本 身 就 是 一 個 容 易 累 積 錯 誤 的 架 構 [出處標題]。這 是 行 業 中 首 次 有 3 位 元 以 下 的 超 低 位 元 量 化 模 型 能 夠 像 原 生 模 型 一 樣 完 美 跑 完 這 場 長 跑 [出處標題]。

目 前 研 究 人 員 已 將 這 項 技 術 開 源,供 所 有 人 使 用。相 關 文 件 透 過 Qwen3.8-27B-NariQ-GGUF(https://huggingface.co/nari-labs/Qwen3.8-27B-NariQ-GGUF) 發 布,推 理 工 作 也 可 透 過 專 用 fork 的 llama.cpp(https://github.com/nari-labs/nari-llama.cpp) 輕 鬆 使 用 [出處標題]。


未 來 展 望

NariQ 的 出 現 預 示 著 AI 生 態 系 統 將 發 生 實 質 性 的 變 革。過 去,在 本 機 電 腦 或 資 源 受 限 的 環 境 中 運 行 高 性 能 AI 代 理 人,一 直 受 阻 於 巨 大 的 硬 體 障 礙。但 然 而,若 即 使 在 3 位 元 以 下 的 超 低 位 元 下 仍 能 保 持 代 理 人 的 核 心 智 能,這 將 為 個 人 電 腦 或 邊 緣 設 備(非 伺 服 器 的 周 邊 用 戶 設 備)上 無 負 擔 地 執 行 強 大 自 主 型 AI 代 理 人 打 開 大 門。

未 來,壓 縮 研 究 將 不 僅 僅 侷 限 於 單 純 縮 小 模 型 規 模,更 會 朝 著 依 據「AI 實 際 用 途(代 理 人 工 作 流)」最 優 化 算 法 的 方 向 發 展。能 在 超 過 10 萬 Token 的 長 時 間 範 圍 內 撰 寫 代 碼、分 析 文 件 並 自 由 操 作 工 具 的 智 能 AI 助 手,即 將 來 到 我 們 的 電 腦 上。


AI 的 視 角

在 不 僅 僅 是 死 記 硬 背 知 識 的 AI、而是 自 行 使 用 工 具 並 長 時 間 工 作 的「代 理 人 時 代」,壓 縮 技 術 也 必 須 貼 近 實 務 模 式,NariQ 充 分 展 現 了 這 一 點。這 次 在 打 破 容 量 壁 壘 的 同 時 守 住 實 戰 能 力 的 成 就,將 成 為 推 動 終 端 智 能(On-device)代 理 人 大 眾 化 的 強 大 催 化 劑。


參 考 資 料

  1. NariQ: Sub-3-Bit Quantization for Long-Horizon Agentic Tasks - https://arxiv.org/abs/2611.26157
AD
測試你的理解
Q1. NariQ 與 既 有 量 化 技 術 相 比,最 大 的 特 色 是 什 麼?
  • 以 短 小 網 頁 文 本 進 行 校 正
  • 以 代 理 人 會 話 中 由 模 型 自 行 生 成 的 Token 進 行 校 正
  • 提 升 圖 片 生 成 速 度
NariQ 是 一 種 基 於 網 格 編 碼(Trellis Coding)的 量 化 技 術,不 使 用 一 般 的 網 頁 文 本,而 是 根 據 AI 代 理 人 會 話 期 間 由 全 精 度 模 型 直 接 生 成 的 Token 來 進 行 校 正。
Q2. 套 用 NariQ 的 Qwen3.8-27B 模 型 在 哪 個 位 元 水 平 下 能 保 持 原 生(BF16)性 能?
  • 1.0 位 元
  • 3.0 及 2.5 位 元
  • 8.0 位 元
研 究 顯 示,當 Qwen3.8-27B 模 型 被 壓 縮 至 3.0 及 2.5 Bits per weight 水 平 時,在 長 期 代 理 人 評 測 中 仍 能 保 持 原 生 BF16 性 能。
Q3. 在 長 期 代 理 人 任 務(Long-horizon agentic tasks)中,模 型 通 常 需 要 處 理 哪 些 需 求?
  • 在 超 過 100K Token 的 上 下 文 中 跨 多 個 階 段 呼 叫 工 具
  • 單 句 文 本 翻 譯
  • 簡 單 的 圖 片 分 類
長 期 代 理 人 任 務 是 指 在 超 過 10 萬(100K)Token 的 長 上 下 文 中,跨 多 個 階 段 呼 叫 工 具 並 完 成 任 務 的 複 雜 任 務。