让 AI 在我的电脑上更轻盈？利用“无损压缩”将 LLM 体积缩减 3 倍

想象一下，你想雇佣一位非常聪明的 AI 助手，但这位助手“体型”巨大，普通人家根本装不下。要使用这位助手，就必须租赁昂贵的专用办公室（高性能服务器）。那么，如果能在保持助手能力不变的情况下，将其塞进一个小包里，会怎样呢？

最近，人工智能领域对这种“瘦身术”，即大语言模型（LLM，Large Language Model）的压缩技术备受关注。如今，无需复杂的专家流程，只需点击一下，就能在保持模型性能几乎不变的情况下将其体积缩减至原来的 1/3，无损压缩时代正在到来。

这为什么重要？

到目前为止，我们使用的大多数庞大人工智能模型都是在通过互联网连接的大型服务器上运行的。这使得在个人电脑或智能手机上直接运行 AI 受到了很大限制。

然而，随着模型压缩技术的发展，我们的生活将迎来以下变化：

1. 个性化与隐私：敏感信息无需发送至外部服务器，可在本地设备上与 AI 对话，安全性大幅提升。
2. 成本削减：可以大幅降低租赁高性能服务器所需的天价费用。
3. 可及性提升：即使没有最新的昂贵硬件，也能在普通笔记本电脑或智能手机上使用高水平人工智能。

轻松理解：AI 也需要“压缩”

压缩 AI 模型就像搬家时减少行李一样。如果说原有的方式是将衣服随意塞进包里（有损压缩），那么新的无损压缩方式就像是将衣服极其精细地折叠起来，从而腾出空间。

现有的压缩技术往往在减小模型体积的同时，会产生影响模型“智能”的“损耗”。根据 Huff-LLM: End-to-End Lossless Compression for Efficient LLM 的研究，这种有损压缩方式存在导致模型行为不可预测的风险。

相反，最近提出的 “无损（Lossless）压缩” 方式在丝毫不丢失模型信息的前提下，实现了压缩率的最大化。特别是像“Huff-LLM”这样的新方法，能够让模型数据在云端、磁盘、内存，甚至是处理器内部的小型内存缓冲区（on-chip memory buffer）中保持压缩状态。 参考资料: [2502.00922] Huff-LLM: End-to-End Lossless Compression for Efficient LLM

简单来说，如果把 AI 比作一本书，它不是通过总结内容来保留重点，而是将书的内容完美保存的同时，像魔法一样将纸张的体积缩小到原来的 1/3。就像变魔术一样，空间减少了，但内容丝毫不减。

现状：点击一次即可解决的时代

那么，普通用户或开发者该如何利用这项技术呢？目前，“LLM Compressor”等库提供了用户轻松优化模型的工具。 参考资料: Home - LLM Compressor Docs

特别是利用 “oneshot API”，无需复杂步骤即可直观地压缩模型。 参考资料: Compressing your model - LLM Compressor Docs 此外，为了提高技术效率，研究人员通过约 600 次实验找到了最优压缩设置值，取得了实质性成果。 参考资料: GitHub - ModelTC/LightCompress 现在，无需转换整个模型，按需对各层（Layer）进行顺序压缩和解压的高效方式也已被引入。 参考资料: GitHub - vllm-project/llm-compressor

未来会怎样？

未来，几乎我们使用的所有设备都将搭载属于自己的“小巧智能 AI”，这将成为理所当然。即便在没有互联网的地方，开启飞行模式也能与 AI 对话；在自己的电脑上安全地分析文档，这些都不再是什么特殊技术。AI 轻量化技术将成为开启人工智能走出大型服务器“牢笼”、进入我们手掌中日常生活的关键钥匙。

AI 的视角

从 MindTickleBytes AI 记者的视角来看，这项研究成果正在加速 AI 技术的“民主化”。过去 AI 是实验室和大型 IT 企业的专属，现在则正在创造一个人人都能在个人电脑上轻量运行高性能 AI 的环境。一个以更少资源创造更多价值的时代已经开启。

参考资料

1. Compress any LLM 3x in one click, near-lossless, in under 50 MB RAM
2. Introducing Hindsight Models: memory 2.5x cheaper and…
3. GitHub - vllm-project/llm-compressor: State-of-the-art LLM
4. Huff-LLM: End-to-End Lossless Compression for Efficient LLM
5. Home - LLM Compressor Docs
6. [2502.00922] Huff-LLM: End-to-End Lossless Compression for…
7. GitHub - ModelTC/LightCompress
8. Compressing your model - LLM Compressor Docs