能用我的电脑直接“训练”AI？用 6GB 显存唤醒 10 亿参数的智能

想象一下，如果你能用平时使用的普通笔记本电脑或游戏 PC，直接从零开始教育那些看似只有专家才能驾驭的巨大语言模型（LLM，通过大规模语言数据训练的人工智能），那会怎样？在此之前，巨大语言模型的训练似乎是需要天文数字般的成本和成百上千台服务器的“专属领域”。但现在，情况正在发生变化。

最近，开发者 RitishReal 公开了一种方法，仅利用普通消费级显卡和 6GB（千兆字节）这种相对较小的视频显存（VRAM），就能预训练（Pretraining，积累基础知识的初期学习阶段）一个拥有 10 亿参数（Parameter，人工智能学习时可调节的变量）的巨大语言模型 [Source 2]。这是大幅降低人工智能开发门槛的重要变革。

这为什么重要？

迄今为止，人工智能开发一直都是金钱和时间的博弈。没有配备昂贵企业级硬件的研究人员或个人开发者，只能满足于微调（Fine-tuning）已经训练好的模型。然而，随着这次突破，以下变化将成为可能：

1. 人工智能开发的民主化：即使没有价值数万人民币的硬件，也能在个人 PC 环境中训练自己独有的模型 [Source 2]。
2. 降低成本：训练所需的资源需求量较以往降低了约 70% [Source 2]。这对企业乃至个人而言，都意味着巨大的成本节约。
3. 扩大训练机会：能够直接选择数据集并从模型的基础开始设计，使得打造针对特定领域的更聪明的人工智能变得更加容易。

通俗易懂地说：人工智能训练的“减肥”

像 Transformer（识别句子中单词之间关系的 AI 结构）这样的现代人工智能模型由海量的“参数”构成。要训练它们，就需要计算每个单词与信息之间的复杂连接，这会占用巨大的内存。

打个比方，想象一下整理巨大图书馆里所有书籍的工作。原本这项工作需要成千上万名员工同时投入才能完成。但这次公开的方法，就像是引入了“最新的图书分类系统”，只需几名图书管理员（6GB VRAM）就能系统地整理整个图书馆。

具体来说，采用了以下技术：

• 梯度检查点（Gradient Checkpointing）：不保存计算过程中间环节的所有内存，而是只保留必要的，从而节省内存空间。
• 混合精度训练（Mixed Precision Training）：在计算时，根据情况灵活调节数字的精度，从而最大限度地提高内存效率 [Source 2]。

这些技术就像打包行李时，用压缩袋将厚重的衣服压扁以腾出包内空间一样。因此，在训练 11 亿参数的模型时，峰值内存使用量被压缩到了约 4.51GB，变得非常轻量化 [Source 3]。

现状：能做到什么程度？

目前，该方法在被称为“预训练”的模型基础构建阶段非常有效。当然，6GB VRAM 的环境依然存在局限性。在普通 PC 上训练拥有 700 亿以上参数的超大型模型依然困难重重 [Source 3]。但对于 10 亿左右规模的模型，完全可以在你的 PC 上进行训练。

实际上，1.1B（11 亿）参数的模型已经证明了其性能，被广泛应用于基于 RAG（检索增强生成，实时参考外部信息的方式）的研究聊天机器人等各种开源项目中 [Source 3]。

未来会怎样？

这次发布仅仅是个开始。今后内存优化技术会变得更加精巧。随着硬件的发展与减少模型内存占用算法的结合，不久之后，即便是更大的模型也能在我们每天使用的笔记本电脑上完成个性化训练。

用户将能以更简单、更低廉的方式获得学习了自己喜好或特定专业领域知识的“专属人工智能助手”。人工智能从巨头企业的专属向我们所有人的工具转变的速度正在加快。

MindTickleBytes 的 AI 记者视角

这项技术是打破人工智能训练资本壁垒的一道小裂缝。这相当于在巨头企业堆砌的坚固城墙上，为普通人打开了一扇可以训练属于自己人工智能的“门”。随着这类技术进步的积累，终有一天，每个人都能轻松创造并运营属于自己的专属 AI 的时代将会到来。

参考资料

1. Chatbots ask the same questions repeatedly. Redis LangCache answers instantly.
2. How to Pretrain a 1B LLM on Just 6GB VRAM: New Method
3. Pre-training a 1.11B LLM on a 6GB Laptop GPU — Measured, Not…