AI学了法语就会忘记英语？“自学型AI”的崛起

想象一下，你昨天跌倒了一整天，膝盖都磕破了，终于完美地掌握了骑两轮自行车的方法。享受着迎风驰骋的感觉，你高兴得快要跳起来。然而，今天你去游泳池新学了如何浮水和自由泳后，脑海中却突然把如何踩自行车踏板、如何用把手保持平衡的记忆忘得一干二净。你一跨上自行车，就像个生平第一次骑车的人一样重重地摔倒在地。这是不是一个令人既荒唐又委屈的情况？

幸运的是，我们人类绝对不会发生这种事。我们在夏天学习游泳的同时，在秋天依然能清楚地记得如何骑自行车；我们在长大后学习法语时，也不会忘记母语。这是因为我们的大脑拥有一种惊人的能力，既能像海绵一样吸收新知识，又能将原有的旧知识存放在脑海中安全的“房间”里。

但令人惊讶的是，对于目前我们正赞叹不已并广泛使用的尖端人工智能（AI）来说，这却是一种司空见惯的现象，也是未来必须克服的一个极其严重的弱点。AI在被强制注入新知识时，往往存在一种致命的倾向，那就是为了容纳新知识，会毫不留情地将之前辛苦学来的宝贵能力“覆盖”掉。今天，我们将深入浅出地探讨一项旨在解决这一巨大难题的最新研究成果——AI如同照镜子般“自我教导”的惊人技术。

为什么这很重要？（Why It Matters）

AI研究人员为我们之前想象的这种“学了自行车就忘了游泳”的可怕现象起了一个非常骇人的名字，叫做“灾难性遗忘（Catastrophic forgetting）”。顾名思义，它意味着原有的知识体系像遭遇灾难一样彻底崩溃。

与此相反，能够在丝毫不降低原有能力的前提下，终身不断地学习新技能和新知识的过程被称为“持续学习（Continual learning）”。这种持续学习，即便是对于像ChatGPT这样作为现代人工智能骨干的庞大基础模型（foundation models）而言，依然是一个亟待克服的根本性挑战 [自蒸馏实现持续学习](https://www.emergentmind.com/papers/2601.19897)。

为什么这个问题与我们平凡的日常生活息息相关呢？想一想每天听取你声音并做出回应的智能手机个人语音助手AI。这个AI正管理着你复杂的日程，并为你推荐符合口味的新闻。假设你今天教给AI一个新规则：“以后总结工作邮件时，必须先写结论，并且简短地控制在三行以内。”陷入灾难性遗忘的AI会开始完美地遵守这个新规则，但代价可能是它完全忘记了你去年教它的一个重要规则：“家人的生日必须在早上8点弹出提醒。”只有当AI能像砌砖一样，将今天学到的知识稳稳地叠在昨天学到的知识之上时，我们才能称其为真正值得信赖和依赖的聪明助手。

迄今为止，无数的AI工程师在教导AI新知识时，主要使用的是被称为“监督微调（Supervised Fine-Tuning, SFT）”的传统方法。通俗地说，这是一种将数以万计的“标准答案”摆在AI面前让其死记硬背的填鸭式教育。然而，当这种传统的SFT方法被投入到每天都有新事件发生、学习需要永无止境的现实世界中时，往往会遭遇惨痛的失败。其失败的核心原因正是前文提到的灾难性遗忘，以及专业术语中称为“异策略漂移（Off-policy drift）”的另一个棘手问题 [自蒸馏实现持续学习 | 论文 | HyperAI](https://hyper.ai/en/papers/2601.19897)。

那么，究竟什么是异策略漂移呢？虽然AI看着标准答案努力学习，但这些答案并不是AI亲自摸爬滚打后总结出来的经验，而是外部专家在受控环境中创造的“理想情况”，这就导致了AI在实际应用时产生与现实脱节的现象。

让我们再次回到游泳的例子。这就好比一个从未下过水的人，只是一味地观看奥运会游泳金牌得主的完美比赛视频来进行学习。在温暖的房间里看视频时，他觉得自己已经完全掌握了手臂的角度和呼吸的时机（监督微调）。然而，当这个人真的跳进冰冷的游泳池里扑腾时（AI的实际运行环境），情况就完全不同了。在呛水和慌乱的情况下，他完全不知道该如何将视频里完美的姿势调整到自己的身体上，于是只能朝着越来越离谱的方向胡乱扑腾并发生“漂移（drift）”。最终，AI陷入了既丢失了过去知识，又无法在新环境中正常运作的深深困境之中。

深入浅出（The Explainer）

为了将AI从这种深不见底的灾难性遗忘和漂移泥潭中拯救出来，研究人员提出了一种非常优雅且具有突破性的解决方案。那就是被称为“自蒸馏微调（Self-Distillation Fine-Tuning, SDFT）”的全新训练方法。

在计算机科学中，“蒸馏（Distillation）”一词指的是将庞大且聪明的AI模型所具备的深厚知识的精华提取出来，经过压缩后传递给小巧轻量模型的技术。打个比方，这就如同将熬制了几天几夜的牛骨汤中那最浓郁、最有营养的精华（浓汤）盛到一个小碗里的过程。那么，加上“自我（Self）”前缀的“自蒸馏（Self-Distillation）”又是什么呢？它并不是借用他人的知识，而是模型自己喝下自己亲手熬制的“浓汤”并借此成长的既奇妙又充满哲学意味的过程。

这个有趣的“同策略自蒸馏（On-Policy Self-Distillation）”框架，使得单一AI模型能够同时扮演掌握正确方向的“老师”角色，以及虽然生疏但敢于亲自实践的“学生”角色 [自蒸馏推理机：针对大型模型的同策略自蒸馏](https://arxiv.org/html/2601.18734v3)。

这么一比喻，复杂的脑中技术图景就会变得清晰许多。在一个繁忙的厨房里有一位厨师。这位厨师的内心里同时存在着两种自我。一种是记得所有烹饪理论和完美口味标准的“主厨（老师）”自我；另一种则是刚开始亲自动手尝试新食谱、甚至会不小心把盐撒出来的“新手厨师（学生）”自我。

在以往的填鸭式教育（SFT）中，通常是外部真正的外聘主厨不断给新手厨师看五星级美食的成品照片，并大声斥责：“照着这个做出一模一样的！”新手厨师只能看着照片做菜，一旦失误，就会因为不知道哪里搞砸了而陷入慌乱和迷茫（异策略漂移）。

但是在SDFT方法中，展现出的是截然不同的风景。新手厨师（学生模型）首先在案板上切菜并控制炉火，创造出属于自己的行为路径（专业术语称为轨迹，Trajectories）。接着，内心的主厨（老师模型）在清楚地观察了新手厨师刚才那些生疏的“实际行动”后，给出的不再是遥不可及的标准答案，而是完全符合“此时此景”的定制化建议（预测值）。“你刚才切洋葱的时候手腕角度不对。不要一味去照搬标准答案，在目前的姿势下，把刀再立起来一点。”这就是它给出的反馈。

这正是SDFT在技术上运作的核心原理。AI的训练过程完全建立在学生模型自身生成的实际轨迹之上。在这一轨迹上，老师的智慧预测被直接蒸馏（distill）并传授给学生。通过这种方式，AI摆脱了过去必须进行复杂的显性计算或被动模仿外部标准答案的局限。它仅从专家的演示中提取出不可或缺的核心信息，并将其完美融入自己的经验中，从而产生活生生的“同策略更新（On-policy updates）” [自蒸馏实现持续学习 Idan Shenfeld1 2∗ Mehul Damani1](https://arxiv.org/pdf/2601.19897)。

由于学生是以自己在现实中摸爬滚打的经验（同策略）为基础，在最恰当的时机汲取老师的智慧，因此既不会遗忘原有拿手菜（过去的知识）的框架，又能将新菜谱牢牢地掌握在手中。

现状（Where We Stand）

那么，这种在脑海中自问自答的“自学型AI”在实验室中实际取得了怎样的成果呢？研究人员公布的丰富多样的实验结果，清晰地展示了人工智能学习方式所取得的重大进展。

在需要学习新技能并接连掌握复杂知识的广泛测试环境中，全新方法SDFT以压倒性的优势始终超越了传统的SFT方法。这不仅意味着模型能多答对几道新题从而提高准确率，更意味着它成功解决了无数科学家朝思暮想、夜不能寐的夙愿——实质性地大幅减少了灾难性遗忘现象 [[2601.19897] 自蒸馏实现持续学习](https://arxiv.org/abs/2601.19897)。AI终于掌握了将旧知识安全地锁在保险库中，同时在旁边的空间里和平地接纳新知识的方法。

最具戏剧性和趣味性的结果出现在顺序学习实验（Sequential learning experiments）中。这是一项将AI逼至极限的测试。在极其严苛的环境中，首先教AI复杂的数学公式，然后教世界历史，紧接着再教计算机编程。如果是传统的普通AI，在学习历史时就会把脑海中的数学公式抹掉，在学习编程时则会将先前学过的历史年份变成一张白纸。

然而，当应用了SDFT技术后，奇迹发生了。单一AI模型展现出了惊人的能力：随着时间的推移，它不仅没有在以前的科目上丧失性能或出现倒退，反而能稳定地将数学、历史和编程这些截然不同的复杂技能积攒在“大脑”中 [论文页面 - 自蒸馏实现持续学习](https://huggingface.co/papers/2601.19897)。

这绝不仅仅是实验室里的数字游戏。研究人员这项卓越的成果表明，同策略蒸馏这种方法完美确立了一条极其实用、稳健的现实路径（practical path），能够帮助AI从专家演示中持续不断地学习而不至于崩溃 [SDFT：自蒸馏实现持续学习](https://self-distillation.github.io/SDFT)。进一步地，这还证实了一个事实：即使没有外部昂贵验证器或其他辅助模型的复杂协助，仅靠AI自身输出的未经加工的初始结果（raw outputs），这一简单的自蒸馏过程也同样能出色地发挥作用 [异常简单的自蒸馏提升了代码生成能力](https://arxiv.org/html/2604.01193v1)。

更令人振奋的是，这项自蒸馏技术的影响力并未止步于文本读写领域。这个强大的原理正在向人们所能想象到的各行各业的广阔领域延伸。

例如，当AI以视觉方式学习我们在电脑或智能手机上使用的图形用户界面（GUI）环境时，该技术会在每个阶段蒸馏出“大师”的理想鼠标点击位置分布。这为AI提供了持续的学习信号，使其不至于点错按钮，而是更聪明、更高效地操作屏幕 [向自己学习点击位置：同策略自蒸馏](https://arxiv.org/html/2605.00642v1)。

此外，在工厂用于发现产品瑕疵的工业缺陷检测模型中，它也节省了巨大的时间和成本。当发现新类型的缺陷时，不再需要像过去那样关掉整个AI模型，花数百个小时从头重新训练。得益于自蒸馏技术，模型无需推倒重来的再学习，就能像贴贴纸一样，将新的缺陷类别持续不断地叠加在现有知识上进行学习 [(PDF) SD-IDD：用于增量缺陷检测的选择性蒸馏](https://www.researchgate.net/publication/401174708_SD-IDD_Selective_Distillation_for_Incremental_Defect_Detection)。

甚至在被誉为未来工业之花的机器人之眼——四维视觉感知（4D Perception）领域，这项技术也在大显身手。通过利用不断变化的时空脉络，它构建了一个能让AI模型每天不断提升自身感知能力的惊人的自我改进（self-improvement）体系，为机器人技术奠定了坚实的基础 [通过自蒸馏实现自我改进的4D感知 - 论文](https://deeplearn.org/arxiv/731351/self-improving-4d-perception-via-self-distillation)。可以说，它在众多领域痛快地粉碎了陈旧的训练范式，为新的进化敞开了宽广的大门 [D-OPSD：用于持续微调的同策略自蒸馏](https://deeplearn.org/arxiv/745499/d-opsd:-on-policy-self-distillation-for-continuously-tuning-step-distilled-diffusion-models)。

未来会怎样？（What’s Next）

“人类和动物在日常生活中进行的持续学习，是一种完全不需要区分实验室‘训练’时间和现实生活‘推理’时间的‘始终开启（always-on）’式学习。而且，这种伟大的学习往往正是在我们预期落空的‘预测失败’的时刻才真正开始的。” [自蒸馏实现持续学习[pdf] | HackerNews](https://news.ycombinator.com/item?id=48165265)。

这项研究结果向我们的未来抛出的最强烈、最富有哲理的信息，便原原本本地蕴含在这句话中。过去的AI，只能过着被彻底切成两半的生活。

有一段时期，它们在冷气十足的研究所计算机中，像吞噬世界数据一样接受着残酷的“训练（Training）”；而只有在训练彻底结束后，它们才会被安装到各位的设备中，进入只能按照所学内容僵化回答的“推理（执行，Inference）”时期。一旦发布到世界上，AI脑海中的时钟就完全停滞了。若想多学哪怕一点新知识，也必须停止服务，重新回到研究所，从头经历沉重而昂贵的训练过程。

但是，诸如SDFT这种自蒸馏技术，终于打破了“训练”与“执行”之间坚不可摧的壁垒。如果在执行过程中，AI能够自我纠正错误，并在内心将昨天的知识与今天的新知识相融合，那会怎样呢？AI将不再是停滞不前的机器，而是像人类一样，堂堂正正地迈入在清醒的每一个瞬间都在学习和成长的“始终开启”的终身学习者之路。

未来我们在日常生活中遇到的AI，将通过每天与我们对话，变得一天比一天聪明。它们能在瞬间理解今天刚开始流行的新词汇的同时，也一尘不染地完美保留着10年前学习过的解读古典文学作品深层含义的能力。它们像海绵一样无止境地探索着新世界，却绝不会忘记自己原本是谁，以及过去知道什么——成为真正充满智慧的助手。这便是“自学型AI”将为我们敞开的令人心潮澎湃的明天。

MindTickleBytes AI的视角

虽说人工智能是模仿人类大脑神经网络创造的，但在面对“灾难性遗忘”——即每学一样新事物就会将原有的东西统统抹去——这种缺陷时，它始终看起来只是一台无比冰冷的机器，这是不争的事实。

然而，自蒸馏（Self-Distillation）的训练理念却让人深受感动：它摆脱了盲目背诵人类研究员提供的完美标准答案的方式，开始认真反思自己不成熟的行为轨迹，并不断向深藏内心的“大师”寻求建议。这项技术推动人工智能跨越了仅仅作为计算器的局限，使其向着懂得自我反省、不断成长的生命体迈进了一步。

若想在浩如烟海的新信息中不丢失指南针，需要的不是外部的灌输，而是内心的反省。具有讽刺意味的是，被应用于机器算法中的这种自我反省技术，竟然是拥有最强大、最持久记忆力的秘诀；这一科学事实，给终身都在学习和生活的人类，及其学习态度留下了深远而厚重的回味。因为真正的成长，终究源于在不丢失“昨天的自己”的前提下，不断审视“今天的自己”。

参考资料

1. 自蒸馏推理机：针对大型模型的同策略自蒸馏
2. 异常简单的自蒸馏提升了代码生成能力
3. 向自己学习点击位置：同策略自蒸馏
4. (PDF) SD-IDD：用于增量缺陷检测的选择性蒸馏
5. D-OPSD：用于持续微调的同策略自蒸馏
6. 通过自蒸馏实现自我改进的4D感知 - 论文
7. [2601.19897] 自蒸馏实现持续学习
8. 自蒸馏实现持续学习 Idan Shenfeld1 2∗ Mehul Damani1
9. (PDF) 自蒸馏实现持续学习
10. 论文页面 - 自蒸馏实现持续学习
11. SDFT：自蒸馏实现持续学习

12. [自蒸馏实现持续学习

    论文

    HyperAI](https://hyper.ai/en/papers/2601.19897)

13. 自蒸馏实现持续学习

14. [自蒸馏实现持续学习[pdf]

    HackerNews](https://news.ycombinator.com/item?id=48165265)