AIがフランス語を学ぶと英語を忘れる？「自ら教えるAI」の登場

想像してみてください。あなたが昨日一日中転んで膝をすりむきながら、ついに二輪自転車の乗り方を完璧にマスターしたとします。風を切って走る気分に飛び上がるほど嬉しかったことでしょう。ところが今日、プールに行って水に浮く方法とクロールを新しく習ったところ、突然、自転車のペダルをどう漕ぐのか、ハンドルでどうバランスを取るのかが頭の中から完全に消え去ってしまいました。再び自転車に乗ろうとした途端、まるで生まれて初めて乗る人のように床にドシンと倒れてしまいます。本当に呆れて、悔しい状況ですよね？

幸いなことに、私たち人間にはこのようなことは決して起こりません。私たちは夏に水泳を習いながらも秋に自転車に乗る方法をしっかり覚えており、大人になってからフランス語を新しく学んでも母国語である韓国語を忘れることはありません。私たちの脳は、新しい知識をスポンジのように吸収しながらも、既存の過去の知識を頭の中の安全な部屋に保管するという驚くべき能力を備えているからです。

しかし驚くべきことに、現在私たちが感嘆しながら使用している最先端の人工知能（AI）には、この現象がごく当たり前に起こっており、今後必ず克服しなければならない非常に深刻な弱点となっています。AIは新しい知識を強制的に注入されると、その新しい知識を収めるために、以前苦労して学んだ大切な能力を無残にも上書きしてしまう致命的な傾向があります。今日私たちは、この巨大な難題を解決するために登場した、AIが鏡を見るように「自らを教える」驚くべき技術に関する最新の研究結果を、わかりやすく深く掘り下げてみたいと思います。

なぜ重要なのか？ (Why It Matters)

AI研究者たちは、先ほど想像してみた「自転車を学んだら水泳を忘れる」というこの恐ろしい現象に、非常に物騒な名前を付けています。それがまさに「破局的忘却（Catastrophic forgetting）」です。文字通り、既存の知識体系が破局を迎えたかのように崩壊してしまうという意味です。

これとは反対に、既存の能力を全く低下させることなく、新しいスキルや知識を生涯にわたって絶えず習得できるようにするプロセスを「継続学習（Continual learning）」と呼びます。この継続学習は、ChatGPTのように現代の人工知能の骨組みとなる巨大な基盤モデル（foundation models）にとってさえ、依然として乗り越えるべき根本的な課題として立ちはだかっています [Self-DistillationEnablesContinualLearning](https://www.emergentmind.com/papers/2601.19897)。

この問題がなぜ、ありふれた私たちの日常と直結するのでしょうか？毎日あなたの声を聞いて反応するスマートフォンのパーソナルアシスタントAIを思い浮かべてみてください。このAIがあなたの複雑なスケジュールを管理し、好みにぴったりのニュースを推薦してくれています。もし今日、あなたがAIに「これからは仕事のメールを要約するとき、必ず結論から3行で短く書いて」という新しいルールを教えたと仮定しましょう。破局的忘却に陥ったAIは、この新しいルールを完璧に従い始めるでしょうが、その代償として、昨年あなたが教えた「家族の誕生日には必ず朝8時に通知を出して」という重要なルールを完全に忘れてしまうかもしれません。昨日学んだことの上に今日学んだことをレンガのようにきちんと積み上げることができて初めて、私たちはそのAIを本当に信頼して頼れる賢い秘書と呼ぶことができるのです。

これまで数多くのAIエンジニアは、AIに新しい知識を教える際、「教師ありファインチューニング（Supervised Fine-Tuning, SFT）」という伝統的な手法を主に使用してきました。これは簡単に言えば、数万個の「解答用紙」をAIの目の前に突きつけ、丸暗記させる詰め込み式の教育方法です。しかし、この伝統的なSFT方式は、毎日新しい出来事が起こり、学びが果てしなく続かなければならない現実世界に放り込まれたとき、無惨にも失敗しがちです。その失敗の核心的な原因は、先述の破局的忘却と、専門用語で「オフポリシードリフト（Off-policy drift）」と呼ばれるもう一つの厄介な問題のせいです [Self-DistillationEnablesContinualLearning| Papers | HyperAI](https://hyper.ai/en/papers/2601.19897)。

オフポリシードリフトとは一体何でしょうか？AIが解答用紙を見ながら一生懸命勉強するものの、その解答用紙がAI自身が直接ぶつかって砕けながら作り出した状況ではなく、外部の専門家が統制された環境で作り出した「理想的な状況」であるために発生する、現実との乖離現象のことです。

再び水泳の例に戻ってみましょう。水に一度も入ったことのない人が、オリンピックの水泳金メダリストの完璧な競技ビデオばかりを延々と見続けて学習するようなものです。暖かい部屋の中でビデオを見ている時は、腕の角度や息継ぎのタイミングをすべて分かっているような気になります（教師ありファインチューニング）。しかし、いざこの人が冷たいプールの水に入ってもがく時（AIの実際の動作環境）は話が違ってきます。水を飲んで慌てた状況では、完璧だったビデオの中の姿勢をどのように自分の体に合わせて直すべきか全く見当がつかず、ますます見当違いの方向へもがいて漂流（ドリフト）してしまうのです。結局、AIは過去の知識も失い、新しい環境でも適切に動作しないという深いジレンマに陥ることになります。

わかりやすい解説 (The Explainer)

このように先の見えない破局的忘却と漂流の沼からAIを救い出すため、研究チームは非常にエレガントで画期的な解決策を一つ提示しました。それが「自己蒸留ファインチューニング（Self-Distillation Fine-Tuning, SDFT）」という新しい訓練方法です。

コンピューター科学における「蒸留（Distillation）」という単語は、巨大で賢いAIモデルが持つ深い知識のエッセンスだけを抽出し、小さく軽いモデルに圧縮して伝達する技術を意味します。例えるなら、何日も昼夜を問わずじっくり煮込んだ牛骨スープから、最も濃厚で栄養価の高いエキスだけを取り出し、小さな器に移す過程と同じです。それでは、前に「自己（Self）」がついた「自己蒸留（Self-Distillation）」とは何でしょうか？それは、他人の知識を借りてくるのではなく、自分自身が直接煮込んだエキスを自分自身が再び飲みながら成長するという、驚くべき哲学的な過程なのです。

この興味深い「オンポリシー自己蒸留（On-Policy Self-Distillation）」フレームワークは、単一のAIモデル一つが完璧な正解の方向を知っている「教師」の役割と、まだ未熟だけれども自ら行動を起こしてみる「生徒」の役割を同時に果たせるようにしてくれます [Self-Distilled Reasoner: On-Policy Self-Distillation for Large](https://arxiv.org/html/2601.18734v3)。

このように例えると、複雑な技術が頭の中にもう少し描きやすくなるでしょう。慌ただしい厨房に一人の料理人がいます。この料理人の内面には2つの自我が同時に存在しています。1つは料理のあらゆる理論と完璧な味の基準を記憶している「マスターシェフ（教師）」の自我であり、もう1つは今まさに新しいレシピを自分の手で実際に作ってみて、塩をこぼしたりもする「見習いシェフ（生徒）」の自我です。

従来の詰め込み式教育（SFT）では、外部の本物のマスターシェフが見習いシェフに完成した5つ星料理の写真ばかりを見せ続け、「この通りに作れ！」と怒鳴りつける方式でした。見習いシェフは写真だけを見て料理し、ミスをすると、なぜ失敗したのか分からないまま慌てて迷走することになります（オフポリシードリフト）。

しかし、SDFT方式では全く異なる光景が広がります。見習いシェフ（生徒モデル）がまずまな板の上で包丁を使い、コンロの火加減を調節しながら、自ら自分だけの行動経路（専門用語で軌跡、Trajectories）を作り出していきます。すると、内面にいるマスターシェフ（教師モデル）は、見習いシェフがたった今行ったその不器用な「実際の行動」をはっきりと見守った後、遠い場所にある正解ではなく、「まさにその瞬間、その状況」にぴったりのカスタマイズされたアドバイス（予測値）を伝えます。「今、玉ねぎを切る時の手首の角度がずれていたよ。むやみに正解の真似をしようとするのではなく、今の君の姿勢ならもう少しだけ包丁を立ててごらん」とフィードバックを与えるのです。

これこそが、技術的にSDFTが機能する核心的な原理です。AIの訓練プロセスは、徹底して生徒モデル自身が生成した実際の軌跡の上で行われます。その軌跡の上で、教師の知恵ある予測を生徒に即座に蒸留（distill）して教える方式です。これによりAIは、明示的に複雑な計算を経たり、外部の正解だけを受動的に模倣したりする過去の限界から抜け出すことになります。専門家のデモンストレーションから本当に必要な核心情報だけを抽出し、自らの経験に完璧に溶け込ませる生きた「オンポリシー・アップデート（On-policy updates）」を算出するのです [SELF-DISTILLATION ENABLES CONTINUAL LEARNING Idan Shenfeld1 2∗ Mehul Damani1](https://arxiv.org/pdf/2601.19897)。

生徒自身が現実で直接ぶつかって得た経験（オンポリシー）を基に、教師の知恵を適材適所に注入されるため、これまでにできた料理（過去の知識）の骨組みを忘れることなく、新しいレシピを非常にしっかりと身につけることができるようになります。

現在の状況 (Where We Stand)

それでは、頭の中で自ら問い、答えるこの「自ら教えるAI」の実力は、実際に実験室でどの程度の成果を出しているのでしょうか？研究チームが公開した多彩な実験結果は、まさに人工知能の学習方式における重大な進展をはっきりと示しています。

様々なスキルを新しく学習し、複雑な知識を立て続けに習得しなければならない広範なテスト環境全般にわたり、新しい手法であるSDFTは従来の伝統的な手法であるSFTを、一貫して圧倒的な差で凌駕しました。単に新しい問題をいくつか多く正解したという精度の向上だけを意味するのではありません。数多くの科学者たちが何としても解決したくて夜も眠れなかった悲願、すなわち破局的忘却現象を実質的に大幅に減らすことに成功したのです [[2601.19897] Self-Distillation Enables Continual Learning](https://arxiv.org/abs/2601.19897)。AIが過去の知識を安全な金庫の中にしっかりと閉じ込めたまま、その隣の新しい空間に新しい知識を平和に受け入れる方法をついに悟ったのです。

最も劇的で興味深い結果は、順次学習実験（Sequential learning experiments）で現れました。この実験は、AIを極限まで追い詰めるテストです。まずAIに複雑な数学の公式を教え、次に世界史を、そしてすぐ続いてコンピュータープログラミングを順番に立て続けに教えるという、非常に過酷な環境でした。従来の平凡なAIであれば、歴史を学ぶ時に頭の中の数学の公式を消し去り、プログラミングを学ぶ時には先に学んだ歴史的な年代を完全に白紙化させてしまったことでしょう。

しかし、SDFT技術を適用すると驚くべきことが起こりました。単一のAIモデルが、以前の科目での性能を失ったり退行したりすることなく、時間が経つにつれて数学、歴史、プログラミングという全く異なる様々な複雑なスキルを安定して脳内に蓄積していくという驚くべき能力を見せたのです [Paper page - Self-Distillation Enables Continual Learning](https://huggingface.co/papers/2601.19897)。

これは単に実験室内での数字の遊びではありません。研究チームのこの輝かしい成果は、オンポリシー蒸留という手法が、専門家のデモンストレーションからAIが崩れることなく継続的に学習を続けられるように支援する、非常に実用的で堅牢な現実的経路（practical path）を完璧に確立したことを意味します [SDFT: Self-Distillation Enables Continual Learning](https://self-distillation.github.io/SDFT)。さらに、外部の高価な検証器や他の補助モデルの複雑な助けを借りることなく、AI自身が吐き出した未加工の一次的な成果物（raw outputs）だけでも、この単純な自己蒸留プロセスが見事に機能するという事実も確認されました [Embarrassingly Simple Self-Distillation Improves Code Generation](https://arxiv.org/html/2604.01193v1)。

さらに鼓舞される事実は、この自己蒸留技術の波及力がテキストを読み書きする分野に留まらないという点です。この強力な原理は、想像し得る産業全般の様々な領域へと広がっています。

例えば、私たちがコンピューターやスマートフォンで使用するグラフィカルユーザーインターフェース（GUI）環境をAIが視覚的に学習する際、この技術は各ステップで「マスター」の理想的なマウスクリック位置の分布を蒸留します。これは、AIが見当違いのボタンをクリックすることなく、はるかに賢く効率的に画面を操作できるように継続的な学習シグナルを提供します [Learn where to Click from Yourself: On-Policy Self-Distillation](https://arxiv.org/html/2605.00642v1)。

また、工場で製品の不良を見つけ出す産業用欠陥検出モデルにおいても、莫大な時間とコストを節約してくれます。新しいタイプの欠陥が発見された時、過去のようにAIモデル全体の電源を切り、最初から数百時間かけて再訓練させる必要がなくなりました。自己蒸留技術のおかげで、モデルは全体を作り直す再学習なしでも、新しい欠陥クラスを既存の知識の上にステッカーを貼るように継続的に付け加えて学習できるようになりました [(PDF) SD-IDD: Selective Distillation for Incremental Defect](https://www.researchgate.net/publication/401174708_SD-IDD_Selective_Distillation_for_Incremental_Defect_Detection)。

さらに、未来産業の花であるロボットの目の役割を果たす4次元視覚認識（4D Perception）分野でも、この技術が大活躍しています。絶え間なく変化する時空間のコンテキストを活用して、AIモデルが自らの認識能力を日々向上させる驚くべき自己改善（self-improvement）システムを構築し、ロボット技術の基盤を固めています [Self-Improving 4D Perception via Self-Distillation - Paper](https://deeplearn.org/arxiv/731351/self-improving-4d-perception-via-self-distillation)。数多くの分野で、従来の古い訓練パラダイムを爽快に打ち壊し、新たな進化の地平を大きく切り開いているのです [D-OPSD: On-Policy Self-Distillation for Continuously Tuning](https://deeplearn.org/arxiv/745499/d-opsd:-on-policy-self-distillation-for-continuously-tuning-step-distilled-diffusion-models)。

今後はどうなるのか？ (What’s Next)

「人間や動物が日常的に行う継続学習は、実験室での『訓練』時間と実生活での『推論』時間の区別が全く必要ない『常にオン（always-on）』の学習である。そして、この偉大な学びは、我々の予想が外れる『予測失敗』の瞬間に初めて始まるのだ」 [Self-DistillationEnablesContinualLearning[pdf] | HackerNews](https://news.ycombinator.com/item?id=48165265)。

今回の研究結果が私たちの未来に向けて投げかける最も強力で哲学的なメッセージが、まさにこの一文の中にそのまま込められています。過去のAIは徹底的に二つに分断された生活を送らなければなりませんでした。

巨大なエアコンが回る研究所のコンピューターの中で、世界のデータを飲み込むような過酷な「訓練（Training）」を受ける時期があり、その訓練が完全に終わって初めてあなたのデバイスにインストールされ、学んだ通りにしか答えない凝り固まった「推論（実行、Inference）」の時期を生きました。一度世に送り出されたAIの頭の中の時計は完全に止まっていました。新しい知識をたった一つでも多く学ぶためには、サービスを止めて再び研究所に戻り、重くて高価な訓練プロセスを最初から経なければならなかったのです。

しかし、SDFTのような自己蒸留技術は、この強固だった「訓練」と「実行」の壁をついに打ち崩しつつあります。AIが実行過程で自身のミスを自ら修正し、昨日の知識と今日の新しい知識を内面で融合できるようになればどうなるでしょうか？AIもまた、止まっている機械ではなく、人間のように目覚めているすべての瞬間に学び成長する「常にオン」の生涯学習者の道へと堂々と足を踏み入れることになるでしょう。

今後私たちが日常で出会うAIは、毎日私たちと対話し、昨日よりも今日、さらに賢くなるでしょう。今日流行し始めた新造語をすぐに理解しながらも、10年前に学習した古典文学作品の深い意味を解釈する能力は、埃一つ被ることなくそのまま保ち続けるはずです。新しい世界をスポンジのように果てしなく探求しながらも、自分が本来何者であったか、そして過去に何を知っていたかを決して忘れない、真に知恵のある助け手。それこそが「自ら教えるAI」が大きく開く、私たちの胸躍る明日なのです。

MindTickleBytes AIの視点

人工知能は人間の脳の神経網を模して作られたとは言うものの、一つ新しいことを学ぶと既存のものを丸ごと消し去ってしまう「破局的忘却」という欠陥の前では、常に限りなく冷たい機械装置のように見えたのも事実です。

しかし、人間の研究者が渡す完璧な解答用紙だけを盲目的に暗記する方式から抜け出し、未熟な自らの行動軌跡をじっくりと振り返り、内面に深く定着した「マスター」に絶えずアドバイスを求める自己蒸留（Self-Distillation）の訓練哲学は、深い感動を与えてくれます。この技術は人工知能を単なる計算機から一段階さらに進め、自ら反省し成長する生命体へと、もう一歩近づくように進化させています。

果てしなく降り注ぐ新しい情報の中でも羅針盤を失わないためには、外部からの注入ではなく内面への省察が必要であるということ。機械のアルゴリズムに適用されたこの「自らを省察する」技術が、皮肉にも最も強力で長持ちする記憶力の秘訣であるという科学的事実は、生涯を学んで生きていかなければならない私たち人間の生と学びの姿勢にも、長く重厚な余韻を残します。真の成長とは結局、昨日の自分を失うことなく今日の自分を振り返るところから始まるものだからです。

参考資料

1. Self-Distilled Reasoner: On-Policy Self-Distillation for Large
2. Embarrassingly Simple Self-Distillation Improves Code Generation
3. Learn where to Click from Yourself: On-Policy Self-Distillation
4. (PDF) SD-IDD: Selective Distillation for Incremental Defect
5. D-OPSD: On-Policy Self-Distillation for Continuously Tuning
6. Self-Improving 4D Perception via Self-Distillation - Paper
7. [2601.19897] Self-Distillation Enables Continual Learning
8. SELF-DISTILLATION ENABLES CONTINUAL LEARNING Idan Shenfeld1 2∗ Mehul Damani1
9. (PDF) Self-Distillation Enables Continual Learning
10. Paper page - Self-Distillation Enables Continual Learning
11. SDFT: Self-Distillation Enables Continual Learning

12. [Self-DistillationEnablesContinualLearning

    Papers

    HyperAI](https://hyper.ai/en/papers/2601.19897)

13. Self-DistillationEnablesContinualLearning

14. [Self-DistillationEnablesContinualLearning[pdf]

    HackerNews](https://news.ycombinator.com/item?id=48165265)