2005年にはなぜGPT-2のようなAIが存在しなかったのか？ハードウェアは十分だったのに

想像してみてください。私たちが今毎日使っているスマートなAIアシスタントが、もし20年前の2005年に既に存在していたらどうなっていたでしょうか？朝起きてコンピュータをつけるなりAIに「昨日のニュースを要約して」と伝え、AIがテキパキと答えてくれる世界です。

驚くべきことに、技術的に計算してみると2005年のコンピューティング能力でも、OpenAIの言語モデルであるGPT-2を学習させることは十分に可能でした。参考資料 8, 参考資料 13。しかし、なぜ私たちは2019年になってようやくこのモデルに出会うことができたのでしょうか？ハードウェアが問題ではなかったのなら、一体何が不足していたのでしょうか？

なぜこれが重要なのか？

この問いは、単に過去を振り返るものではありません。私たちはしばしば「AIはなぜこれほど発展が遅かったのか？」あるいは「これからなぜこれほど急速に発展するのか？」という疑問を抱きます。GPT-2が2005年に登場しなかった理由を知ることは、技術の発展が単に機械の力（ハードウェア）だけで決まるのではなく、適切なアルゴリズムと投資が組み合わさった時に初めて現実のものとなるという事実を教えてくれます。

簡単な例え：料理の材料とレシピの関係

こう例えてみましょう。美味しい料理を作るには巨大な厨房（ハードウェア）も重要ですが、何よりも素晴らしい「レシピ（アルゴリズム）」が必要です。2005年当時のスーパーコンピュータ「BlueGene/L」は、世界で最も広く華やかな厨房を持っていたようなものです。実際にこの厨房を活用すれば、GPT-2という料理を完成させるのに約41日で十分でした。参考資料 8。

しかし当時の料理人たちには、最も重要な「Transformer（文中の単語間の関係を把握するAI構造）」というレシピがありませんでした。参考資料 8。また、モデルを効率的に学習させる「Adam最適化（Adam optimization、AIの学習速度を向上させる技術）」のような手法も世に出ていませんでした。最高の厨房に最新のオーブンまで全て揃えておきながら、どんな材料を入れてどう料理すべきか分からず迷っていたようなものです。

現在の状況：なぜ今になって注目されているのか？

GPT-2は2019年になってようやくOpenAIによって正式に公開されました。参考資料 12。当時800万のウェブページデータを学習したこのモデルは世界を驚かせましたが、実際には初期の頃、多くの人々はこれを「面白いが使い道は半分ほど足りないおもちゃ」程度に考えていました。参考資料 11。

当時のAI研究は今日のように巨大な投資を受ける分野ではなく、むしろ「似非科学」に近い扱いを受けることもありました。参考資料 7。投資家たちはAIよりも、当時規制問題で頭を悩ませていた分野や核兵器関連の研究にコンピューティングリソースを注ぎ込んでいたのです。参考資料 7。技術的な土台だけでなく、社会的な関心と資本の流れが、AIという花を咲かせるにはまだ寒い冬だったと言えます。

今後はどうなるか？

今日、私たちは1兆5千億を超えるパラメータ（AIがデータを処理する際に調整する数値）を持つモデルが登場する時代を生きています。現在AIモデルは、学習に約1.9 × 10²⁰から2.5 × 10²¹ FLOPs（コンピュータの演算回数単位）という天文学的な計算を実行します。参考資料 6, 参考資料 9。

今後は単により大きなコンピュータを作ることよりも、いかに少ないリソースでより賢い結果を出すかという研究がさらに活発になるでしょう。新しいモデルが出るたびに私たちは「性能対価格」がどう変化するかを見守り、それに合わせて私たちの日常をどう変えるべきか悩み続けることになります。参考資料 10。

MindTickleBytesのAI記者の視点

2005年の技術でも可能だったことを2019年まで待たなければならなかった理由は、結局のところ、技術とは機械が作るものではなく、人間の好奇心とその好奇心を支える社会的な土壌が共に作り上げるものだということを改めて実感させます。今私たちが目にしている技術の発展もまた、今すぐのハードウェア能力よりは、今後私たちがどのような方向で研究の火種を灯し続けるかにかかっています。

参考資料

1. GPTImage2(ChatGPT Images2.0): Free Online, No Sign-up
2. He Asked ChatGPTOne Question and ItGetsDisturbingly… - YouTube
3. ChatGPT Images2.5 — бесплатный ИИ-генератор и редактор фото
4. FreeGPTImage2Online ｜AI Image Generator… - Img Creator AI
5. ChatGPT Images2.0: Try AI Image Generation
6. Why didn’t we get GPT-2 in 2005? - hn.today
7. Why didn’t we get GPT-2 in 2005? : r/mlscaling - Reddit

8. [Why didn’t we get GPT-2 in 2005?

   Hasty Briefs](https://hb.int2inf.com/en/s/item/T4BcbcDVfviZ83kREhv9Xp-why-no-gpt2-in-2005)

9. Why didn’t we get GPT-2 in 2005? - Substack
10. Why didn’t we get GPT-2 in 2005? - hoton.ai
11. Why didn’t we get GPT-2 in 2005? : r/slatestarcodex - Reddit
12. GPT-2 - Wikipedia

13. [Why didn’t we get GPT-2 in 2005?

    Itai Katz - LinkedIn](https://www.linkedin.com/posts/itaijkatz_why-didnt-we-get-gpt-2-in-2005-activity-7266848522186932224-deGR)