2005年时为什么没有像GPT-2这样的AI？硬件明明已经足够了

想象一下：如果我们今天每天使用的智能AI助手在20年前的2005年就已经存在，会是什么样？早上起床打开电脑，就能对AI说“给我总结一下昨天的简讯”，而AI能对答如流的世界。

令人惊讶的是，从技术层面计算，2005年的计算能力完全足以训练OpenAI的语言模型GPT-2 参考资料 8, 参考资料 13。然而，为什么我们直到2019年才见到这个模型？如果硬件不是问题，那到底缺了什么？

为什么这很重要？

这个问题不仅仅是在回顾历史。我们经常会产生这样的疑问：“AI的发展为什么这么慢？”或者“为什么它未来会发展得如此迅速？”了解GPT-2为什么没能在2005年问世，能让我们明白：技术进步不仅仅取决于机器的力量（硬件），只有当合适的算法与投资相结合时，它才能成为现实。

简单来说：食材与菜谱的关系

我们可以这样类比：烹饪美味佳肴不仅需要巨大的厨房（硬件），更需要绝妙的“菜谱（算法）”。2005年当时的超级计算机“BlueGene/L”可以说拥有全世界最宽敞、最华丽的厨房。事实上，如果利用这个厨房，完成GPT-2这道“大餐”大约只需要41天 参考资料 8。

但当时的厨师们缺少最重要的“菜谱”——Transformer（一种能够识别句子中词语之间关系的AI结构） 参考资料 8。此外，能够高效训练模型的“Adam优化器（Adam optimization，一种提升AI训练速度的技术）”等技术也尚未问世。这就像是拥有一间配有顶级烤箱的最先进厨房，却不知道该放什么食材、如何烹饪一样。

现状：为什么现在才受到关注？

GPT-2直到2019年才由OpenAI正式发布 参考资料 12。当时，学习了800万个网页数据的这个模型震撼了世界。但实际上，初期很多人仅仅将其视为一个“有趣但实用性不足的玩具” 参考资料 11。

当时的AI研究不像今天这样受到巨额投资，甚至有时被视为“伪科学” 参考资料 7。投资者们更愿意将计算资源投入到当时因监管问题而头疼的领域或核武器相关研究中 参考资料 7。不仅是技术基础，当时的社会关注度和资金流向对于AI这朵花的绽放来说，仍处于寒冬。

未来会怎样？

如今，我们生活在参数（指AI处理数据时调节的数值）超过1.5万亿的模型频频登场的时代。现在，AI模型在训练中执行着约 1.9 × 10²⁰ 到 2.5 × 10²¹ 次FLOPs（计算机运算次数单位）的天文数字级计算 参考资料 6, 参考资料 9。

未来，关于“如何用更少的资源获得更智能的结果”的研究将比单纯制造更大的计算机更为活跃。随着每一个新模型的出现，我们都需要观察其“性能价格比”如何变化，并思考如何据此改变我们的日常生活 参考资料 10。

MindTickleBytes AI记者的视点

2005年的技术就能做到的事却要等到2019年，这再次提醒我们：技术并非由机器创造，而是由人类的好奇心以及支持这些好奇心的社会土壤共同孕育。我们目前所见到的技术进步，也同样取决于我们未来以何种方向点燃研究的火种，而非仅仅取决于当下的硬件能力。

参考资料

1. GPTImage2(ChatGPT Images2.0): Free Online, No Sign-up
2. He Asked ChatGPTOne Question and ItGetsDisturbingly… - YouTube
3. ChatGPT Images2.5 — бесплатный ИИ-генератор и редактор фото
4. FreeGPTImage2Online ｜AI Image Generator… - Img Creator AI
5. ChatGPT Images2.0: Try AI Image Generation
6. Why didn’t we get GPT-2 in 2005? - hn.today
7. Why didn’t we get GPT-2 in 2005? : r/mlscaling - Reddit

8. [Why didn’t we get GPT-2 in 2005?

   Hasty Briefs](https://hb.int2inf.com/en/s/item/T4BcbcDVfviZ83kREhv9Xp-why-no-gpt2-in-2005)

9. Why didn’t we get GPT-2 in 2005? - Substack
10. Why didn’t we get GPT-2 in 2005? - hoton.ai
11. Why didn’t we get GPT-2 in 2005? : r/slatestarcodex - Reddit
12. GPT-2 - Wikipedia

13. [Why didn’t we get GPT-2 in 2005?

    Itai Katz - LinkedIn](https://www.linkedin.com/posts/itaijkatz_why-didnt-we-get-gpt-2-in-2005-activity-7266848522186932224-deGR)