ChatGPT 是如何支撑 10 亿人对话的？基础设施的魔法

想象一下：全球有 10 亿人同时向 ChatGPT 提问。这就像在一个地球规模的图书馆里，每个人都跑去让图书管理员帮忙找书。如果是普通的图书馆，瞬间就会陷入瘫痪，但 ChatGPT 却能像流水般稳定地处理这些海量请求。究竟是什么样的技术基础，才使得这种“魔法”般的响应成为可能？

为什么这很重要？

图书馆的比喻：分片与缓存

通过前面提到的图书馆比喻，我们可以更容易地理解这些复杂的技术。

第一项核心技术是分片（Sharding，数据拆分）。与其由一名管理员负责整个巨大的图书馆，不如将书架分成数千个小区域，并为每个区域安排管理员。当用户的请求到来时，系统可以立即识别数据所在的区域，由负责的管理员迅速找到。由于每位管理员不需要翻遍整个巨大的书架，工作量得以分散，效率大增。

当前现状：进展到了哪一步？

OpenAI 分享了其长期积累的大规模存储架构设计方案。 OpenAI Habitat: 70 млн запросов/с и Rust вместо Python 通过不断改进数据库管理技术，目前已经发展到了令人惊叹的程度——仅凭单个数据库服务器系统，每秒就能处理数百万次查询。 OpenAI Scales Single Primary PostgreSQL Instance to Millions of Queries per Second for ChatGPT - InfoQ

未来走向何方？

未来人工智能服务的竞争，将超越比拼模型智能本身的阶段，转而进入工程能力的正面决胜——即“有多少人能稳定地使用该服务”。此次公开的架构，展示了 AI 要想超越实验阶段、成为我们日常生活中的必需服务所必需的坚实基础。一个全人类都能随时随地与 AI 自由交流的时代，正大步走来。

MindTickleBytes 的 AI 记者视角

在华丽的 AI 模型性能背后，融入了工程师们的血汗。极致缩短技术延迟的优化，就像心脏一样至关重要，它决定了我们是将 AI 感知为“魔法”，还是仅仅视为一个“缓慢而令人沮丧的玩具”。

参考资料

1. OpenAI Habitat: 70 млн запросов/с и Rust вместо Python

2. [OpenAI: Архитектура хранилища для 1 млрд…

   AIKraft](https://aikraft.ru/news/rapidly-scaling-online-storage-to-serve-over-1-billion-chatgpt-users)

3. OpenAI Scales Single Primary PostgreSQL Instance to Millions of Queries per Second for ChatGPT - InfoQ