大模型训练成本飙升，千亿模型将亮相

Anthropic 首席执行官 Dario Amodei 在In Good Company 播客中表示目前正在开发的人工智能模型的训练成本高达 10 亿美元。目前的模型（如 ChatGPT-4o）仅花费约 1 亿美元，但他预计，训练这些模型的成本将在短短三年内上升至 100 亿美元甚至 1000 亿美元。

---

“目前是 1 亿。如今训练的模型数量可能超过 10 亿。” Amodei 还补充道，“我认为如果我们达到 100 亿或 1000 亿，我认为这将在 2025 年、2026 年或 2027 年实现，并且算法改进和芯片改进将继续保持一定速度，那么我认为到那时我们很有可能能够获得在大多数事情上都比大多数人类更好的模型。”

Anthropic 首席执行官在讨论人工智能从生成式人工智能（如 ChatGPT）发展到通用人工智能 (AGI) 时提到了这些数字。他说，我们不会突然达到通用人工智能。相反，这将是一个渐进的发展过程，模型建立在过去模型的发展之上，就像人类儿童的学习方式一样。

因此，如果 AI 模型每年的性能提高十倍，我们可以合理地预期训练它们所需的硬件的性能也会至少提高十倍。因此，硬件可能是 AI 训练中最大的成本驱动因素。早在 2023 年，就有报道称ChatGPT 需要超过 30,000 个 GPU，Sam Altman 证实 ChatGPT-4 的训练成本为 1 亿美元。

去年，有超过 380 万个 GPU 被交付到数据中心。鉴于 Nvidia 最新的 B200 AI 芯片售价约为 30,000 至 40,000 美元，我们可以推测 Dario 的十亿美元估值将在 2024 年实现。如果模型/量化研究的进步以当前的指数级增长，那么我们预计硬件需…

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。