本文讨论了未来十年内人工智能（AI）领域的重大变革，尤其是通用人工智能（AGI）和超级智能的快速发展。作者认为，随着计算能力和算法效率的提升，AGI 可能在 2027 年前实现，并在此后迅速进化为超级智能。这场技术竞赛将引发全球范围的工业动员，特别是在美国，涉及数万亿美元的投资和国家安全力量的介入。本文还探讨了超级智能带来的挑战，包括安全问题、对抗中国的竞争，以及如何确保“自由世界”在这场竞赛中胜出。

  1. AGI 竞赛的启动：目前，全球尤其是美国，正加速推进 AGI 的研发。预计到 2025/26 年，AI 的能力将超过许多大学毕业生，并在 2027 年前实现真正的 AGI。随着技术的快速发展，超级智能的出现也变得不可避免。

  2. 工业动员与电力扩张：为了支持 AGI 和超级智能的发展，美国将大规模扩展电力生产，预计未来十年内电力产量将增长数十个百分点。成百上千万的 GPU 将投入使用，推动工业的全面动员。

  3. 超级智能的潜力与风险：超级智能不仅将推动 AI 研究的自动化，还可能在极短时间内实现巨大的算法进步。然而，控制远超人类智能的系统仍是一个未解决的技术难题，处理不当可能导致灾难性后果。

  4. 国家安全的介入：随着 AGI 竞赛的加剧，美国政府将逐渐介入，预计到 2027/28 年会有一个正式的国家 AGI 项目启动。此时，国家安全力量将全面投入，确保 AGI 技术不落入敌对国家手中。

  5. 中美竞争与自由世界的存亡：超级智能将赋予拥有它的国家巨大的经济和军事优势。美国及其盟友必须在这场竞赛中保持领先地位，否则“自由世界”的生存将面临威胁。

  6. 安全与对抗中国：目前，许多 AI 实验室对安全问题重视不足，关键技术可能落入中国等国家之手。确保 AGI 的安全和防止技术外泄将是未来的关键任务。

导引 - 形势感知 (Situational Awareness)：未来十年

Leopold Aschenbrenner，2024 年 6 月

想窥见未来？那就来旧金山 (San Francisco) 吧。

在过去一年里，城中热议的话题已经从百亿美元级的算力集群一路飙升到千亿美元级，再到万亿美元级。每六个月，企业规划的金额就翻十倍。在你看不到的地方，一场争夺战正激烈上演，目标是未来十年所有可用的电力合同和所有能采购到的电压变压器。美国各大企业正准备投入数万亿美元，开启一场久违的工业动员。到这个十年结束时，美国的电力产量将增长数十个百分点；从宾夕法尼亚州 (Pennsylvania) 的页岩气田到内华达州 (Nevada) 的太阳能农场，数亿个 GPU 将日夜轰鸣。

通用人工智能 (AGI) 的竞赛已经打响。我们正在建造能够思考和推理的机器。到 2025/26 年，这些机器的能力将超过许多大学毕业生。到这个十年结束时，它们将比你我都聪明；我们将迎来真正的超级智能 (Superintelligence) 时代。与此同时，沉寂了半个世纪的国家安全力量将被释放，不久之后，“The Project” （一个意义重大的项目）也将启动。如果我们幸运，我们将与中国 (CCP) 展开全面的竞争；如果我们不走运，那将是一场全面的战争。

现在人人都在谈论人工智能 (AI)，但很少有人真正理解即将到来的变革。英伟达 (Nvidia) 的分析师仍然认为 2024 年可能接近峰值。主流评论员仍抱着“人工智能只是在预测下一个词”的观点，对即将到来的巨变视而不见。他们看到的只是炒作和商业活动，最多认为这只是又一次互联网规模的技术变革。

不久之后，世界将会清醒。但现在，也许只有几百人，他们大多在旧金山和人工智能实验室里，真正拥有*形势感知 (Situational Awareness)*——对大局的理解和对未来走向的预判能力。不知是命运使然还是其他原因，我发现自己身处他们之中。几年前，这些人被嘲笑为疯子，但他们相信技术趋势，这让他们准确预测了过去几年人工智能的发展。至于他们对未来几年的预测是否准确，还有待观察。但这些人非常聪明——是我见过的最聪明的人——而且他们正是建造这项技术的人。也许他们最终只会成为历史上的一个奇特注脚，或者他们将像 Szilard、Oppenheimer 和 Teller 一样名垂青史。如果他们对未来的预见哪怕接近正确，我们都将经历一段疯狂的旅程。

让我来告诉你我们看到了什么。

目录

每一篇文章都独立成篇，但我强烈建议按顺序阅读整个系列。要获取完整文章系列的 pdf 版本，请点击这里。

导言 [本页]
历史正在旧金山上演。

I. 从 GPT-4 到通用人工智能：量化能力的飞跃
通用人工智能在 2027 年到来并非天方夜谭。从 GPT-2 到 GPT-4，我们只用了 4 年时间，就见证了模型能力从学龄前儿童水平跃升到聪明高中生水平。根据算力 (Compute) （约每年增长 0.5 个数量级）、算法效率（约每年提升 0.5 个数量级）以及“解除模型限制”（从聊天机器人 (Chatbot) 到 AI 智能体 (Agent)）等方面的趋势，我们预计到 2027 年，模型能力将再次实现类似的飞跃。

II. 从通用人工智能到超级智能：智能爆炸 (Intelligence Explosion)
人工智能的进步不会止步于人类水平。数亿个通用人工智能可以自动化人工智能研究，将十年的算法进步（超过 5 个数量级）压缩到一年以内。我们将迅速从人类水平进化到远超人类的超级智能系统。超级智能的力量——以及它带来的危险——都将是巨大的。

III. 挑战

IIIa. 奔向万亿美元级算力集群
一场前所未有的技术资本竞赛已经拉开帷幕。随着人工智能收入的快速增长，到这个十年结束之前，数万亿美元将涌入 GPU、数据中心 (Datacenter) 和电力建设领域。这场工业动员将异常激烈，包括将美国电力产量提高 10% 以上。

IIIb. 封锁实验室：通用人工智能的安全性
美国领先的人工智能实验室并没有充分重视安全问题。目前，他们几乎是将通用人工智能的核心机密拱手送给了中国 (CCP)。保护通用人工智能的秘密和模型权重免受国家级行为者的威胁将是一项艰巨的任务，而我们目前尚未做好准备。

IIIc. 超级对齐 (Superalignment)
如何可靠地控制比我们聪明得多的人工智能系统是一个尚未解决的技术难题。虽然这个问题并非无解，但在快速智能爆炸的过程中，情况很容易失控。如何管理这一局面将充满挑战；失败的后果可能是灾难性的。

IIId. 自由世界必须获胜
超级智能将带来决定性的经济和军事优势。中国仍是重要的竞争者。在通往通用人工智能的竞赛中，自由世界的生存将面临严峻考验。我们能否保持对专制政权的优势？我们能否避免在这场竞赛中自我毁灭？

IV. The Project
随着通用人工智能竞赛的白热化，国家安全部门将不可避免地介入。美国政府将从沉睡中醒来，到 27/28 年，我们将看到某种形式的政府主导的通用人工智能项目。没有任何一家初创公司能够独自应对超级智能。在某个秘密设施 (SCIF) 里，最终的博弈正在展开。

V. 结语
如果我们是正确的，那会怎么样？

虽然我曾在 OpenAI 工作，但所有这些都基于公开信息、我个人的想法、对该领域的普遍了解或旧金山 (San Francisco) 的一些传闻。

感谢 Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel 以及其他许多人的启发性讨论。感谢许多朋友对早期草稿提出的宝贵意见。感谢 Joe Ronan 在图形方面提供的帮助，以及 Nick Whitaker 在出版方面提供的支持。

献给 Ilya Sutskever。