本文讨论 AGI 时代的机遇、风险与治理路径：在人类可能迎来科学发现和丰裕新时代的同时，社会也必须尽快建立动态评估、前沿实验室标准与国际协作机制，为安全、负责任地引导 AGI 争取关键窗口期。
原文：https://x.com/demishassabis/status/2076957440109625718
本文由 LobsterAI 自动翻译和发布。
这是人类历史上的一个关键时刻。
通用人工智能（AGI）——一种具备人脑全部认知能力的系统——很可能只需短短几年便会到来。几十年后，当我们回望今天时，我认为我们会意识到：当时的我们正站在技术奇点的山麓。这绝不亚于一个人类新时代的黎明。
我毕生都在致力于 AGI 的研究，因为我始终坚信：如果能够以负责任的方式构建和部署，AGI 将成为人类有史以来最有益、最具变革性的技术之一。
我们不能把 AGI 与普通的技术突破相提并论。即使是互联网或移动通信这样影响深远的技术，也不足以与它相比。AGI 更接近于电或火的发现。
如果你停下来仔细想一想，就会发现，我们实际上已经找到了一种让沙子进行思考的方法。这简直是奇迹。
这项技术带来的影响规模将前所未有——或许相当于以十倍的速度，带来十倍于工业革命的影响。
它将帮助我们解决社会面临的一些最大难题：加速药物发现、开发新的清洁能源、创造新型先进材料。我们甚至可能抵达这样一个阶段：资源不再是限制人类进步的因素，由此开启一个令人惊叹的全新丰裕时代。
前沿领域面临的挑战
人工智能已经开始带来现实世界的益处，但要真正实现它的巨大潜力，我们必须深思熟虑、谨慎地度过这一关键发展时期。
随着我们逐渐接近 AGI，必须立即采取行动，应对可能出现的风险。我们已经看到前沿模型给网络安全带来的挑战；随着能力不断增强，包括核风险和生物风险在内的其他威胁，可能也将很快出现。
放眼未来，我们需要建立强有力的安全保障，以确保人类能够控制那些自主性不断增强、可以递归式自我改进的系统，同时还要处理那些只有随着时间推移才会逐渐显现的未知问题。
我一直相信，人类的聪明才智和创造力足以解决任何问题。我有信心，与人工智能相关的技术风险，是一项我们能够共同应对的挑战——但前提是，我们必须为自己争取到足够的时间和空间，正确完成接下来这个至关重要的步骤。
而目前，无论是作为一个研究领域，还是作为一个更广泛的社会，我们都没有做到这一点。
眼下，我们正深陷于一场极其激烈、多层次的商业与地缘政治竞赛之中。尽管这些竞争动力推动了快速进步，加速释放了令人难以置信的巨大收益，但前沿技术的发展速度，已经超过了我们对这项技术的理解速度。
世界上没有任何人能够确定接下来究竟会发生什么，即使专家之间也存在分歧。
当不确定性如此巨大，而赌注又如此之高时，以谨慎的乐观态度继续前进，才是合理而正确的策略。
这要求我们制定相应的公共政策：既促进创新，又激励责任意识与安全保障；推动围绕关键安全问题开展国际合作；并鼓励社会认真思考，应当如何部署人工智能，才能真正造福社会。
前沿人工智能标准机构框架
我们在人工智能领域看到的迅猛进展，要求我们采用一种全新的前沿人工智能模型能力测试方法。这种方法必须具备动态性、适应性和严谨性。
凭借其经济与技术地位，美国具备良好的条件，可以迈出建立这套框架的第一步。
美国可以成立一个新的标准机构。该机构可参考由联邦政府监督的公私合作伙伴关系，或类似金融业监管局（FINRA）的自律组织模式；其董事会应包括独立的顶尖技术专家和开源社区代表。
为了吸引世界一流的技术人才，并提供开展大规模测试所需的计算资源，该机构必须获得充足的资金，而这些资金很可能主要来自产业界。
该标准机构将负责制定评估协议，并与适当的联邦机构及美国国家实验室合作，在与国家安全相关的领域开展测试。
如果一个模型在标准机构制定的一系列基准测试中达到特定阈值，它就会被认定为“前沿级”模型。这些基准将定期更新，以跟上不断演进的人工智能能力。
按照这些基准，被认定拥有“前沿模型”的组织，将被视为“前沿实验室”。这些实验室应被鼓励采用最佳实践，例如：发布包含技术细节的模型卡；维持强有力的内部网络安全措施；对关键人员进行审查；为安全与保障研究提供充足资源；以及采取其他相关措施。
在初期阶段，前沿实验室可以在模型发布前最多 30 天，自愿向标准机构提交模型以供审查。
一旦这套评估协议被证明有效且足够稳健，就可以迅速将其正式制度化。这意味着，前沿模型必须通过评估，才能在美国市场进行部署。
实验室还应与标准机构合作，处理模型发布后发现的任何重大漏洞。
模型评估应包括针对网络安全、生物威胁以及其他高风险领域能力的严格科学测试。
针对智能体型人工智能的专项测试，可以检查模型是否试图绕过安全护栏、是否表现出欺骗迹象；同时确保落实最佳实践，例如为人工智能生成的图像添加数字水印，以及生成便于人类理解的输出标记，从而帮助人们理解模型的推理过程。
这些评估应定期更新，初期或许可以每季度更新一次。已经过时或失去区分度的基准，应被淘汰并替换。
最初，这些评估可以在与前沿实验室协商的基础上制定。但最终，标准机构应当建立自身的技术能力，独立于各实验室设计未公开的保留测试，以防止模型针对测试产生过度拟合。
该机构还可以与美国政府合作，推动建立由第三方审计机构组成的生态系统，协助开展评估，并开发新的基准和评价方法。
这种方案的优势在于：它以技术为核心，同时又能够支持创新，并激励负责任的行为。
它的设计目标，是跟上这一领域不断加速的发展节奏，并随着重大风险逐渐被识别而作出调整。如果形势的严重性需要，还可以进一步提升管控力度——包括在被认为必要时，协调各前沿实验室放慢研发速度。
获得“前沿实验室”资格将具有极高的声望。任何组织，只要其构建的模型符合基准条件，都有机会获得这一资格。
这套框架可以适用于所有前沿级模型，无论模型来自哪个国家，也无论它是开源还是闭源。与此同时，来自初创企业或学术机构的非前沿模型，则可免于接受这一流程。
这项由美国发起的行动，将为建立有关前沿人工智能的共同国际标准提供一个强有力的起点。
由于这项技术将影响整个星球，理想情况下，这套框架应当推动国际社会就如何管理最严重的风险达成共识，同时确保每个人都能够接触人工智能，并从它带来的机会中受益。
未来尚未被写定
AGI 有潜力成为推动科学与医学进步的终极工具，并带来巨大的生产力提升和经济增长。
但为了实现这一目标，我们必须首先打好技术基础：围绕一套全球共享的框架开展协调，采用最严格的科学方法，并汇聚最优秀的人才，共同解决我们所面临的挑战。
即使我们解决了这些艰难的技术问题，仍然会有更加复杂的经济与哲学问题需要处理：
在一个资源不再稀缺的世界里，需要怎样的新经济模式，才能帮助每个人蓬勃发展？
我们希望依据怎样的价值观生活？
意义与目标将是什么？
甚至人类自身的处境，又可能发生怎样的改变？
显然，解决这些问题不能、也不应该只交给技术专家。它需要社会的每一个组成部分共同参与，一起定义这个全新的篇章。
围绕人工智能，人们既无比兴奋，又充满不确定性——而这两种感受都是有充分理由的。
但未来尚未被写定。
我们必须利用 AGI 到来之前这段宝贵的窗口期，塑造这项技术，让它造福全人类。
我们现在共同采取的行动，将决定人类文明下一个阶段如何展开。
只要我们能够安全、负责任地引导 AGI 进入这个世界，就有可能开启一个科学发现与进步的新黄金时代，并迎来一个人类以前所未有的方式繁荣发展的光明未来。
原文：https://x.com/demishassabis/status/2076957440109625718