Google 在 2025年 5 月 15日 发布了 AlphaEvolve: 一款利用大型语言模型(LLMs)进行通用算法发现与优化的进化编码代理。其核心思想是结合 Gemini
模型的创造性问题解决能力和自动化评估机制,通过进化迭代的方式生成、验证并改进算法。该代理不仅能够优化现有计算流程,还能在数学等基础科学领域探索新的解决方案,展示了其在多个领域应用的广泛前景和实际价值。
核心技术与工作原理
- 驱动模型:
AlphaEvolve
由Google
的Gemini
模型系列驱动,其中Gemini Flash
用于探索广泛的创意,而Gemini Pro
则提供深度洞察和建议。 - 进化框架:
- 程序生成:
LLMs
提出实现算法解决方案的计算机程序(代码)。 - 自动化评估:系统使用自动化评估指标对生成的程序进行验证、运行和评分,客观评估其准确性和质量。
- 进化选择:基于评估结果,有前景的程序被存储并在进化算法中用于生成下一代更优的程序。
- 程序生成:
- 适用领域:特别适用于进展可以被清晰和系统化衡量的领域,如数学和计算机科学。
在 Google
计算生态系统中的应用与优化
AlphaEvolve
已被部署于 Google
的数据中心、硬件设计和软件(AI 训练)等多个方面,带来了显著效率提升。
- 改进数据中心调度:
- 为
Google
的Borg
系统发现了一种简单有效的启发式算法,用于更高效地协调庞大的数据中心。 - 该方案已在生产环境中运行超过一年,平均持续回收了
Google
全球计算资源的0.7%
。 - 生成的代码具有人类可读性,易于解释、调试、预测和部署。
- 为
- 协助硬件设计:
- 提出了一项
Verilog
代码重写建议,移除了一个高度优化的矩阵乘法算术电路中的不必要比特。 - 该提议通过了严格验证,确保了修改后电路的功能正确性,并已集成到即将推出的
Tensor Processing Unit
(TPU
) 中。
- 提出了一项
- 增强 AI 训练与推理:
- 通过优化大型矩阵乘法操作的子问题划分,将
Gemini
架构中关键核心(kernel)的速度提升了23%
,使Gemini
的训练时间减少了1%
。 - 将内核优化的工程时间从数周专家投入缩短至数天自动化实验。
- 能够优化底层
GPU
指令,在Transformer
类 AI 模型中的FlashAttention
内核实现上取得了高达32.5%
的速度提升。
- 通过优化大型矩阵乘法操作的子问题划分,将
在数学和算法发现领域的进展
AlphaEvolve
能够针对复杂数学问题提出新方法。
- 矩阵乘法:
- 设计了一个新的基于梯度的优化程序组件,发现了多种新的矩阵乘法算法。
- 找到了一个用
48
次标量乘法计算4x4
复数矩阵乘法的算法,优于此前Strassen
在1969
年提出的算法。 - 此成果超越了专门研究矩阵乘法算法的
AlphaTensor
(后者在4x4
矩阵上仅对二元算术找到改进)。
- 解决开放数学问题:
- 应用于超过
50
个数学分析、几何、组合数学和数论领域的开放问题。 - 在约
75%
的案例中,重新发现了已知的最优解决方案。 - 在
20%
的案例中,改进了先前已知的最佳解决方案。例如,在“接吻数问题”(kissing number problem)上取得进展,发现在11
维空间中一个中心单位球可以接触593
个不重叠的外部球体,建立了新的下界。
- 应用于超过
未来展望
- 持续进化:
AlphaEvolve
的能力预计将随着大型语言模型(尤其是编码能力)的进步而持续提升。 - 用户可及性:
Google
正与People + AI Research
团队合作构建用户友好的交互界面,并计划推出针对学术用户的Early Access Program
。 - 广泛应用潜力:由于其通用性,
AlphaEvolve
有望在材料科学、药物发现、可持续性以及更广泛的技术和商业应用中发挥变革性作用。
AlphaEvolve: 一个由 Gemini 提供动力的编码 AI 智能体,用于设计高级算法
2025 年 5 月 14 日
新的 AI 智能体 通过结合大型语言模型 (LLM) 的创造力与自动化评估器来演进数学和计算机应用中的高级算法
大型语言模型 (LLM) 具有非凡的多功能性。它们可以总结文档、生成代码或甚至集思广益新的想法。现在我们已经扩展了这些能力,以解决数学和现代计算领域中基础且高度复杂的问题。
今天,我们宣布推出 AlphaEvolve,这是一个由大型语言模型驱动的演进式编码 AI 智能体,用于通用算法的发现和优化。AlphaEvolve 将我们的 Gemini 模型 的创造性问题解决能力与验证答案的自动化评估器结合起来,并使用演进框架来改进最有前景的想法。
AlphaEvolve 提高了 Google 数据中心、芯片设计和 AI 训练流程的效率——包括训练支持 AlphaEvolve 本身的大型语言模型。它还帮助设计了更快的矩阵乘法算法,并为开放的数学问题找到了新的解决方案,展示了在许多领域的巨大应用前景。
使用大型语言模型设计更好的算法
2023 年,我们首次展示了大型语言模型可以生成计算机代码编写的函数,以帮助在开放的科学问题上 发现新的且可证明正确的新知识。AlphaEvolve 是一个 AI 智能体,它可以超越单个函数发现,演进整个代码库并开发更复杂的算法。
AlphaEvolve 利用了一系列最先进的大型语言模型:我们最快速高效的模型 Gemini Flash 最大化了探索想法的广度,而我们最强大的模型 Gemini Pro 则通过富有洞察力的建议提供了关键的深度。这些模型共同提出了实现算法解决方案的计算机程序代码。
图 1: 图示说明提示采样器如何首先为语言模型组装一个提示,然后生成新的程序。这些程序由评估器进行评估,并存储在程序数据库中。该数据库实现了一个演进算法,用于确定哪些程序将用于未来的提示。
AlphaEvolve 使用自动化评估指标验证、运行和评分提议的程序。这些指标对每个解决方案的准确性和质量提供了客观的、可量化的评估。这使得 AlphaEvolve 在广泛的领域中特别有用,在这些领域中,进展可以被清晰且系统地衡量,例如数学和计算机科学。
优化我们的计算生态系统
在过去的一年里,我们已将 AlphaEvolve 发现的算法部署到 Google 的计算生态系统中,包括我们的数据中心、硬件和软件。这些改进的影响在我们的人工智能和计算基础设施中成倍放大,为所有用户构建一个更强大、更可持续的数字生态系统。
图 2: 图示说明 AlphaEvolve 如何帮助 Google 提供更高效的数字生态系统,从数据中心调度和硬件设计到 AI 模型训练。
改进数据中心调度
AlphaEvolve 发现了一个简单但非常有效的启发式算法,以帮助 Borg 更高效地编排 Google 庞大的数据中心。这个解决方案现已投入生产一年多,平均持续回收 Google 全球计算资源的 0.7%。这种持续的效率提升意味着在任何给定时刻,可以在相同的计算足迹下完成更多任务。AlphaEvolve 的解决方案不仅带来了强大的性能,还提供了人类可读代码的显著操作优势:可解释性、可调试性、可预测性和易于部署。
协助硬件设计
AlphaEvolve 提出了一个 Verilog 重写,删除了一个关键的、高度优化的矩阵乘法算术电路中不必要的位。关键是,该提案必须通过可靠的验证方法,以确认修改后的电路保持功能正确性。该提案已集成到即将推出的 Tensor Processing Unit (TPU),这是 Google 定制的 AI 加速器。通过以芯片设计师的标准语言提出修改建议,AlphaEvolve 促进了人工智能和硬件工程师之间的协作,以加速未来专用芯片的设计。
增强 AI 训练和推理
AlphaEvolve 正在加速 AI 性能和研究速度。通过找到更智能的方法将大型矩阵乘法操作分解为更易于管理的子问题,它将 Gemini 架构中这一重要的 内核 速度提高了 23%,从而将 Gemini 的训练时间减少了 1%。由于开发生成式 AI (Generative AI) 模型需要大量的计算资源,因此获得的每一点效率都能带来可观的节省。除了性能提升之外,AlphaEvolve 还显著减少了内核优化所需的工程时间,从数周的专家工作缩短到数天的自动化实验,使研究人员能够更快地创新。
AlphaEvolve 还可以优化底层 GPU 指令。这个极其复杂的领域通常已经被编译器进行了大量优化,因此人类工程师通常不会直接修改它。AlphaEvolve 在基于 Transformer 的 AI 模型中实现了 FlashAttention 内核 实现高达 32.5% 的加速。这种优化有助于专家找出性能瓶颈,并轻松地将改进集成到他们的代码库中,从而提高他们的生产力,并在计算和能源方面实现未来的节省。
推动数学和算法发现的前沿
AlphaEvolve 还可以为复杂的数学问题提出新的方法。通过提供一个计算机程序的最少代码框架,AlphaEvolve 设计了一个新的 基于梯度的优化 过程的许多组件,该过程发现了多个新的矩阵乘法算法,这是一个计算机科学中的基础问题。
AlphaEvolve 的过程找到了一个算法,使用 48 次标量乘法来乘以 4x4 复数矩阵,改进了 Strassen 1969 年的算法,该算法此前在该设置下被认为是最好的。这一发现表明我们之前的研究 AlphaTensor 有了显著的进步,后者专注于矩阵乘法算法,对于 4x4 矩阵,只在二进制算术方面发现了改进。
为了研究 AlphaEvolve 的广度,我们将该系统应用于数学分析、几何、组合学和数论中的 50 多个开放问题。该系统的灵活性使我们能够在几个小时内设置大多数实验。在我们所知的范围内,在大约 75% 的情况下,它重新发现了最先进的解决方案。
在 20% 的情况下,AlphaEvolve 改进了先前已知最好的解决方案,在相应的开放问题上取得了进展。例如,它推进了 接触数问题。这个几何挑战 吸引了数学家 300 多年,涉及接触公共单位球的最大数量的非重叠球体。AlphaEvolve 发现了一个由 593 个外球组成的配置,并在 11 维空间中建立了一个新的下限。
未来的道路
AlphaEvolve 展示了从发现特定领域的算法到开发适用于各种现实世界挑战的更复杂算法的进展。我们预计 AlphaEvolve 将随着大型语言模型能力的提升而持续改进,特别是当它们在编码方面变得更加 出色 时。
我们与 People + AI Research team 合作,一直在构建一个友好的用户界面,以便与 AlphaEvolve 交互。我们正在为选定的学术用户计划一个早期访问计划,并正在探索使 AlphaEvolve 更广泛可用的可能性。要注册您的兴趣,请填写 此表格。
虽然 AlphaEvolve 目前应用于数学和计算领域,但其通用性意味着它可以应用于任何其解决方案可以描述为算法且可以自动验证的问题。我们相信 AlphaEvolve 可以在材料科学、药物发现、可持续性以及更广泛的技术和商业应用等更多领域带来变革。
致谢
AlphaEvolve 由 Matej Balog, Alexander Novikov, Ngân Vũ, Marvin Eisenberger, Emilien Dupont, Po-Sen Huang, Adam Zsolt Wagner, Sergey Shirobokov, Borislav Kozlovskii, Francisco J. R. Ruiz, Abbas Mehrabian, M. Pawan Kumar, Abigail See, Swarat Chaudhuri, George Holland, Alex Davies, Sebastian Nowozin, and Pushmeet Kohli 开发。这项研究是我们专注于使用 AI 进行算法发现的一部分工作。
我们衷心感谢 Jean-Baptiste Alayrac, Ankit Anand, Natasha Antropova, Giorgio Arena, Mohammadamin Barekatain, Johannes Bausch, Henning Becker, Daniel Belov, Alexander Belyaev, Sebastian Bodenstein, Sebastian Borgeaud, Calin Cascaval, Indranil Chakraborty, Benjamin Chetioui, Justin Chiu, Christopher Clark, Marco Cornero, Jeff Dean, Gaurav Dhiman, Yanislav Donchev, Srikanth Dwarakanath, Jordan Ellenberg, Alhussein Fawzi, Michael Figurnov, Aaron Gentleman, Bogdan Georgiev, Sergio Guadarrama, Demis Hassabis, Patrick Heisel, Chase Hensel, Koray Kavukcuoglu, Sultan Kenjeyev, Aliia Khasanova, Sridhar Lakshmanamurthy, Sergei Lebedev, Dmitry Lepikhin, Daniel Mankowitz, Andrea Michi, Kieran Milan, Vinod Nair, Robert O’Callahan, Cosmin Paduraru, Stig Petersen, Federico Piccinini, Parthasarathy Ranganatha, Bernardino Romera-Paredes, Georges Rotival, Kirk Sanders, Javier Gomez Serrano, Oleg Shyshkov, Timur Sitdikov, Tammo Spalink, Kerry Takenaka, Richard Tanburn, Terence Tao, Amin Vahdat, JD Velasquez, Dimitrios Vytiniotis, Julian Walker, and Pengming Wang 的贡献、建议和支持。更多详细信息,请参见我们的白皮书。
我们要感谢 Armin Senoner, Juanita Bawagan, Jane Park, Arielle Bier, and Molly Beck 对博客文章的反馈和本次发布的帮助;William Hood, Irina Andronic, Victoria Johnston, Lucas Dixon, Adam Connors, and Jimbo Wilson 对插图和图表的帮助