正文
-
优化矩阵运算,将 Gemini 架构关键内核加速 23%,缩短 Gemini 训练时间 1%,节省计算成本并减少工程时间。
-
优化低级 GPU 指令,将 FlashAttention 内核加速高达 32.5%
AlphaEvolve 非常贴近“
科学家智能体
”的概念,因为其能主动提出解决复杂数学难题的新思路。
首次,将 4x4 矩阵乘法从 49 次运算减少到 48 次,是 56 年来首次实现,
超越了 Strassen 于 1969 年提出的、长期以来被认为是标杆的经典算法
,
在计算机科学中,矩阵乘法是最基础且计算密集的运算之一,为了证明推动前沿的能力,研究团队让 AlphaEvolve 试图优化矩阵计算。
传统的矩阵计算对于两个 n×n 的矩阵 A 和 B,需要 O(n^3)次标量乘法(例如,2×22×2 矩阵需 8 次乘法)。当矩阵规模较大时,这种计算复杂度在时间效率上存在瓶颈。
1969 年科学家 Volker Strassen 发现,通过分治策略和减少乘法次数,可以降低矩阵乘法的时间复杂度。于是,他提出了一种递归算法:
将两个 2×22×2 矩阵的乘法从传统的 8 次乘法减少到 7 次,同时通过增加加法和减法的计算来弥补这一差异。
这一思想被扩展后,最终矩阵计算的时间复杂度降低至 O(nlog27)≈O(n2.81)O(nlog27)≈O(n2.81),成为首个突破立方时间复杂度的矩阵乘法算法。
而在此任务中,AlphaEvolve 经过系统性探索后成功发现了一种用于计算 4x4 复数矩阵乘法的高效算法—仅需
48 次标量乘法
。
如下表所示:
表中总结了计算 𝑚×𝑛 矩阵与 𝑛×𝑝 矩阵乘积所需的标量乘法次数上限,即对应三维张量的秩。AlphaEvolve 针对多种矩阵维度组合⟨𝑚, 𝑛, 𝑝⟩进行了迭代分析测试,对于所有测试的参数组合且 𝑚, 𝑛, 𝑝 ≤ 5 的情况,AlphaEvolve 发现的算法
要么匹配、要么超越了当前已知的最优解决方案。
对于诸如⟨3,4,7⟩、⟨4,4,4⟩以及⟨4,4,8⟩等特定维度组合,AlphaEvolve 发现的算法创新性地运用了复数乘法原理,这些算法不仅适用于复数矩阵,也可高效应用于实数矩阵的精确乘法。
这一成果显著
超越了 Strassen 于 1969 年提出的、长期以来被认为是标杆的经典算法
,刷新了该领域的已知最佳结果。
300 年的接吻数问题
接吻数问题
(Kissing Number Problem)是离散几何领域的一个经典难题,难点在于确定在 N 维欧几里得空间中,最多有多少个互不重叠的单位球可以同时与一个位于中心的单位球相切。