正文
亟待解决的关键技术挑战 (针对斯坦福毕业生的行动项)
演讲者向下一代技术人才提出了当前 AI 基础设施领域的紧迫挑战:
计算架构革新:
能源效率低下:
当前以冯·诺依曼架构为基础的计算模式(CPU、GPU)在数据和指令集读取内存时效率低下,每次内存调用都会消耗大量能源。
亟需新计算架构
: 需要能够显著提升能源效率的下一代计算架构。
半导体材料升级:
硅基架构过时: 需要从硅过渡到复合半导体,如氮化镓(Gallium Nitride),以实现更快、更高效的晶体管开关。
内存瓶颈突破:
内存成本高昂:
内存占据 GPU、NPU、LPU 成本的 40%。
内存墙问题:
过去 20 年,晶体管数量增长了 60000 倍(摩尔定律),但内存和互连速度仅每 2 年翻倍,形成了巨大的瓶颈。
新的内存架构:
需要新的内存访问架构(芯片上、芯片旁、芯片侧内存)来优化数据访问,如高带宽内存 (HBM) 是一个关键突破点。
互连技术升级:
Infiniband 已过时: 需要光子 AI 架构来避免光电转换中的损耗。
数据中心能效提升:
电力损耗严重
: 当前数据中心约 50% 的电力用于变压、散热、网络和存储,只有一半能真正用于 GPU 计算。
目标
: 设计新的计算架构,使输入的电能尽可能直接用于 GPU 计算。