正文
程序化依赖启动（PDL）是一项CUDA功能，它能够减少同一CUDA流上两个连续CUDA内核执行之间的GPU空闲时间，甚至允许这两个内核部分重叠执行。
默认情况下，当多个内核在同一个CUDA流上启动时，第二个内核必须等待第一个内核执行完毕后才能开始。
这种机制会导致两个主要的性能问题：
通过在CUDA中运用程序化依赖启动API，英伟达允许次级内核（secondary kernel）在主内核（primary kernel）仍在运行时就开始执行。
在初始准备阶段（preamble period），次级内核可以执行那些不依赖于主内核执行的计算任务，并加载相应的数据。
这不仅消除了两个连续内核之间的执行间隙，也显著提升了GPU的利用率；因为当主内核仅占用GPU上的部分SM时，其余空闲的SM便可以开始运行次级内核。
推测解码（Speculative Decoding）是一种广受欢迎的技术，用于在不牺牲生成文本质量的前提下，加速LLM的推理速度。
该技术通过一个规模更小、速度更快的「草稿」模型来预测一个推测token序列，然后由规模更大（通常也更慢）的LLM并行验证这些token。
其加速效果源于：在目标模型的一次迭代中，有机会生成多个token，代价则是草稿模型带来的一些额外开销。
端到端的工作流
首先，在目标模型完成上下文阶段（此阶段亦会生成token t1）之后，草稿模型会迅速生成一连串潜在的token（例如d2-d4）。
随后，目标模型进入生成阶段，在这一阶段，它会针对整个草稿序列，一次性地并行验证（或生成）每个位置的下一个token。
如图所示，如果草稿token与目标模型自身将要生成的token相匹配，目标模型便可能「接受」其中的若干token（如d2、d3），同时「拒绝」其他的token（如d4）。
这个循环不断重复：被接受的token得以保留；若发生拒绝（例如，在d4被拒绝后），目标模型会提供正确的下一个token（如t4）；然后，草稿模型会生成一个新的推测序列（例如d5-d7）。
通过并行验证多个token——而不是依赖（速度较慢的）目标模型逐个生成它们——并充分利用草稿模型的快速推测能力，系统能够实现显著的速度提升，尤其是当草稿模型的预测准确率较高时。
「接受长度（AL）」定义为在单次验证步骤中，平均能够成功生成的token数量。
AL值越高，加速效果越显著。
对此，英伟达采用了一种基于EAGLE3的架构作为其推测解码方法，主要通过调整推测层中前馈网络（FFN）的大小来优化接受长度（AL）。
在推理过程中，需要在目标模型的前向传播阶段记录低、中、高三个层级的特征（即初始、中间及末端解码层输出的隐藏状态）。
之后，再将这些隐藏状态与token嵌入相结合，并将结果输入到推测层。该推测层随后以自回归方式生成一个草稿token序列，供目标模型进行并行验证。
推测层的开销虽然不大，但也不可忽视。因此，关键的挑战在于如何在草稿长度与端到端加速效果之间取得理想的平衡。
草稿长度越长，AL通常也越高，但相应地，运行草稿模型所产生的额外成本也会增加。根据英伟达在下方实验中展示的结果，当草稿长度设置为3时，可获得最佳的加速效果。
通过CUDA Graph和重叠调度器减少主机端开销
推测解码的另一个挑战在于减少主模型与草稿模型之间的通信和同步开销。
如果英伟达将采样/验证逻辑置于主机端，便会在主机与设备之间引入额外的同步点，进而破坏CUDA Graph的完整性。
因此，英伟达选择将验证逻辑保留在设备端，从而能够将目标模型的前向传播、验证逻辑以及草稿模型的前向传播都整合到同一个CUDA Graph中。
此外，英伟达还启用了TensorRT-LLM的重叠调度器，以进一步让当前迭代的模型前向传播与下一次迭代的输入准备及CUDA Graph启动过程实现重叠。
使用torch.compile()优化草稿模型层
由于验证逻辑是采用Torch原生操作在设备端实现的，这导致英伟达最终生成了大量细小的Torch原生内核。
手动融合这些内核不仅复杂，且容易出错。
为此，英伟达采用torch.compile()，借助OpenAI Triton的能力来自动完成这部分内核的融合，并生成最优化的版本。
这一举措帮助英伟达将草稿模型的开销从25%成功降低到了18%（当草稿长度为3时）。
总的来说，这一创世界纪录的速度，是强大Blackwell架构、自CUDA层面起直至上层应用的深度软件优化，以及英伟达量身定制的推测解码实现所带来的显著加速三者结合的成果，它直接响应了下一代AI交互应用对低延迟的迫切需求。
正如英伟达所展示的那样，这些技术进步确保了即便是超大规模模型，也能够提供足够的处理速度和响应能力，以支持无缝的实时用户体验和复杂的AI智能体部署场景。
https://developer.nvidia.com/blog/blackwell-breaks-the-1000-tps-user-barrier-with-metas-llama-4-maverick/
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https://wx.zsxq.com/group/454854145828
