策略学习助力LLM推理效率：MIT与谷歌团队提出异步并行生成新范式

正文

请到「今天看啥」查看全文

PASTA-LANG：划分独立内容的标记语言

研究人员首先开发了一种新的标记语言 PASTA-LANG，专为异步生成而设计。大模型使用它在生成过程中标记语义独立块，指示并行生成机会。这种语言包含三种核心标记：

• ：标记语义独立的内容块，通过 topic 属性总结内容主题，大模型用它表明「这部分将会由一个独立子线程异步生成」。

• ... ：在 后标识对应的异步生成的内容，表示这一部分由独立子线程负责生成。

• ：在主线程标记同步点，表明后续内容生成将会依赖于之前的异步生成，主线程需等待所有异步线程完成后才能继续。

这些标记共同构成了一种「承诺-履行」的生成模式：大模型首先通过 标记「承诺」生成某些内容，推理系统再创建异步线程来「履行」这些承诺，最后在 处将异步内容组合。

如图所示的线段长度计算案例展示了这一机制：面对计算任务（A），大模型首先识别出「坐标提取」和「长度公式」两个可并行的独立部分，生成相应的 标记（B），随后用

请到「今天看啥」查看全文