主要观点总结

近日，ArXiv上的一篇名为《SentenceVAE：Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context》的论文引起了讨论。论文中，作者为了解决大模型推理速度慢的问题，提出了一种新颖的推理方式：Next-sentence Prediction，并使用大模型直接预测下一个句子。为此，作者团队使用了句子变分自编码器（SentenceVAE）来提升大模型的推理速度和准确性。

关键观点总结

关键观点1: 论文背景及目的

当前主流的大模型大多采用token-by-token的自回归方式进行推理，这种方式严重限制了大模型的推理速度。论文旨在解决这一问题，提出了一种使用大模型直接预测下一个句子的方法。

关键观点2: SentenceVAE介绍

句子变分自编码器（SentenceVAE）由一个句子编码器和一个句子解码器构成，分别仅有1~4层。句子编码器可以将多个token编码为一个单独的嵌入向量，句子解码器可以将该嵌入向量还原为原始句子的多个token。

关键观点3: Next-sentence Prediction方法

通过将句子编码器和解码器分别嫁接在当前主流大模型的首尾，并加以微调，大模型便可以工作在Sentence-level的嵌入空间，实现更快的推理速度。

关键观点4: 实验结果

实验表明，使用SentenceVAE后，大模型的推理速度显著提升，困惑度大幅降低，显存占用也显著减少。同时，作者团队还验证了SLLM遵循Scaling Law，可以推广至更大规模的模型。

关键观点5: 社区反响

这篇论文在社区引起了广泛的讨论和关注，不少网友对SentenceVAE的潜力表示肯定，但也有网友指出了该工作的不足和需要改进的地方。

正文

请到「今天看啥」查看全文

模型方法

论文中，作者指出，当前主流的大模型大多采用token-by-token的自回归方式进行推理，这种方式严重限制了大模型的推理速度。为了解决这一问题，作者团队提出了一种新颖的推理方式： Next-sentence Prediction ，使用大模型直接预测下一个句子。

为了实现这一方式，作者团队首先使用大量语料预训练了一个 小模型 ——句子变分自编码器（Sentence Variational Autoencoder, SentenceVAE），由一个句子编码器和一个句子解码器构成，分别仅有1~4层。其中，句子编码器可以将一个句子中的多个token编码为一个单独的嵌入向量（Sentence-level Token），句子解码器可以将该嵌入向量还原为原始句子中的多个token。

通过将句子编码器和解码器分别嫁接在当前主流大模型的首尾，并加以微调，大模型便可以工作在Sentence-level的嵌入空间，升级为Sentence-level LLM (SLLM)！

更快的推理速度

假设有一句话含有10个token，在当前LLM逐token生成的方式下，大模型需要迭代10次，而SLLM进需要迭代1次，从而大幅提升了大模型的推理速度。

作者团队将深度为1~4层的SentenceVAE分别嫁接在OPT-125M、OPT-350M、OPT-1.3B模型的首尾（SLLM），并将原始OPT模型（LLM）作为基线（baseline）进行实验。实验结果表明，SLLM的token生成速度相比各LLM可分别提升200~300%！

同时，随着主体LLM参数量的增加，SentenceVAE推理所占用的计算资源比例将逐渐降低，从而获得更高的速度收益。也就是说，模型越大，提速越明显！

请到「今天看啥」查看全文