本文提出的对数线性注意力通过引入基于芬威克树的、随序列长度对数级-20250607060236

本文提出的对数线性注意力通过引入基于芬威克树的、随序列长度对数级增长的隐藏状态集合，巧妙地平衡了线性注意力的效率与softmax注意力的表达能力，其O(T log T)的训练复杂度和O(log T)的解码复杂度，以及在长上下文任务上对现有线性模型的改进，为高效序列建模提供了一个极具潜力的新方向，尽管其实现复杂度和与Transformer的性能差距仍是挑战。