本文提出的自回归U-Net（AU-Net）通过直接从原始字节流学-20250619054746

本文提出的自回归U-Net（AU-Net）通过直接从原始字节流学习，并构建动态的、多层次的文本表示（从字节到词、再到多词短语），挑战了传统固定分词的局限性；其U-Net结构使得模型在不同尺度上理解和预测文本，深层关注语义进行远期预测，浅层处理细节，实验表明AU-Net在可控计算成本下性能媲美甚至超越BPE基线，并在多语言和字符级任务上展现优势。