AI 版《猫和老鼠》刷爆外网！零剪辑自动生成，60 秒神作刷新 AI 视频天花板

主要观点总结

本文主要介绍了一项关于生成式视频的新研究，该研究通过引入测试时训练（Test-Time Training，TTT）层，显著提升了扩散Transformer模型生成长视频的能力，能够生成长达一分钟、具有复杂多场景故事的连贯视频。文章还介绍了该研究在模型架构方面的创新，如隐藏状态作为神经网络的设计，以及如何通过收集《猫和老鼠》等材料的处理来训练模型等。

关键观点总结

关键观点1: 研究突破了视频生成的时长限制

以前视频生成的时长限制在几秒内，这项新研究成功将一次性生成时长推至1分钟，无需剪辑，并保持高连贯性。

关键观点2: TTT层的引入

测试时训练（TTT）层显著提升了扩散Transformer模型生成长视频的能力，使其能够捕捉复杂的时空依赖关系。

关键观点3: 模型架构的创新

研究中的模型架构创新包括将隐藏状态设计为神经网络，以及使用原生高分辨率视觉编码器MoonViT来处理图像数据。

关键观点4: 应用与未来展望

文章还探讨了该研究在实际应用中的潜力，如提高视觉处理能力、多模态扩展等方向的研究前景，并介绍了招聘信息。

正文

请到「今天看啥」查看全文

同时，处理每一段视频时，神经网络都会根据当前内容调整参数。就像人在做数学题时，每做一题都会总结方法，下一题用改进后的方法一样。

这样，模型就能记住更复杂的场景变化（比如猫追老鼠的连贯动作），生成长达一分钟的流畅视频。

为了检验成果，研究人员用了《猫和老鼠》作为材料。他们收集了 1940-1948 年间，发布的 81 集原版动画，总共超过 400 分钟。扫描原胶片，保留手绘动画的线条和抖动特征。

人工标注团队依据镜头连续性，将平均每 5 分钟的剧集，分割为 8-12 个场景。并且在这个环节，通过切割和标注的方式，模拟人类编剧从分镜到剧本的创作过程，使模型学习叙事层次结构。

效果有多好呢？

整整一分钟的视频，基本完成了剧本中所要求的情节，除了一些转折处有不自然，整个故事的完整性没有问题。

场景一致性、运动自然性都有惊人的表现。如追逐的场景，各个物体的属性、颜色、形状，以及和空间布局一致性都没有崩坏，证明了模型长期记忆的能力。

请到「今天看啥」查看全文