AI 版《猫和老鼠》百万人围观！零剪辑自动生成，60 秒神作刷新 AI 视频天花板

正文

请到「今天看啥」查看全文

通常，这个记忆是一个固定大小的表格（比如数字矩阵），只能简单记录过去的信息，可能不够灵活。但在这项研究中，作者将隐藏状态设计成了一个神经网络， 这意味着这个「存储空间」本身具有学习能力。

每当处理新的视频片段时， 这个程序会通过练习来调整自己 。比如，它会尝试修复模糊的画面（自监督任务），根据修复的效果修改自己的内部参数（用梯度下降法）。

同时，处理每一段视频时，神经网络都会根据当前内容调整参数。就像人在做数学题时，每做一题都会总结方法，下一题用改进后的方法一样。

这样，模型就能记住更复杂的场景变化（比如猫追老鼠的连贯动作），生成长达一分钟的流畅视频。

为了检验成果，研究人员用了《猫和老鼠》作为材料。他们收集了 1940-1948 年间，发布的 81 集原版动画，总共超过 400 分钟。扫描原胶片，保留手绘动画的线条和抖动特征。

人工标注团队依据镜头连续性，将平均每 5 分钟的剧集，分割为 8-12 个场景。并且在这个环节，通过切割和标注的方式，模拟人类编剧从分镜到剧本的创作过程，使模型学习叙事层次结构。

效果有多好呢？

整整一分钟的视频，基本完成了剧本中所要求的情节，除了一些转折处有不自然，整个故事的完整性没有问题。

场景一致性、运动自然性都有惊人的表现。如追逐的场景，各个物体的属性、颜色、形状，以及和空间布局一致性都没有崩坏，证明了模型长期记忆的能力。

请到「今天看啥」查看全文