CVPR 2025 Highlight | 提升自回归模型样例学习能力，Few-shot图像编辑新范...

正文

请到「今天看啥」查看全文

开源代码：https://github.com/BolinLai/InstaManip

图 1：本文提出的 InstaManip 模型可以同时从文字和图片样例中学习用户想要的图像变换的特征，并能够对新的输入图片进行同样的的编辑。

方法的理论基础

本文研究的 few-shot 图像编辑任务，输入包含一张图片 、文字指令 ，几组样例图片展示如何从源图片 变换到目标图片 ，输出是编辑之后的图片 。这个问题本质上是学习输出图片基于所有输入变量的条件分布，可以用公式写为：

神经科学近期的研究表明，人类大脑从案例中学习的过程可分为两个阶段：（1）从示例中学习并抽象得到可迁移的知识，（2）将获得的知识应用到新的场景中。受此启发，本文引入一个新的变量 来表示图像变换的特征，并且此变量和输入图片 相互独立，从而可以将 few-shot 图像编辑分解成以下两个阶段：

请到「今天看啥」查看全文