文生图进入R1时刻：港中文MMLab发布T2I-R1

机器之心 · 公众号 · AI · 2025-05-09 10:47

主要观点总结

本文介绍了姜东志及其团队在理解与生成统一的多模态大模型及多模态推理方面的研究成果。文章主要介绍了他们提出的T2I-R1模型，该模型使用双层次CoT推理框架和强化学习来增强图片生成。该模型包括Semantic-CoT和Token-CoT两个层次的推理，分别负责设计图像的全局结构和关注底层的细节。文章还提到了他们使用强化学习的方法来联合优化ULM的两个层次的CoT，并在实验中发现该模型能够通过推理Image Prompt背后的真实意图来生成更符合人类期望的结果，并在处理不寻常场景时展现出增强的鲁棒性。

关键观点总结

关键观点1: 姜东志及其团队的研究方向

主要研究方向为理解与生成统一的多大模型及多模态推理。

关键观点2: LLMs在图片生成中的应用

最近的大语言模型（LLMs）如OpenAI o1和DeepSeek-R1已在数学和编程等领域展示了强大的推理能力，通过强化学习（RL）提供答案前使用全面的思维链（CoT）逐步分析问题，提高了输出准确性。

关键观点3: T2I-R1模型的特点

T2I-R1是一种基于双层次CoT推理框架与强化学习的新型文本生成图像模型。它包括Semantic-CoT和Token-CoT两个层次的推理，分别负责图像的全局结构和底层细节。使用强化学习联合优化这两个层次的CoT，通过想象和规划图像获得Semantic-CoT，然后基于Image Prompt和Semantic-CoT生成图像获得Token-CoT。

关键观点4: T2I-R1模型的实验成果

根据T2I-R1生成的图片，该模型能够通过推理Image Prompt背后的真实意图来生成更符合人类期望的结果，并在处理不寻常场景时展现出增强的鲁棒性。在T2I-CompBench和WISE的Benchmark上，T2I-R1比baseline模型提高了13%和19%的性能。

正文

请到「今天看啥」查看全文

具体而言，我们提出了适用于图片生成的两个不同层次的 CoT 推理：

Semantic-CoT

Semantic-CoT 是对于要生成的图像的文本推理，在图像生成之前进行。
负责设计图像的全局结构，例如每个对象的外观和位置。
优化 Semantic-CoT 可以在图片 Token 的生成之前显式地对于 Prompt 进行规划和推理，使生成更容易。

Token-CoT

Token-CoT 是图片 Token 的逐块的生成过程。这个过程可以被视为一种 CoT 形式，因为它同样是在离散空间中基于所有先前的 Token 输出后续的 Token，与文本 CoT 类似。
Token-CoT 更专注于底层的细节，比如像素的生成和维持相邻 Patch 之间的视觉连贯性。
优化 Token-CoT 可以提高生成图片的质量以及 Prompt 与生成图片之间的对齐。