GPT-4o的吉卜力魔法，快被网友扒干净了 |【经纬低调分享】

经纬创投 · 公众号 · 科技投资 · 2025-03-31 11:43

正文

请到「今天看啥」查看全文

地址：https://cdn.openai.com/11998be9-5319-4302-bfbf-1167e093f1fb/Native_Image_Generation_System_Card.pdf

对于技术，在这份长达 13 页的附录文件中，也仅在最开始时提到了一句：「不同于基于扩散模型的 DALL・E，4o 图像生成是一个嵌入在 ChatGPT 中的自回归模型。」

OpenAI 对技术保密，也抵挡不住大家对 GPT-4o 工作方式的热情，现在网络上已经出现了各种猜测、逆向工程。

比如谷歌 DeepMind 研究者 Jon Barron 根据 4o 出图的过程猜测其可能是组合使用了某种多尺度技术与自回归。

不过，值得一提的是，香港中文大学博士生刘杰（Jie Liu）在研究 GPT-4o 的前端时发现，用户在生成图像时看到的逐行生成图像的效果其实只是浏览器上的前端动画效果，并不能准确真实地反映其图像生成的具体过程。实际上，在每次生成过程中，OpenAI 的服务器只会向用户端发送 5 张中间图像。您甚至可以在控制台手动调整模糊函数的高度来改变生成图像的模糊范围！

因此，在推断 GPT-4o 的工作原理时，其生成时的前端展示效果可能并不是一个好依据。

尽管如此，还是让我们来看看各路研究者都做出了怎样的猜测。整体来说，对 GPT-4o 原生图像生成能力的推断主要集中在两个方向：自回归 + 扩散生成、非扩散的自回归生成。下面我们详细盘点一下相关猜想，并会简单介绍网友们猜想关联的一些相关论文。

猜想一：自回归 + 扩散

很多网友猜想 GPT-4o 的图像生成采用了「自回归 + 扩散」的范式。比如 CMU 博士生 Sangyun Lee 在该功能发布后不久就发推猜想 GPT-4o 会先生成视觉 token，再由扩散模型将其解码到像素空间。而且他认为，GPT-4o 使用的扩散方法是类似于 Rolling Diffusion 的分组扩散解码器，会以从上到下的顺序进行解码。