一键开关灯！谷歌用扩散模型，将电影级光影控制玩到极致

正文

请到「今天看啥」查看全文

。

它让用户能够从单张图像实现对光源的细粒度参数化控制， 可以改变可见光源的强度和颜色、环境光的强度，并且能够将虚拟光源插入场景中。

• LightLab: Controlling Light Sources in Images with Diffusion Models

• 论文地址：https://arxiv.org/abs/2505.09608

• 项目主页：https://nadmag.github.io/LightLab/

• HuggingFace：https://huggingface.co/papers/2505.09608

  
  

在图像或影视创作中，光线是灵魂，它决定了画面的焦点、景深、色彩乃至情绪。

以电影为例， 好的电影中，光线能巧妙地塑造角色情绪、烘托故事氛围、引导观众目光，甚至能揭示人物的内心世界。

然而，无论是传统的摄影后期处理，还是数字渲染后的调整，精确控制光影方向、颜色和强度，始终是一项耗时耗力、且极依赖经验的挑战。

现有的光照编辑技术，要么需要很多照片才能工作（不适用于单张照片），要么虽然能编辑，但你不能精确地告诉它怎么变（比如具体亮多少、变成什么颜色）。

Google 的研究团队通过在一个特殊构建的数据集上微调（fine-tune）扩散模型，使其学会如何精确地控制图像中的光照。

为了构建这个用于训练的数据集，研究团队结合了两种来源：一部分是少量真实的、带有受控光照变化的原始照片对；另一部分是利用物理渲染器生成的大规模合成渲染图像。

更进一步，研究人员巧妙地利用了「光的线性特性」（linearity of light），从这些图像数据中分离出目标光源和环境光。基于此，他们能够合成出大量描绘不同光照强度和颜色变化的图像对，这些图像对参数化地表示了受控的光影变化。

扩散模型通过学习这些高质量的成对示例，获得了强大的「逼真光影先验能力」（photorealistic prior）。这使得模型能够在图像空间中直接、隐式地模拟出复杂的照明效果，比如间接照明、阴影和反射等。

最终，利用这些数据和恰当的微调方案，训练出的 LightLab 模型能够实现精确的照明变化控制，并提供对光照强度和色彩等参数的明确控制能力。

LightLab 提供了一套丰富的光照控制功能，这些功能可以依次使用，从而创建复杂的光照效果。你可以通过移动滑块来调整每个光源的强度和颜色。

方法

研究团队的方法是使用成对图像来隐式建模图像空间中的受控光变化，这些变化用于训练扩散模型。

请到「今天看啥」查看全文