导读

混合现实（MR）与扩展现实（XR）技术致力于将虚拟内容与真实世界进行高一致性的光学融合，以提升沉浸式交互体验。然而，现有的显示技术面临着一个核心光学挑战，虚拟物体的光照往往是固化的，无法随真实环境光照的变化而产生正确的光影互动，破坏了沉浸感。传统的解决方案通常依赖昂贵的光照探测硬件或密集的多视角拍摄，难以应用于消费级头显设备。近日，苏州大学轨道交通学院吴澄教授团队联合西安电子科技大学及首尔国立大学的研究人员，提出了一种基于单视图的神经光照估计与编辑框架。该方法仅需一张环境观测图像，即可实现目标环境的光照属性进行有效解析并支持对既有3D神经场景进行光照层面的编辑，生成在光度一致性上与真实环境高度匹配的动态光场表示。该研究为在轻量化设备上实现高一致性沉浸式交互显示提供了一种可行路径。相关研究成果以“Single-view neural illumination estimation and editing for dynamic light field display”为题发表于国际顶尖光学期刊《Light: Science & Applications》。

研究背景

光场是描述光在空间中传播的完备函数，是实现真三维显示的基础。在基于神经辐射场等现代3D表示技术中，环境光照、物体几何与材质属性通常被耦合在一起，形成所谓的烘焙光照。这意味着一旦场景被训练完成，其光影效果便被固定，无法适应新的环境光。在沉浸式交互应用中，不同使用场景往往对应不同的环境光照条件，而佩戴MR眼镜的用户通常只能提供极其稀疏的观测视角，而非环境全景光照。如何从受限的单视图观测中求解出复杂的光照逆问题，并据此对烘焙好的3D神经资产进行高保真的重光照，是计算成像与新型显示领域的一大难题。现有的基于物理渲染或图像风格迁移的方法，存在计算量过大或缺乏几何一致性的问题，难以满足高质量沉浸式交互的需求。

研究亮点

针对从单张低动态范围图像推测全景环境光的难题，研究团队设计了计算光学感知（COP）模块。该模块并未试图重建整个全景环境图，而是创新性地采用了一种紧凑的参数化表达来描述主导光照。团队提出了一种非线性辐照度流形插值（NIMI）技术，能够有效逆向映射成像系统的色调映射曲线，从被截断的像素值中恢复出线性的物理辐射度。这使得系统能够在仅有一个观测视角的情况下，在单视图条件下推断环境光的主要方向与强度分布，为后续的重光照过程提供了稳定的物理约束信息。

图1：单视图神经光照估计与编辑框架概览。系统通过COP模块从环境光中提取参数，指导GLTS模块生成合成光场，最终在XR设备上呈现光度一致的虚拟图像。

为了解决生成式模型难以兼顾物理正确性与视觉细节的问题，本文提出了生成式光传输合成（GLTS）模块。该模块采用了一种混合导向的生成机制，一方面利用COP模块提取的显式光照参数进行宏观物理约束；另一方面引入语义描述符和视觉风格编码，对生成过程进行微观校准。实验表明，该方法生成的图像不仅在峰值信噪比（PSNR）上提升了17.0%，更在感知相似度指标（LPIPS）上降低了51.2%。即使在不同光照条件切换的场景中，该方法也能生成流畅自然的阴影和高光效果，在一定程度上缓解了传统方法中常见的阴影破碎与几何错位问题。

图2：光照编辑效果对比。本方法（Ours）能够生成物理真实的阴影与高光，相比其他方法具有更高的真实感与几何一致性。

图3：连续光照编辑效果对比。本方法（Ours）能够生成连续、物理真实的阴影与高光，相比其他方法具有更高的真实感与几何一致性。

该研究不仅仅停留在2D图像层面的风格化，而是通过将合成的重光照图像作为监督信号，对3D神经场景表示进行闭环微调。团队构建了一个联合优化流程，同时优化场景外观参数与相机几何姿态，从而实现了对固化光照的有效解耦与重编辑。这意味着，经处理后的虚拟物体可以从任意新视点被观测，且在不同目标光照条件下保持与真实环境一致的光影效果，为动态4D光场显示提供了一种可行的技术实现路径。

总结与展望

本研究提出了一套完整的计算成像框架，有效应对了稀疏观测条件下3D神经场景环境光自适应渲染的关键技术难题。通过协同光照感知、生成式合成与联合优化策略，该技术无需复杂的HDR探针或昂贵的光学扫描设备，即可在消费级硬件上实现光度一致的混合现实体验。该成果不仅为下一代近眼显示器和全息显示技术提供了高质量的内容生成引擎，其核心思想还可扩展至自动驾驶仿真以及计算全息图生成等前沿领域，为显示技术向更智能、更具交互性的方向发展提供了新的技术思路。（来源：LightScienceApplications微信公众号）

相关论文信息：https://doi.org/10.1038/s41377-026-02234-4