【AI秒读论文】一种基于深度学习的增强现实渲染方法

浙江大学周昆团队即将在 Sci. China Inf. Sci.，2021 年 64 卷第 2 期上发表论文：

Neural compositing for real-time augmented reality rendering in low-frequency lighting environments  

作者提出了一种基于深度学习的增强现实渲染方法。它使用卷积神经网络将虚拟对象的渲染层与真实照片合成，以模拟阴影和反射效果。该方法首先采用神经网络估计拍摄照片中的光照和材质信息，然后为虚拟对象渲染出颜色、阴影和反射层，最后通过神经网络将颜色、阴影和反射层与输入图像融合，产生输出图像。作者使用低频光照环境，采用 PRT (precomputed radiance transfer) 进行绘制，使整个流水线可微分，并能实现快速的端到端网络训练。在单张照片上，作者提出的方法可以在真实场景中产生逼真的反射效果，并在实时帧率下在具有未知几何形状和材质的背景物体上投射阴影。

点下方“阅读原文”了解研究详情

秒读论文 

作为科研人员，快速掌握文章要旨是进行学术研究的必备技能， 随着论文数量的爆炸式增长，“阅读疲劳”问题亟待解决。因此，SCIENCE CHINA Information Sciences (SCIS)推出 “AI秒读”栏目。通过人工智能秒读论文技术，能够对深奥的英文学术论文进行自动、快速地解读、翻译和生成形象直观的可视化论文解读视频。

• 重磅：SCIS推出AI秒读栏目，助你秒懂科技论文

• AI秒读: 6G无线通信长篇综述解读