文章目录
一、神经渲染的亮相
在Generative Query Network(GQN)《Neural scene representation and rendering(2018)》中，首次提出了神经渲染的概念。该网络依靠一个现实复刻的3D隐式模型，并且生成这个场景的多张图片作为输入，经过网络训练后，输出任意视角的渲染结果。基于此，有很多后续的研究者提出了大量的方法，使得模型更加显式等等·。
二、神经渲染与图形管线的比较
- 传统图形管线的渲染效果依赖于物理的正确。
- 神经渲染的效果依赖于网络的设计与训练数据的质量。
显式的模型重建有着一些难以避免的瑕疵，最终给渲染带来了无可避免的伪影。
基于图像的渲染试图解决这些问题，但是对于复杂的场景，渲染结果仍然会存在着接缝和重影。
为此，提出了神经渲染，通过学习捕获的真实图像到新视图复杂的映射关系，来解决重建与渲染出现的问题。
三、神经渲染的定义
通过深度的图像或视频生成方法，实现对一些场景资产（光照，相机参数，姿势，几何，外观，语义结构）的显示或隐式控制。
四、本文范围
本篇论文讨论了传统渲染管线的那个部分可以由神经渲染改造以及如何改造，训练数据是什么样的。
另外，本文主要针对于利用机器学习生成可控制的照片级渲染结果。
四、图形学基础
1.基于物理的图像合成
一个基于物理的图像渲染结果需要依靠于：光源，场景几何，材料特性，光的传输情况，光学以及传感器（相机）
而渲染方法可以分为两种：一种是光栅化，另外一种是光线追踪。
2.逆渲染与神经渲染
逆渲染作为cv与cg领域的综合，与神经渲染有着很强的关联。但缺点在于提供的物理模型
