基本概念
原始的论文中所介绍的NeRF(NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,用神经辐射场表示场景进行视角合成),是神经辐射场以及体积渲染技术的结合,即用神经辐射场隐式地表示场景,再用体积渲染技术显式得渲染出图像。
它是自监督的,监督信号用的是图像的rgb信息,loss是重新渲染出来的每个像素跟原始图片的像素的对比。
一、三维场景的表示方式
显式表示:直接描述场景中的几何结构,常见的形式包括点云、mesh和体素。
隐式表示:不直接描述场景的几何信息,而是通过隐含的方式定义场景。典型的方法包括使用距离场、占用场、辐射场,即通过一个函数来描述每个点在空间中的属性(如距离表面的距离、是否被物体占用等)。
**NeRF就是使用辐射场隐式表示场景。**什么是辐射场?
辐射场是一种用于描述场景中每一点的颜色和密度的方法。它不直接表示物体的形状,而是通过光线在空间中传播的信息来定义场景。
**神经辐射场(NeRF)**是一种基于深度学习的辐射场表示方法。它使用一个全连接的神经网络来学习场景的连续体积密度和颜色分布。网络输入是一个五维向量(空间位置的XYZ坐标和观察方向的θ和φ角度),输出是该点的RGB颜色值和体积密度。
三、体积渲染技术
体积渲染技术是一种用于渲染三维数据的方法,它通过模拟光线穿过具有不同密度和颜色的介质的过程来生成图像。
沿着从视点到像素的光线路径,通过积分光线路径上的体积密度和颜色信息来计算像素的颜色值。这种方法能够生成具有复杂光照效果(如阴影、散射和光晕)的逼真图像。
三、NeRF:神经辐射场以及体积渲染技术相结合
首先,使用神经网络学习场景的隐式辐射场表示,网络能够预测场景中任意点的颜色和密度。
然后,通过体积渲染技术沿光线积分,合成新视角下的图像。