神经辐射场ReNF基础

news/2025/1/5 3:23:26/文章来源:https://www.cnblogs.com/aisuanfa/p/18648955

定义

神经辐射场是一种面向三维隐式空间建模的深度学习模型,这种深度学习模型又称全连接神经网络(又称多层感知机)。NeRF 所要做的任务是 Novel View Synthesis,一般翻译为新视角合成任务,定义是:在已知视角下对场景进行一系列的捕获 (包括拍摄到的图像,以及每张图像对应的内外参),不需要中间三维重建的过程,仅根据位姿内参和图像,合成新视角下的图像。在基于Nerf的表示方法下,三维空间被表示为一组可学习且连续的辐射场,由输入视角+位置学习后,得到密度+色彩。
https://zhuanlan.zhihu.com/p/597579341

关键技术

建模辐射光即是建模对应的颜色。而Nerf则是一组可以对上面渲染方程近似求解的MLP。这也就是Nerf的工作原理。在基于Nerf的表示方法下,三维场被表示为一组可学习且连续的辐射场。
不同于传统三维重建方法把场景表示为点云、网格、体素等显式的表达,它独辟蹊径,将场景建模成一个连续的 5D 辐射场隐式存储在神经网络中,只需输入多角度的 2D 图像,就可以通过训练得到一个神经辐射场模型,根据这个模型可以渲染出任意视角下的清晰照片
https://baijiahao.baidu.com/s?id=1762143450036193524&wfr=spider&for=pc
NeRF 提出的隐式表达以空间点的坐标和观察者的视角、位置作为输入,输出则是点的 RGB 信息和占用密度。
NeRF 技术的核心思想是将场景中的每个像素都视为一个神经元,然后使用神经网络来学习这些神经元之间的关系,这种方法可以有效地提高场景的精度和真实感。

图像渲染

NeRF 采用了光线追踪的方法将隐式表示渲染为二维图像,光线追踪法就是沿着观察者眼里发射出光线,对光线进行采样取得每个采样点的 RGB 和密度信息,并使用体绘制技术将这些值合成图像。

输入输出

给定一组连续拍摄的图像+姿态,Nerf尝试使用光线位置、光照方向、对应三维坐标(x,y,z)为输入,输出目标的密度(形体)+颜色。输入共计五变量,也因此被称为“5D辐射场”。具体来说,给定空间点坐标(x,y,z)与观测方向(d_x,d_y,d_z中任意两个,第三个通过叉乘求出,俗称“知二得三”)可求解得该点的密度值(其实是光线在该点终止的概率)与对应的颜色(RGB值)。预测了颜色值,和当前姿态下对应的输入图片求损失,则可进行优化使模型逐步收敛。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/863152.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

opencv + vtk + contrib 编译

https://blog.csdn.net/qq_48034474/article/details/12041170

IntelliJ IDEA 2024.3.1.1 最新版安装教程-至2099年(适用JetBrains 全家桶)

下面演示下最新版本的永久激活方法,大家按教程就可以实现一键永久激活。该工具是全家桶,大家可以放心使用。获取地址:https://www.dmjf.top/15141.html

Webstorm v2024.3.1.1 最新版安装教程-至2099年(适用JetBrains 全家桶)

下面演示下最新版本的永久激活方法,大家按教程就可以实现一键永久激活。该工具是全家桶,大家可以放心使用。获取地址:https://www.dmjf.top/15075.html

JVM实战—8.如何分析jstat统计来定位GC

大纲 1.使用jstat了解线上系统的JVM运行状况 2.使用jmap和jhat了解线上系统的对象分布 3.如何分析JVM运行状况并合理优化 4.使用jstat分析模拟的BI系统JVM运行情况 5.使用jstat分析模拟的计算系统JVM运行情况 6.问题汇总1.使用jstat了解线上系统的JVM运行状况 (1)JVM的整体运行…

Xshell Plus v7.0.14+Xftp7 永久授权版

Xshell 是更常用的安全终端模拟器,人们可以使用它远程登录其他系统服务器,达到远程控制终端的目的。 NetSarang Xshell – 知名终端连接工具,非常强大的SSH远程终端客户端 ,非常好用的SSH终端管理器。Xshell功能超级强大,性能非常优秀,其特色功能支持多标签会话管理主机,…

【Java开发】基于AOP切面的数据脱敏

#数据安全 #AOP切面编程 #数据脱敏 #微服务架构 随着数据安全法和个人信息保护法的实施,我们都知道,保护数据是企业信息化建设中非常重要的事情。 数据的生命周期包括:采集、传输、存储、处理、交换、销毁6个阶段 DSMM定义了数据生命周期中每个阶段需要做的一些安全控制,比…

《计算机组成及汇编语言原理》阅读笔记:p177-p177

《计算机组成及汇编语言原理》学习第 13 天,p177-p177 总结,总计 1 页。 一、技术总结 1.real mode A programming model where the program has access to the entire capability of the machine, bypassing security and memory management. Useful primarily for operat…

Android Password Safe(密码保险箱)

password safe手机版是一款主打密码管理跟保存内容的软件,密码保险箱与管理器以加密方式存储和管理你输入的所有数据,因此你可以安全存储访问数据,你只需要记住主密码。 此密码管理器允许你管理和跟踪所有敏感数据,这些数据完全加密且安全存储。 用于保护数据保险库的加密基…

Android GKD(自定义屏幕点击) v1.9.3

GKD是一款基于无障碍、高级选择器和订阅规则的自定义屏幕点击APP,为用户提供了更加便捷和智能的交互体验。通过点击跳过任意开屏广告或关闭应用内部任意弹窗广告,用户可以迅速进入应用的核心功能,而无需被广告打断。获取地址:https://www.dmjf.top/2678.html

Win32汇编学习笔记02.RadAsm和联合编译

https://bpsend.net/thread-151-1-1.html汇编使用资源 汇编使用资源的方式和C的一样,也是把资源文件 rc 编译成 res 再链接进去,汇编没有自己的资源编辑器,需要借助 vc6.0或者 vs 主要是把 头文件 .h 转化为对应的 .inc 使用vc6.0建立资源文件用vs建立资源文件新建一个桌面向导…

判断方法的使用范围20250102

判断方法的使用范围20250102package com.oop.demo01;public class Student {public static int add(int a, int b) { //public 类下的public的静态方法return a+b;}static int sub(int a, int b) { //public类 非public的静态方法return a-b;}public int devide(int a, int…

火绒(杀毒软件) v6.0.1.4 正式版

火绒这个软件很受极客们的欢迎,是一款小巧轻便的杀毒软件,功能也很丰富,运行安静,使用方便。也是果核很喜欢的一款杀毒软件,其火绒剑是一款非常强大的系统监控和调试工具,能帮助有电脑底层基础的用户快速排查问题。获取地址:https://www.dmjf.top/2255.html