用NeRFMeshing精确提取NeRF网络中的3D网格

准确的 3D 场景和对象重建对于机器人、摄影测量和 AR/VR 等各种应用至关重要。 NeRF 在合成新颖视图方面取得了成功,但在准确表示底层几何方面存在不足。
在这里插入图片描述

推荐:用 NSDT编辑器 快速搭建可编程3D场景

我们已经看到了最新的进展,例如 NVIDIA 的 Neuralangelo,但也有 NeRFMeshing,它被提议通过从 NeRF 驱动的网络中提取精确的 3D 网格来解决这一挑战。NeRFMeshing生成的网格在物理上是准确的,并且可以在不同的设备上实时渲染。

1、NeRFMeshing概述

虽然 NeRF 在图像质量、鲁棒性和渲染速度方面显示出令人印象深刻的结果,但从辐射场获取准确的 3D 网格仍然是一个挑战。 现有的表示主要针对视图合成进行优化,而不是明确强制执行精确的几何形状。 这导致使用体积的密集区域而不是零厚度的水平设置表面来近似表面。 此外,大多数以前的方法缺乏实时渲染功能以及与标准 3D 图形管道的兼容性。

NeRFMeshing 提出了一种新颖的管道,用于从经过训练的基于 NeRF 的网络中有效地提取几何精确的网格。 该方法仅增加很小的时间开销,并生成具有精确几何形状和神经颜色的网格,可以在通用硬件上实时渲染。
在这里插入图片描述

NeRFMeshing的关键组件是有符号表面近似网络 (SSAN: Signed Surface Appriximation Network),它训练后处理 NeRF 管道来定义底层表面和外观。 SSAN 估计截断符号距离场 (TSDF: Truncated Signed Distance Field) 和特征外观场,从而能够提取场景的 3D 三角形网格。 然后使用外观网络渲染该网格以生成与视图相关的颜色。

2、NeRFMeshing的优势

与替代方法相比,NeRFMeshing 具有多种优势。 它可以与任何 NeRF 架构相结合,从而轻松融入该领域的新进展。 该方法可以处理无界场景和复杂的非朗伯表面。 NeRFMeshing 还保持了神经辐射场的高保真度,包括视图相关的效果和反射,使其适合实时新颖的视图合成。

人们已经探索了学习有符号距离函数 (SDF: Signed Distance Field) 等替代方法来提取高质量网格,但通常需要额外的输入模式或固定网格模板。 另一方面,NeRFMeshing 利用 NeRF 的自适应能力来稳健地表示 3D 场景,而无需修改 NeRF 架构。 它克服了可微分网格光栅化器面临的优化问题,并实现了速度和几何精度。

NeRFMeshing 提供了一个端到端管道,用于利用 NeRF 的神经特征提取精确的 3D 网格。 该过程涉及从图像训练 NeRF 网络,然后将训练后的网络提炼到 SSAN 模型中。 该模型估计 TSDF 和外观场,从而可以提取 3D 网格。 生成的网格可以无缝集成到图形和模拟管道中,并实现依赖于视图的实时渲染。

NeRFMeshing 引入了一种从 NeRF 驱动的网络获取精确 3D 网格的新颖方法,解决了精确几何表示的挑战。 生成的网格可以实时渲染并提供高保真度,使其适合各种应用。 NeRFMeshing 的灵活性允许与不同的 NeRF 架构和未来的进步轻松集成。 该方法为真实 3D 场景和对象重建提供了可能性,从而实现基于物理的模拟、实时可视化和交互。


原文链接:NeRFMeshing网格提取 — BimAnt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/87631.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【算法与数据结构】404、LeetCode左叶子之和

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引,可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析:思路比较简单,遍历所有节点然后判断该节点是否为左叶子节点,如果是&#xff0c…

文件夹无法删除?简单3招,轻松解决问题!

“我电脑里有一个文件夹占用了很大的内存,我想将它删除来释放一些内存,但是根本没法删除,为什么会这样呢?文件夹无法删除应该怎么办呢?” 在日常电脑使用中,有时候会遇到文件夹无法删除的情况,这…

“互联网+”背景下燃气行业的数字化之路

文章来源:智慧美好生活 关键词:智慧燃气、智慧燃气场站、智慧燃气平台、设备设施数字化、数字孪生、工业互联网 近年来,随着互联网行业的发展,其影响力正在逐渐渗透到各个领域。在能源行业,各个互联网巨头与燃气企业…

STM32 CubeMX (H750)RGB屏幕 LTDC

STM32 CubeMX STM32 RGB888 LTDC STM32 CubeMX一、STM32 CubeMX 设置时钟树LTDC使能设置屏幕参数修改RGB888的GPIO 二、代码部分效果 RGB屏幕线束定义: 一、STM32 CubeMX 设置 时钟树 这里设置的时钟,关于刷新速度 举例子:LCD_CLK24MHz 时…

网易新财报:游戏稳、有道进、云音乐正爬坡

今年以来,AI大模型的火热程度屡屡攀升,越来越多的企业都加入到了AI大模型的赛场中,纷纷下场布局。而在众多参与者中,互联网企业的身影更是频频浮现,比如,百度、阿里巴巴、腾讯等等。值得一提的是&#xff0…

自然语言处理(三):基于跳元模型的word2vec实现

跳元模型 回顾一下第一节讲过的跳元模型 跳元模型(Skip-gram Model)是一种用于学习词向量的模型,属于Word2Vec算法中的一种。它的目标是通过给定一个中心词语来预测其周围的上下文词语。 这节我们以跳元模型为例,讲解word2vec的…

改进YOLO系列:6.添加ECA注意力机制

添加ECA注意力机制 1. ECA注意力机制论文2. ECA注意力机制原理3. ECA注意力机制的配置3.1common.py配置3.2yolo.py配置3.3yaml文件配置1. ECA注意力机制论文 论文题目:ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks 论文链接:ECA-N…

树模型与集成学习:LightGBM

目录 树模型与集成学习 LightGBM 的贡献 LightGBM 的贡献:单边梯度抽样算法 LightGBM 的贡献:直方图算法 LightGBM 的贡献:互斥特征捆绑算法 LightGBM 的贡献:深度限制的 Leaf-wise 算法 树模型与集成学习 树模型是非常好的…

基于SpringBoot的员工(人事)管理系统

基于SpringBoot的员工(人事)管理系统 一、系统介绍二、功能展示三.其他系统实现五.获取源码 一、系统介绍 项目名称:基于SPringBoot的员工管理系统 项目架构:B/S架构 开发语言:Java语言 前端技术:BootS…

HAproxy(四十七)

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 前言 一、概述 1.1 简介 1.2 核心功能 1.3 关键特性 1.4 应用场景 二、安装 1.内核配置 2.编译安装 ​3. 建立配置文件 4. 添加为系统服务 5. 添加3和5运行级别下自启动…

指针进阶详解

个人主页:点我进入主页 专栏分类:C语言初阶 C语言程序设计————KTV C语言小游戏 C语言进阶 欢迎大家点赞,评论,收藏。 一起努力,一起奔赴大厂。 目录 1.字符指针 2.指针数组 3.数组指针 4.数组传…

Gitlab设置中文

1. 打开设置 2.选择首选项Preferences 3. 下滑选择本地化选项Localization,设置简体中文,然后保存更改save changes。刷新网页即可。