用于视频稳定的3D多帧融合
介绍了一种新的视频稳定框架RStab，它通过体绘制集成了3D多帧融合。与传统方法不同，引入了一种3D多帧视角来生成稳定的图像，解决了在保持结构的同时生成全帧的挑战。改进的RStab框架的核心在于稳定渲染（SR），这是一个体绘制模块，融合了3D空间中的多帧信息。具体来说，SR涉及通过投影从多个帧中扭曲特征和颜色，将它们融合到描述符中以渲染稳定的图像。然而，扭曲信息的精度取决于投影精度，这是一个受到动态区域显著影响的因素。作为回应，引入了自适应射线范围（ARR）模块来集成深度先验，自适应地定义投影过程的采样范围。此外，提出了颜色校正（CC），通过光学功能辅助几何约束，以实现精确的颜色聚合。得益于这三个模块，与之前的稳定器相比，RStab在视场（FOV）、图像质量和各种数据集的视频稳定性方面表现出了卓越的性能。
用于视频稳定的3D多帧融合框架概述，如图4-33所示。
图3-33 用于视频稳定的3D多帧融合框架概述
在图4-33中，（1）给定输入框架
，轨迹不稳定
，目的在于渲染稳定的视频序列
，轨迹
。这里，输入轨迹
=1来自预处理，而平滑轨迹
是使用轨迹平滑模块生成的。（2） 除了
=1，深度图
和光学功能
在预处理过程中可以获得1。汇总
使用自适应光线范围模块将光线范围
转换为1。射线范围
，以及
和平滑轨迹
用作稳定渲染模块的输入。通过颜色校正模块增强的稳定渲染，融合了输入帧
及其特征
，渲染稳定的视频序列
=1。
