元宇宙时代超高清视音频技术白皮书关于流媒体协议和媒体传输解读

流媒体协议

元宇宙业务场景对流媒体传输的实时性和互动性提出了更高的要求,这就需要在传统的 RTMP、SRT、 HLS 等基础上增加实时互动的支持。实时互动,指在远程条件下沟通、协作,可随时随地接入、实时地传递虚实融合的多维信息,身临其境的交互体验。实时互动作为下一代互联网基础设施,实现了从“在线”到“在场” 的重要转变,将推动互联网向以“临场感”为主要特征的元宇宙方向的升级变革,当前几个主流的技术方向如下。

 MPEG-DASH 是一项基于 HTTP 的动态自适应流传输技术,由 MPEG 在 2012 年推出。它不限制编码格式及内容,能够根据当前带宽容量、网络性能等情况自适应地实现不同码率之间的灵活切换,在为用户提供低卡顿体验的同时保证播放内容的质量。当前,MPEG-DASH 协议已成为全景视频的主要传输协议。

WebRTC 是一项实时通讯技术,早期由 Google 开源,实现了基于网页的实时通讯能力,并于 2021 年被万维网联盟(W3C)和互联网工程任务组(IETF)采纳为官方标准。WebRTC 可以实现超低延时、低卡顿的实时通讯效果,但是对虚拟现实内容面向元宇宙新的媒体类型媒体传输和交互支持不足。WebRTC-NV(Next Version)是下一代 WebRTC,是当前 WebRTC1.0 之后的标准,意在支持当前 WebRTC API 不可能或很难实现的新用例,比如 VR。主要是从通道扩展性、模块成熟和完善性、采集扩展性、独立的标准等 4 方面能力提升。

QUIC 是一项基于 UDP 的低时延通用传输协议,由 Google 推出,它从可靠传输、安全机制、时延等方面对 UDP 协议进行了优化,通过加密、流量控制、拥塞控制等技术,实现了更灵活、更安全、低时延的传输。目前,多个浏览器已支持 QUIC,比如 Google Chrome 浏览器、Microsoft Edge、Firefox 等。同时,该协议已广泛应用于移动端直播、短视频、高速图片文件下载等业务场景。

支撑元宇宙的算力网络架构图:

 综上所述,面向未来元宇宙沉浸式体验的需求,3D 视觉媒体信息的低时延高效传输是亟需解决的问题。因此,如何基于 3D 视觉信息的特点对传输协议进行优化以实现低时延传输将是传输协议进一步发展的方向。

媒体传输

元宇宙场景中需要支持多种类型的视音频数据传输,以及对实时性、互动性有较高的要求。

3GPP SA4 正在进行 5G_RTP、iRTCW 、FS_ eiRTCW 等标准研究项目,将针对沉浸的实时业务(如 XR 业务)的沉浸媒体和相关元数据的实时传输,以及沉浸的实时通信。

同时,MPEG 已制定或正在制定支持元宇宙场景的全景视频、多视点视频、点云数据等沉浸媒体的传输标准,使用扩展的 DASH/MMT 协议传输 MPEG 的沉浸媒体封装文件。

IETF 和 W3C 组织于 2021 年将 WebRTC 采纳为官方标准,目前也正在研究下一代 WebRTC 标准。

WebRTC 工作组正在开发媒体捕获和媒体流以及屏幕捕获等规范,同时审阅支持 WebRTC 新用例的技术提案;探索边缘计算对 Web 平台的影响以及有关用例和需求,在 Web 浏览器中整合网络质量监测和预测。为支持元宇宙中不同场景的媒体传输,将对潜在的媒体传输协议的功能扩展并优化使用(如 RTP 协议、 WebRTC 协议)、传输的功能组件等进行标准研究,以及对元宇宙中潜在的、新兴的沉浸媒体数据格式提供灵活的传输/访问机制(如基于空间的媒体访问,基于视角的媒体传输)进行标准研究,以提高传输效率,减少终端开销,增加沉浸体验,满足不同的业务场景。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/73606.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Blender增强现实3D模型制作指南【AR】

推荐:用 NSDT编辑器 快速搭建可编程3D场景 将静态和动画 3D 内容集成到移动增强现实 (AR) 体验中是增强用户沉浸感和参与度的高效方法。 然而,为 AR 创建 3D 对象可能相当艰巨,尤其是对于那些缺乏 3D 建模经验的人来说。 与添加视频或照片 AR…

python3 0基础学习----数据结构(基础+练习)

python 0基础学习笔记之数据结构 📚 几种常见数据结构列表 (List)1. 定义2. 实例:3. 列表中常用方法.append(要添加内容) 向列表末尾添加数据.extend(列表) 将可迭代对象逐个添加到列表中.insert(索引,插入内容) 向指定…

从零实战SLAM-第八课(非特征点的视觉里程计)

在七月算法报的班,老师讲的蛮好。好记性不如烂笔头,关键内容还是记录一下吧,课程入口,感兴趣的同学可以学习一下。 --------------------------------------------------------------------------------------------------------…

听GPT 讲Prometheus源代码--util

Prometheus的util目录包含了一些通用的工具模块,主要包含以下文件: buckets.go 这个文件定义了一些常用的指标采样值范围(Quantile buckets),如:0.001,0.01,0.05,0.5,0.9,0.95,0.99,0.999等。这些buckets常用于计算指标的分位数线。 regex.go 这个文件定义了一些正则表达式匹配…

[保研/考研机试] 杨辉三角形 西北工业大学复试上机题 C++实现

题目描述 Time Limit: 1000 ms Memory Limit: 256 mb 输入n值,使用递归函数,求杨辉三角形中各个位置上的值。 输入描述: 一个大于等于2的整型数n 输出描述: 题目可能有多组不同的测试数据,对于每组输入数据, 按题目的要求输…

过来,我告诉你个秘密:送给程序员男友最好的礼物,快教你对象学习磁盘分区啦!小点声哈,别让其他人学会了!

[原文连接:来自给点知识](过来,我告诉你个秘密:送给程序员男友最好的礼物,快教你对象学习磁盘分区啦!小点声哈,别让其他人学会了!) 再唱不出那样的歌曲 听到都会红着脸躲避 虽然会经常忘了我依然爱着你 …

最新k8s集群搭建教程

本次安装在vmware虚拟机下开启3台2核2g的Ubuntu20.04系统 master:192.168.192.137 node1:192.168.192.136 node2:192.168.192.138 关闭防火墙 先查看防火墙状态,如果是关闭就不用管 ufw status关闭selinux,如果没有安…

【数理知识】三维空间旋转矩阵的欧拉角表示法,四元数表示法,两者之间的转换,Matlab 代码实现

序号内容1【数理知识】自由度 degree of freedom 及自由度的计算方法2【数理知识】刚体 rigid body 及刚体的运动3【数理知识】刚体基本运动,平动,转动4【数理知识】向量数乘,内积,外积,matlab代码实现5【数理知识】最…

Excel设置某列或者某行不某行不可以编辑,只读属性

设置单元格只读的三种方式: 1、通过单元格只读按钮,设置为只为 设置行或者列的只读属性,可以设置整行或者整列只读 2、设置单元格编辑控件为标签控件(标签控件不可编辑) 3、通过锁定行,锁定行的修改。锁定的行与只读行的区别在于锁定的行不…

搭建私有镜像仓库Harbor

目录 系统环境: 安装Docker-Compose 下载并安装Harber 启动Harbor!!! 系统环境: Centos7.9Docker-ce:24 安装Docker-Compose curl -L "https://github.com/docker/compose/releases/download/v2.20…

【SLAM】ORBSLAM34macOS: ORBSLAM3 Project 4(for) macOS Platform

文章目录 配置ORBSLAM34macOS 版本运行步骤:版本修复问题记录:编译 fix运行 fix 配置 硬件:MacBook Pro Intel CPU 系统:macOS Ventura 13.4.1 ORBSLAM34macOS 版本 https://github.com/phdsky/ORB_SLAM3/tree/macOS 运行步骤&…

SpringBoot + Vue 微人事(十二)

职位批量删除实现 编写后端接口 PositionController DeleteMapping("/")public RespBean deletePositionByIds(Integer[] ids){if(positionsService.deletePositionsByIds(ids)ids.length){return RespBean.ok("删除成功");}return RespBean.err("删…