Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置(上)

Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置

  • 一、前言
  • 二、MRTK基础知识
    • 2.1 MRTK概述
    • 2.2 MRTK运行逻辑
    • 2.3 MRTK配置文件介绍
    • 2.4 MRTK服务
  • 三、配置文件使用
    • 3.1 总配置文件
    • 3.2 相机配置
    • 3.3 其他配置
  • 参考文献

一、前言

在前面的文章中,我们已学习了使用MRTK在Unity中设置混合现实场景并进行程序模拟,其中,对于检查器中MRTK的各项配置大家可能还难以捉摸。虽然微软官方为我们提供了一些使用教程,但内容却缺乏对项目的针对性,使我们在了解过程中,难以确定某些设置是否是我们所需要的,这样设置是否正确。因此本文在介绍这些配置之前,先对MRTK的基础知识进行讲解,然后再对具体配置进行介绍。下面,让我们开始吧。
MRTK

二、MRTK基础知识

2.1 MRTK概述

MRTK是一个由微软公司驱动的统一、跨平台、支持AR/MR/VR设备开发的框架。它支持如Hololens、HTC、Oculus等多种设备,并添加了多种对不同XR插件的支持,如OpenXRWindows XRARCore XR等,各个XR SDK对应着不同类型的设备和平台,在Unity编辑器的项目设置中,我们可以在选择指定平台后找到其对应的XR插件,如下图所示。
XR SDK
具体来说,MRTK本身提供了一系列预构建的组件和服务,包括输入系统、交互对象、空间感知、UI元素以及演示场景等,但它并不直接处理底层XR平台的具体实现细节,比如硬件驱动通信或操作系统级的接口调用,而XR SDK则是专门用来整合和管理特定XR功能的软件开发套件,它们通常提供更底层的API来访问和控制硬件的功能,例如眼动追踪、手势识别、空间定位等。不同的XR SDK针对不同的硬件平台进行优化,以确保应用程序能够充分利用各个平台的独特功能。针对HoloLens 2我们通常使用OpenXR来进行项目的编写和构建。如需针对其他平台配置MRTK,请参考微软官方文档。
MRTK利用Unity配置MR应用的所有功能特性,需要我们使用配置文件Profiles对这些功能进行管理,通过配置文件,我们不仅可以定制所有功能,还可以替换掉默认的功能执行方式来执行自己的逻辑。·

2.2 MRTK运行逻辑

区分于Unity对象管理和生命周期控制的核心逻辑以及程序设计的核心逻辑(通过继承MonoBehaviour类依靠对象的事件函数编写应用,或使用单例模式控制共享运行组件),为保障AR/MR应用对全局内容和全部生命周期的控制,MRTK把所有需要共享运行的组件改成了服务(Service),构建了一个服务容器,对上提供服务,对下执行具体实现,大大提高了整体框架的灵活性和可扩展性。参考MRTK2体系结构概述,其体系架构如下图所示。
MRTK体系架构
MRTK有多个核心服务,其互相配合或独立运行,全部共享相同的生命周期——启动、注册、更新和卸载,该生命周期与Unity的MonoBehaviour生命周期不同。MRTK对象(即之前提到的MixedRealityToolkit对象)用于管理其服务的生命周期和运行,此对象可确保程序开始时,服务的启动和初始化按预定义的顺序进行。
在结构的最上层,MRTK采用事件驱动,通过MixedRealityToolkit对象内挂载的Unity对象函数,处理来自Unity分发的事件消息,实现Unity消息与MRTK服务之间的通信,确保数据从低层级通过事件处理函数向高层级之间的流通。

2.3 MRTK配置文件介绍

MRTK通过使用配置文件定义应用程序的功能和其适用的目标设备,因此,错误的配置文件可能会导致程序在指定设备上无法运行。MRTK有一个总体的配置文件,该配置文件是一个可编程对象,用于存储全局数据,同时其又包含了许多子配置文件的定义,形成了一个配置文件树,与此对应的,在配置面板(选中MixedRealityToolkit对象后,Inspector检查器中会自动添加MixedRealityToolkit的配置面板)上我们不难发现,每一个标签页面都有其相关的配置文件选择,如下图所示。
MRTK配置文件介绍
配置文件指导了MRTK的运行有哪些功能,这些功能大都以服务形式提供,因此,配置文件的正确使用很关键。在了解这些配置文件之前,请先行继续了解MRTK的服务基础知识。

2.4 MRTK服务

MRTK中的服务可分为三类:原生服务扩展服务数据提供者。MRTK负责协调处理服务间的交互,确保服务得到所需的事件消息(AwakeInitializeUpdateDestroy等)。MRTK的服务通过服务容器进行管理,服务容器的实现通过MixedRealityServiceRegistry类,它是服务的所有者,原生服务扩展服务都必须先在它上面注册才能使用。
原生服务顾名思义,是MRTK官方的服务类型,它提供了混合现实的核心功能服务,包含相机(Camera)输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 七个模块。如果用户希望定义自己的服务处理逻辑,可继承BaseService或实现IMixedRealityService接口,以正确地被MixedRealityServiceRegistry服务容器管理。由开发人员创建的服务都称为扩展服务,MRTK在配置面板上提供了可视化的服务创建向导,后续将对其进行详细介绍。
数据提供者向特定服务(输入、空间感知)提供支持,所有数据提供者都需要实现IMixedRealityDataProvider接口,同时必须在服务配置文件中配置才能在MRTK中使用。

三、配置文件使用

微软官方为我们提供了配置文件配置指南,每个项目都需要根据项目功能、目标设备等进行配置。下面是针对Hololens 2设备配置文件的详细介绍。

3.1 总配置文件

MRTK的总配文件在配置面板的最上端,提供了若干默认配置。参考微软文档配置文件,其中,DefalutLeapMotionConfigurationProfile是用于配置手部追踪的特定配置文件,OpenXRConfigurationProfile是与OpenXR兼容设备的一个配置文件,OpenXR是一个由Khronos Group维护的开放标准,旨在简化和统一跨增强现实(AR)和虚拟现实(VR)平台的应用开发过程。而以Obsolete开头的,是已过时的配置文件,通常用于Unity 2019以前版本。
针对HoloLens设备,DefaultMixedRealityToolkitConfigurationProfile是一个通用配置文件,它未针对任何特定用例进行优化,可同时适用于HoloLens第一代和第二代设备。如果想要使用更适合其他平台的更高性能/具体的设置,可选择DefaultHoloLens2ConfigurationProfile或针对HoloLens1的DefaultHoloLens1ConfigurationProfile
总配置文件
DefaultHoloLens2ConfigurationProfile配置文件与通用配置文件DefaultMixedRealityToolkitConfigurationProfile之间的主要区别是启用了眼动追踪和视线输入模拟,而禁用了边界系统、传送系统等功能。
为了确保默认配置的有效性,MRTK锁定了默认配置文件的修改,因此我们需要通过Clone按钮来新建和定制自己的配置文件。
默认情况下,配置文件均位于项目根目录的Assets\MixedRealityToolkit.Generated\CustomProfiles文件夹中,您可在该目录找到针对您项目生成的配置文件。

3.2 相机配置

相机配置文件定义了所使用的渲染相机参数,该配置文件由主配置文件管理,在配置前,首先要确保相机系统的开启,即Enable Camera System被勾选。然后Camera System Type选择默认即可,它是MRTK预定的基础的摄像机系统类型,MRTK提供的默认类实现是MixedRealityCameraSystem,这块只有一种选项,暂时无需纠结,微软官方也尚未对其进行解释(如果您找到了相关说明感谢在文章下方分享并评论)。然后,根据需求选择所需的配置文件,Clone即可。此时,配置面板出现如下相机设置内容。
在这里插入图片描述
Camera Settings Providers相机设置提供程序负责处理与混合现实应用中的相机相关的设置和行为,它是为了处理不同混合现实平台和设备特定的相机设置需求而设计的,以增强不同的MR头戴式设备的不同的光学参数、渲染要求和立体视觉实现方式下的跨平台兼容性,并对镜头畸变、空间感知等进行优化。并非所有平台都需要相机设置提供程序。如果没有与运行应用程序的平台兼容的提供程序,Microsoft 混合现实工具包将应用基本默认值。同时,我们也可以针对自己的平台创建相机设置提供程序,详细可参考这篇文章。对于HoloLens 2应用开发,我们选择其默认的配置即可。
Display Setting显示设置是相机运用时的一些配置设置,包含Opaque(不透明的,针对VR)和Transparent(透明的,针对MR)两组设置,对于HoloLens 2,我们只需设置Transparent内容即可。其中包含近平面/远平面(元素渲染的最近最远距离,以为单位,建议为0.1和50)、清除标志(绘制过程中或帧刷新时内容,对于VR,此值设置为Skybox, 对于MR,设置为Color)、背景色(如果清除标志未设置为 Skybox,则将显示背景色属性)和图形质量
关于更多相机系统的概述,请参考微软官方文档相机系统概述 — MRTK2及其同级目录下的文件。

3.3 其他配置

除了前面提到的相机(Camera)配置,还包含输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 等内容,而文章不宜过长,接下来的博客内容中,我将对其进行介绍。其中,**输入(Input)**尤为重要,MRTK所面对的输入错综复杂,除了前面提到的输入模拟外,还有实际的手势、语音、手柄、控制器等多种类型的输入设备,很多功能也建立在其之上,同时,我们也可以创建自己的输入。
在接下来的专栏中,我将用一篇文章详细全面地介绍输入配置的相关内容,感谢大家持续关注!!!

参考文献

[1] 汪祥春.HoloLens 2开发入门精要:基于Unity和MRTK[M]. 北京:清华大学出版社,2021.
[2] MRTK2-unity开发文档[EB/OL].https://learn.microsoft.com/zh-cn/windows/mixed-reality/mrtk-unity/mrtk2,2022.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/505842.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【python】1.python3.12.2和pycharm社区版的安装指南

欢迎来CILMY23的博客喔,本篇为【python】1.python3.12.2和pycharm社区版的安装指南,感谢观看,支持的可以给个一键三连,点赞关注收藏。 目录 一、python3.12.2的下载与安装 1.1下载 1.2安装 二、pycharm的安装 2.1下载安装 2…

【C语言】文件及文件操作详解(fseek,ftell,rwind)

目录 1. 为什么使用文件 2. 什么是文件 2.1 程序文件 2.2 数据文件 2.3 文件名 3. 二进制文件和文本文件 4. 文件的打开和关闭 4.1 流和标准流 4.1.1 流 4.1.2 标准流 4.2 文件指针 4.3 文件的打开和关闭 5. 文件的顺序读写 6.文件的随机读写 6.1 fseek 6.2 ft…

PySide6+VSCode Python可视化环境搭建

#记住在cmd中运行,不要在vscode里运行,否则env会装到工程目录下 python -m venv env #env\Scripts\activate.bat pip install pyside6 下载本期源码 vscode装一个PYQT Integration插件,设置好两个路径(下面有个脚本用于获取路径&…

物联网与智慧城市:融合创新,塑造未来城市生活新图景

一、引言 在科技飞速发展的今天,物联网与智慧城市的融合创新已成为推动城市发展的重要力量。物联网技术通过连接万物,实现信息的智能感知、传输和处理,为智慧城市的构建提供了无限可能。智慧城市则运用物联网等先进技术,实现城市…

docker三剑客compose+machine+swarm小结

背景 在容器领域,不少公司会使用docker三剑客composemachineswarm进行容器编排和部署,本文就简单记录下这几个工具的用法 三剑客composemachineswarm compose compose主要是用于容器编排,我们部署容器时,容器之间会有依赖&…

Leetcode630. 课程表 III

Every day a Leetcode 题目来源:630. 课程表 III 解法1:反悔贪心 经验告诉我们,在准备期末考试的时候,先考的课程先准备。同理,lastDay 越早的课程,应当越早上完。但是,有的课程 duration 比…

Vue开发实例(四)Element-UI部分组件使用方法

Element-UI的使用 一、Icon图标的使用1、用 i 标签使用图标 二、用 el-button 使用图标1、使用type定义样式2、使用plain定义样式3、使用round定义样式4、使用circle定义样式5、带图标和文字的按钮6、按钮禁用7、文字按钮8、按钮组9、加载中 三、Link 文字链接1、基础用法2、禁…

Stable Diffusion WebUI API http://127.0.0.1:7860/docs空白

在尝试调用Stable Diffusion WebUI API的时候,打开http://127.0.0.1:7860/docs遇到了以下页面 网络诊断是这样的原因: 修bug,改来改去遇到了以下两种页面: 此时http://127.0.0.1:7860可以如下正常显示: 查资料的时候找…

基于springboot+vue的科研工作量管理系统

博主主页:猫头鹰源码 博主简介:Java领域优质创作者、CSDN博客专家、阿里云专家博主、公司架构师、全网粉丝5万、专注Java技术领域和毕业设计项目实战,欢迎高校老师\讲师\同行交流合作 ​主要内容:毕业设计(Javaweb项目|小程序|Pyt…

php儿童服装销售管理系统计算机毕业设计项目包运行调试

php mysql儿童服装销售网 功能:前台后台 前台: 1.服装资讯 文章标题列表 详情 2.服装选购中心 分页查看图文列表 详情 3.用户注册 登陆 退出 4.服装加入收藏 5.加入购物车 6.对服装进行评论 会员中心: 1.我的账户 查看 修改 2.我的收藏 查看 …

模型部署 - onnx 的导出和分析 -(1) - PyTorch 导出 ONNX - 学习记录

onnx 的导出和分析 一、PyTorch 导出 ONNX 的方法1.1、一个简单的例子 -- 将线性模型转成 onnx1.2、导出多个输出头的模型1.3、导出含有动态维度的模型 二、pytorch 导出 onnx 不成功的时候如何解决2.1、修改 opset 的版本2.2、替换 pytorch 中的算子组合2.3、在 pytorch 登记&…

查看php版本

查看PHP版本有多种方法,下面列出几种常见的: 命令行方式: 在命令行中输入以下命令以显示PHP的完整版本信息: php -v 如果系统中存在多个PHP版本,并且你想检查特定版本,可以指定该版本的路径执行相同命令。 …