机器学习赋予用户“超人”的能力来打开和控制虚拟现实中的工具

原创 | 文 BFT机器人 

图片

最近,剑桥的研究人员开发了一种虚拟现实应用程序,只需用户手部的移动即可打开和控制一系列3D建模工具。

来自剑桥大学的研究人员利用机器学习开发了“HotGestures”类似于许多桌面应用程序中使用的热键(快捷键)。HotGestures使用户能够在虚拟现实中构建图形和形状,而无需与菜单交互,帮助他们专注于任务,而且不会打乱思路。

几十年来,能够在虚拟现实中打开和控制工具的这一想法一直是电影中才会出现,研究人员表示,这是第一次使这种“超人”能力成为现实。该研究结果还发表在《IEEE可视化与计算机图形学汇刊》杂志上。

多年来,虚拟现实(VR)和相关应用一直被誉为游戏规则改变者,但在游戏之外,它们这种作用效能尚未完全实现。领导这项研究的剑桥大学工程系教授佩尔·奥拉·克里斯滕森(Per Ola Kristensson)表示:“用户在使用VR时获得了一些品质,但很少有人愿意长时间使用它。” 除了视觉疲劳和人体工程学问题之外,VR并没有真正提供在现实生活中无法获得的东西。

大多数桌面软件用户都会熟悉热键(快捷键)的概念——命令快捷方式,例如用于复制的ctrl+c和用于粘贴的ctrl+v。虽然这些快捷方式不需要打开菜单来查找正确的工具或命令,但它们依赖于用户记住要记得住并且正确下达指示。

人工智能中心以及相关研究人员希望采用热键(快捷键)的概念,并将其转变为对虚拟现实更有意义的东西—— 一种不依赖于用户脑中已经有快捷键的东西。人工智能中心Kristensson和他的同事开发了“HotGestures”,而不是热键(快捷键),用户可以通过用手势来打开和控制他们在3D虚拟现实环境中所需的工具。

“HotGestures”能够简单便捷的方式来帮助用户完成操作指令,例如,执行切割运动会打开剪刀工具,而执行喷射运动会打开喷雾罐工具。用户无需打开菜单来查找所需的工具,也无需记住特定的快捷方式。用户可以通过在任务期间执行不同的手势来在不同的工具之间无缝切换,而无需暂停工作来浏览菜单或按下控制器或键盘上的按钮。

克里斯滕森说:“在现实世界中,我们都用手进行交互,因此将这种交互所形式扩展到虚拟世界是有意义的。”

在这项研究中,研究人员构建了一个神经网络手势识别系统,可以通过对传入的手部关节数据流进行预测来识别手势。该系统旨在识别与构建3D模型相关的十种不同手势信息:钢笔、立方体、圆柱体、球体、调色板、喷涂、剪切、缩放、复制和删除。

该团队进行了两项小型研究,参与者使用HotGestures、菜单命令或组合。基于手势的技术为工具选择和使用提供了快速有效的快捷方式。参与者发现HotGesture独特、快速且易于使用,同时还补充了传统的基于菜单的交互。研究人员设计的系统不会出现错误激活——基于手势的系统能够正确识别什么是命令,什么是正常的手部动作。总体而言,基于手势的系统比基于菜单的系统更快。

目前还没有可用的VR系统可以做到这一点,克里斯滕森说:“如果使用VR就像使用键盘和鼠标一样,那么使用它还有什么意义?它需要给你几乎超人的力量,这是你在其他地方无法获得的。”

研究人员已公开源代码和数据集,以便VR应用程序的设计者可以将其整合到他们的产品中。

希望这成为与VR交互的标准方式,几十年来一直使用的以文件柜为基点的方式,已不再适应时代发展的需求。我们需要与技术交互的新方式,我们认为这是朝这个方向迈出的一步。如果做得好,VR可以像魔法一样。

该研究得到了英国研究与创新 (UKRI) 旗下工程和物理科学研究委员会 (EPSRC) 的部分支持。

注:若您对该文章内容有任何疑问,请与我们联系,将及时回应。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/195463.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++】一文全解C++中的异常:标准库异常体系&自定义异常体系(含代码演示)

前言 大家好吖,欢迎来到 YY 滴C系列 ,热烈欢迎! 本章主要内容面向接触过C的老铁 主要内容含: 欢迎订阅 YY滴C专栏!更多干货持续更新!以下是传送门! 目录 一.C语言传统的处理错误的方式二.C异常…

MVSNet论文笔记

MVSNet论文笔记 摘要1 引言2 相关基础2.1 多视图立体视觉重建(MVS Reconstruction)2.2 基于学习的立体视觉(Learned Stereo)2.3 基于学习的多视图的立体视觉(Learned MVS) Yao, Y., Luo, Z., Li, S., Fang,…

2024年csdn最新最全面的fiddler教程【1】

Fiddler简介 Fiddler是比较好用的web代理调试工具之一,它能记录并检查所有客户端与服务端的HTTP/HTTPS请求,能够设置断点,篡改及伪造Request/Response的数据,修改hosts,限制网速,http请求性能统计&#xff…

三极管-开关电路-电路电子-嵌入式开发-物联网开发-电子元件

一、概述 本文我们主要讲解电子电路中十分重要的元件--三极管。三极管常常被用来当作开关或作为放大电流的作用,下面我们将主要围绕着其作为开关电路的使用来介绍三极管。 二、分类 学习三极管前,我们必须认识三极管的三级,包含箭头的一端为发…

第93步 深度学习图像分割:PSPNet建模

基于WIN10的64位系统演示 一、写在前面 本期,我们继续学习深度学习图像分割系列的另一个模型,PSPNet。 二、PSPNet简介 (1)金字塔池化模块 (Pyramid Pooling Module) PSPNet的核心是其金字塔池化模块,该模块能够捕…

【Python仿真】基于EKF的传感器融合定位

基于EKF的传感器融合定位(Python仿真) 简述1. 背景介绍1.1. EKF扩展卡尔曼滤波1.1.1.概念1.1.2. 扩展卡尔曼滤波的主要步骤如下:1.1.3. 优、缺点 1.2. 航位推算1.3. 目前航位算法的使用通常与卡尔曼滤波相结合使用2. 分段代码 2.1. 导入需要的…

ERR:Navicat连接Sql Server报错

错误信息:报错:未发现数据源名称并且未指定默认驱动程序。 原因:Navicat没有安装Sqlserver驱动。 解决方案:在Navicat安装目录下找到sqlncli_x64.msi安装即可。 一键安装即可。 Navicat链接SQL Server配置 - MarchXD - 博客园 …

Selenium UI 自动化

一、Selenium 自动化 1、什么是Selenium? Selenium是web应用中基于UI的自动化测试框架。 2、Selenium的特点? 支持多平台、多浏览器、多语言。 3、自动化工作原理? 通过上图,我们可以注意到3个角色,下面具体讲解一…

【2017年数据结构真题】

请设计一个算法,将给定的表达式树(二叉树)转换成等价的中缀表达式(通过括号反映次序),并输出。例如,当下列两棵表达式树作为算法的输入时: 输出的等价中缀表达式分别为(ab)(a(-d)) 和…

数电实验-----实现74LS139芯片扩展为3-8译码器以及应用(Quartus II )

目录 一、74LS139芯片介绍 芯片管脚 芯片功能表 二、2-4译码器扩展为3-8译码器 1.扩展原理 2.电路图连接 3.仿真结果 三、3-8译码器的应用(基于74ls139芯片) 1.三变量表决器 2.奇偶校验电路 一、74LS139芯片介绍 74LS139芯片是属于2-4译码器…

小迪笔记(1)——操作系统文件下载反弹SHELL防火墙绕过

名词解释 POC:验证漏洞存在的代码; EXP:利用漏洞的代码; payload:漏洞利用载荷, shellcode:漏洞代码, webshell:特指网站后门; 木马:强调控制…

JSP命令标签 静态包含/动态包含

好 下面我们聊聊JSP中的指令标签 这边 我们来说两个 分别是 静态包含 和 动态包含 我们可以将重用性代码包含起来 更好的使用 比如 我们界面上中下 分别有三个导航栏 那么 如果你写三份 就会出现很多重复代码 而且 改起来 也很不方便 要一次改三份 口说无凭 我们来做一个小案…