发表于《自然》杂志:语音转文本BCI的新突破实现62字/分钟的速度

2023-08-31T04:41:22.png

语音脑机接口(BCI)是一项创新技术,通过用户的大脑信号在用户和某些设备之间建立通信通道,它们在恢复残疾患者的言语和通信能力方面具有巨大潜力。

早期的研究虽然很有希望,但尚未达到足够高的精度来解码大脑活动,以促进从大量词汇中交流不受约束的句子。

为了弥合这一差距,在一篇新论文《高性能言语神经假体》中,来自斯坦福大学、华盛顿大学圣路易斯分校、弗吉尼亚州RR&D神经恢复和神经技术中心、布朗大学、哈佛医学院的研究小组提出了一种高性能的语音转文本BCI,能够以62个单词/分钟的速度处理来自大词汇的不受约束的句子, 这大大超过了瘫痪患者传统技术的通信速率。

2023-08-31T04:42:02.png

该团队首先通过记录BrainGate2试点临床试验中的神经活动,研究了运动皮层中口腔面部运动和言语产生的组织方式。他们发现,在6v区,所有类别的测试运动都有很强的调节性。

接下来,他们探索了每次运动的信息如何在6v区域分布,他们发现腹侧阵列的语音解码率更准确,而背侧阵列携带更多的口面部运动信息。然而,6v阵列包含所有运动类别的丰富信息。最后,所有语音发音器都可以在 3.2 × 3.2 mm^2 数组中清晰表示。

接下来,他们探索了每个动作的信息是如何分布在6v区域的,他们发现腹侧阵列的语音解码率更准确,而背侧阵列携带更多的口面动作信息。尽管如此,6v阵列包含了所有运动类别的丰富信息。最后,所有的语音咬合架都可以在3.2×3.2毫米^2的阵列内清晰地表示出来。

2023-08-31T04:42:27.png

展望未来,研究人员测试了他们是否可以实时中立地解码整个句子。他们利用改编自现代语音识别的自定义机器学习方法来训练递归神经网络 (RNN),从而在有限数量的神经数据上实现高性能。

2023-08-31T04:42:43.png

通过利用他们的所有观察结果,所提出的方法在33个口脸运动中实现了92%的解码准确率解码,在39个音素中实现了62%的解码准确度,在50个单词中实现了94%的解码准确。此外,语音到文本的脑机接口达到了每分钟62个单词的速度。

结果验证了所提出的语音BCI向前迈进了一步,以恢复与说话困难的人的快速沟通。据研究人员所知,这是语音BCI首次显着超过瘫痪患者所有现有技术的通信速率。

论文《自然界上的高性能言语神经假体》。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/92262.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django实现音乐网站 ⒂

使用Python Django框架制作一个音乐网站, 本篇主要是歌手详情页-基本信息、单曲列表功能开发实现内容。 目录 歌手基本信息 增加路由 显示视图 模板显示 推荐歌手跳转详情 歌手增加基本信息 表模型增加字段 数据表更新 基本信息增加内容渲染 歌手单曲列表…

three.js(三):three.js的渲染结构

three.js 的渲染结构 概述 three.js 封装了场景、灯光、阴影、材质、纹理和三维算法,不必在直接用WebGL 开发项目,但有的时候会间接用到WebGL,比如自定义着色器。three.js 在渲染三维场景时,需要创建很多对象,并将它…

详细教程-Chatbot具体需要如何搭建

最近建设企业专属的帮助中心或者博客是很流行的趋势,尤其是在AI功能的介入下,可以帮到企业和用户进行更自助的操作。但是很多企业会遇到以下问题:我们已经有了一个原有的知识库了,再建设一个新的需要把数据迁移。这个操作很麻烦和…

《Linux从练气到飞升》No.19 进程等待

🕺作者: 主页 我的专栏C语言从0到1探秘C数据结构从0到1探秘Linux菜鸟刷题集 😘欢迎关注:👍点赞🙌收藏✍️留言 🏇码字不易,你的👍点赞🙌收藏❤️关注对我真的…

Matlab图像处理-灰度插值法

最近邻法 最近邻法是一种最简单的插值算法,输出像素的值为输入图像中与其最邻近的采样点的像素值。是将(u0,v0)(u_0,v_0)点最近的整数坐标u,v(u,v)点的灰度值取为(u0,v0)(u_0,v_0)点的灰度值。 在(u0,v0)(u_0,v_0)点各相邻像素间灰度变化较小时,这种方…

Vue/React 项目部署到服务器后,刷新页面出现404报错

问题描述:在本地启动项目一切正常,部署到服务器上线后出现BUG,项目刷新页面出现404。 起初以为是自己路由守卫或是token丢失问题,找了一圈终于解决了 产生原因:我们打开vue/react打包后生成的dist文件夹,可…

day27 String类 正则表达式

String类的getBytes方法 String s "腻害"; byte[] bytes s.getBytes(StandardCharsets.UTF_8); String类的new String方法 String ss "ss我的"; byte[] gbks ss.getBytes("gbk"); String gbk new String(gbks, "gbk"); String类的…

jmeter源码二次开发

本文以jmeter5.5为例,扩展“TCP Socket支持定长的返回字节流”功能。 一、 源码本地编译运行 1、在jmeter官网下载源码:jmeter各版本源码地址 2、在idea中用gradle导入jmeter源码,idea中要配置jdk,gradle,我用的是j…

Leetcode213 打劫家舍2

思路&#xff1a;既然头尾不能同时取&#xff0c;那就分别算只取头或者只取尾&#xff0c;不考虑特殊情况的话是一个简单的动态规划 class Solution:def rob(self, nums: list[int]) -> int:if len(nums) < 3:return max(nums)max_sum [nums[0], max(nums[1], nums[0])…

NoSQL基础

零、文章目录 NoSQL基础 1、为什么要用NoSQL &#xff08;1&#xff09;单机单数据库时代 网络不发达的时代&#xff0c;一个系统由一台机器&#xff0c;一个数据库来实现&#xff0c;只要流量上来&#xff0c;首先性能瓶颈就是数据库IO。 &#xff08;2&#xff09;Cache数…

掌握逻辑漏洞复现技术,保护您的数字环境

环境准备 这篇文章旨在用于网络安全学习&#xff0c;请勿进行任何非法行为&#xff0c;否则后果自负。 1、支付逻辑漏洞 攻击相关介绍 介绍&#xff1a; 支付逻辑漏洞是指攻击者利用支付系统的漏洞&#xff0c;突破系统的限制&#xff0c;完成非法的支付操作。攻击者可以采…

Docker部署RustDesk Server 设置开机自启

三、Docker安装 Docker官方和国内daocloud都提供了一键安装的脚本&#xff0c;使得Docker的安装更加便捷。 官方的一键安装方式&#xff1a; curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 国内 daocloud一键安装命令&#xff1a; curl -sSL https://…