混合注意力机制全新工作!性能表现SOTA!准确率达98.53%

在神经网络中,为增强模型对数据中重要特征的识别和处理能力,研究者们通常会同时使用不同类型的注意力机制,包括空间注意力、通道注意力、自注意力等。这种结合了多种不同类型注意力机制的技术就是混合注意力机制。

混合注意力机制的研究和应用是深度学习领域的一个热点,它可以帮助模型聚焦于输入数据中的关键部分,从而有效地提升模型的性能,特别是在处理需要同时考虑多个因素的复杂任务时。

这种机制在计算机视觉、自然语言处理等领域都有广泛的应用,并且随着研究的深入,研究者们提出了更多创新性的混合注意力模型。比如XPixel团队提出的混合注意力机制HAT、分类准确率达98.53%的AHANet。

  • HAT:结合了通道注意力,自注意力以及一种新提出的重叠交叉注意力等多种注意力机制。在图像超分辨率任务上大幅超越了当前最先进方法的性能(超过1dB)。

  • YOLO+混合注意力机制:结合坐标注意力机制与EMSA的混合注意力机制。mAP达到91.5%,比Yolov5高4.3%,并优于其他比较算法。

本文介绍13种最新的混合注意力机制创新方案与应用实例,配套模型与开源代码都整理了。

论文和代码需要的同学看文末

YOLO algorithm with hybrid attention feature pyramid network for solder joint defect detection

方法:提出一种混合注意力机制,以改善特征金字塔网络的特征融合能力,并将改进后的特征金字塔网络应用于YOLOv5检测模型,提高对焊接点缺陷的检测能力,解决小缺陷低检测率的问题,并增强缺陷检测模型的通用适用性。

创新点:

  • 提出了一种新颖的增强型多头自注意机制(EMSA),以增强网络感知上下文信息的能力,提高网络对特征的利用范围,并使网络具有更强的非线性表达能力。

  • 将坐标注意机制(CA)与EMSA相结合,设计了混合注意机制(HAM)网络,解决了特征金字塔网络中浅层特征丢失的问题,增加了网络感知远程位置信息和学习局部特征的能力。

Activating More Pixels in Image Super-Resolution Transformer

方法;提出了一种基于混合注意机制的Transformer (Hybrid Attention Transformer, HAT)。该方法结合了通道注意力,自注意力以及一种新提出的重叠交叉注意力等多种注意力机制。此外,还提出了使用更大的数据集在相同任务上进行预训练的策略。

创新点:

  • 提出了一种新颖的混合注意力变换器(HAT),结合了通道注意力和基于窗口的自注意力机制,以激活更多的像素以实现更好的重建效果。

  • 引入了一个重叠的交叉注意力模块,增强了相邻窗口特征之间的交互作用。

  • 采用了同一任务的预训练策略来进一步挖掘模型的潜力,并通过扩大模型规模来展示该方法在任务中的巨大改进。

AHANet: Adaptive Hybrid Attention Network for Alzheimer’s Disease Classification Using Brain Magnetic Resonance Imaging †

方法:提出了一种自适应混合注意力网络(AHANet),用于阿尔茨海默病(AD)和轻度认知障碍(MCI)的分类。该网络采用了两个注意力模块,即增强的非局部注意力(ENLA)和坐标注意力。ENLA模块在全局范围内提取空间和上下文信息,同时捕捉重要的长程依赖关系。坐标注意力模块从输入图像中提取局部特征,并将位置信息嵌入到通道注意力机制中以增强特征提取。

创新点:

  • 提出的AHANet是一种新颖的基于注意力的自适应特征融合框架,用于AD和MCI的分类。AHANet通过多个注意力机制的结合,有效地捕捉到全局和局部信息,从而提高了分类性能。

  • AHANet引入了Enhanced Non-Local Attention(ENLA)和Coordinate Attention模块,用于从脑区提取显著的全局和局部信息。ENLA模块通过非局部操作捕获全局特征,而Coordinate Attention模块捕获跨通道、方向感知和位置敏感的信息,以提高性能。

  • 提出了自适应特征聚合(AFA)模块,用于有效地融合前一层提取的全局和局部特征。全局特征引导局部特征集中于保留空间信息以进行精确定位和改进学习能力。此外,它抑制了不必要的背景噪声,仅利用重要信息进行准确分类。

Physics Inspired Hybrid Attention for SAR Target Recognition

方法:论文提出了一种基于物理模型的混合注意机制,用于合成孔径雷达(SAR)目标识别。该方法将物理信息与注意机制相结合,通过激活并引导关注特定的特征组,从而重新权衡特征的重要性。该方法灵活适用于不同类型的物理信息,并可以集成到任意深度神经网络中。

创新点:

  • 引入了基于物理驱动的混合注意力机制(PIHA),该机制将物理信息的语义先验与注意力机制相结合,提高了SAR目标识别的性能。

  • 设计了一种物理驱动的注意力模块(PASE),该模块利用SAR目标的物理信息进行激活和特征重新加权,从而提高了模型的灵活性和泛化能力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“混合注意力”获取论文+代码

码字不易,欢迎大家点赞评论收藏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/509764.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

JavaScript基础2之运算符、函数

JavaScript基础 运算符一元操作符递增/递减一元加和减 布尔操作符逻辑非逻辑与逻辑或 乘性操作符乘法操作符除法操作符取模操作符 加性操作符加法操作符减法操作符 比较操作符相等操作符关系操作符 函数函数声明函数表达式箭头函数函数的实参和形参arguments 默认参数参数的拓展…

Linux 安装 Mysql 8.0

获取 Mysql 8.0 在 /usr/local下 创建mysql文件夹 mkdir mysql切换到mysql文件夹下 cd mysql下载mysql wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz解压mysql tar xvf mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz重命名…

增速放缓,小鹏却想要“飞”?

近年来,国产汽车“品牌团”的崛起是全球有目共睹的。 不过,正如唯物辩证法中矛盾论所论证的一样,事物间以及事物内部诸要素之间是既对立又统一的关系。诸多国产汽车品牌合力在全球打造了“中国汽车创造”这张名片的同时,随之而来…

LaTeX文档中文显示错误解决办法

LaTeX文档中文显示错误解决办法 如果在LaTeX文档中遇到中文显示错误,通常是因为文档没有正确配置以支持中文。解决这个问题的一个常见方法是使用XeLaTeX引擎编译文档,它天然支持UTF-8编码,可以很好地处理中文。同时,使用ctex宏包…

k8s部署mysql

(作者:陈玓玏) 一、前置条件 已部署k8s,服务端版本为1.21.14 二、部署mysql 拉取镜像; docker pull mysql将账号密码等信息写到configmap,创建configmap; apiVersion: v1 kind: ConfigM…

怎么查看员工撤回、删除的消息?

微信是没有查看撤回、删除消息的功能的。一旦好友撤回的消息,就只能看到提示“某某某好友撤回了一条消息”,并不能看到撤回的内容。 可以试试这个办法。 轻松查看撤回、删除的内容。 可在这个页面,查询主账号、子账号的微信号与好友的具体聊天…

OSPF多进程

路由器——>选路——>参考路由表 路由表的生成: 直连路由直接加入 静态路由 动态路由,ospf:选择最优加入 IGP高级特性---OSPF多进程防火墙虚拟系统引流 http://t.csdnimg.cn/mTU3nhttp://t.csdnimg.cn/mTU3n 华为文档地址&#…

pyqt程序打包成exe最新版保姆级教程

运行环境:win10、pycharm、pyqt5、pyinstaller 要求:将下面软件转换为可执行的exe文件,发送给别人使用。 操作步骤: 1、main.py为我们要转换的代码文件,icon中放着我们exe程序的图标(注意:图标…

扩散模型入门

主要参考资料 B站视频《Sora 夜谈之 Video Diffusion 综述》 目录 图像Diffusion模型发展脉络视频Diffusion模型发展脉络视频模型评价标准 图像Diffusion模型发展脉络 相较于直接在图像层Pixel space加噪和降噪,Latent Diffusion则通过编码增加了一层Latent层&…

uniapp 项目 浏览器chrome使用vue devtool 识别不了 in not detect

问题 uniapp的项目,vue2, chrome 分析 添加了运行时,指定模板h5.html 指定的h5.html重置了运行根目录,导致了vue dev tool在运行时,chrome上识别不了。 解决: 方法1: 只能调试的时候,不加sati…

docker 常用命令大全(基础、镜像、容器、数据卷)

文章目录 1.docker基础命令2.docker镜像命令2.1 镜像名称2.2 镜像命令2.3 案例1--拉取、查看镜像2.4 案例2--保存、导入镜像 3.docker容器命令3.1 容器命令3.2 案例--创建并运行一个容器3.3 案例--进入容器,修改文件3.4 小结 4.数据卷4.1 什么是数据卷4.2 数据卷操作…

如何本地创建websocket服务端并发布到公网实现远程访问

文章目录 1. Java 服务端demo环境2. 在pom文件引入第三包封装的netty框架maven坐标3. 创建服务端,以接口模式调用,方便外部调用4. 启动服务,出现以下信息表示启动成功,暴露端口默认99995. 创建隧道映射内网端口6. 查看状态->在线隧道,复制所创建隧道的公网地址加端口号7. 以…