2023年11月论文:DANCE OF CHANNEL AND SEQUENCE(CSformer)(无源码)

DANCE OF CHANNEL AND SEQUENCE:
AN EFFICIENT ATTENTION-BASED APPROACH FOR
MULTIVARIATE TIME SERIES FORECASTING

推荐阅读指数: ★★
大意了,没仔细看实验结果和模型图,精度了一篇有点不太行的文章,实验结果只有一张表,模型图又很简单,且机构也很一般。

文章目录

  • 摘要
    • 摘要要
    • 详细摘要
  • 贡献
  • 模型介绍
  • 过程
  • 实验
  • 评价

摘要

摘要要

通道独立性导致信息退化,文章提出CSformer来应对这一问题,CSformer中精心设计了两阶段的自注意力机制,该机制可以分别提取特定序列信息和通道信息,同时共享参数,还引入了序列适配器和通道适配器,实验结果领先

其创新点就是同时结合了序列和通道注意力,下图为对比

在这里插入图片描述

详细摘要

在最近的发展中,用于多变量时间序列分析的预测模型通过采用普遍的通道独立性原则展现出令人赞赏的性能。然而,必须承认通道之间的复杂相互作用根本上影响了多变量预测的结果。(针对通道独立性)

因此,尽管通道独立性的概念在一定程度上提供了实用性,但随着情况的发展,这变得越来越不切实际,导致信息的退化。为了应对这一紧迫问题,我们提出了CSformer,这是一个创新的框架,其特点是精心设计的两阶段自注意机制

这个机制能够分别提取特定序列信息和特定通道信息,同时共享参数以促进序列和通道之间的协同和相互强化。同时,我们引入了序列适配器和通道适配器,确保模型能够识别跨各个维度的显著特征。这一增强显著提升了多变量时间序列数据特征提取的能力,促进了对可用信息的更全面利用。
我们在真实世界的多个数据集上进行了实验,证明了模型的鲁棒性和先进性,保持了基于transform的模型的领先地位。

贡献

propose CSformer
CSformer achieves state-of-the-art performance
conducted an extensive array of ablation experiments

(给人感觉水了吧唧的)

模型介绍

(这图有点lowlow的)
在这里插入图片描述

过程

  1. 可逆的归一化
    在这里插入图片描述

  2. 维度增广
    在这里插入图片描述

  3. 两阶段多头注意力机制( two-stage Multi-head Self-Attention)

差别就是交换了N和L维度
在这里插入图片描述

实验

只给出了对比实验的结果
包括iTransformer和CSformer
在这里插入图片描述

评价

这文章缺东西呀,提到的两阶段的参数共享机制没有讲,贡献里面提到的消融实验也没有讲,哈哈哈哈哈血亏

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/339709.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何在IntelliJ IDEA中配置SSH服务器开发环境并实现固定地址远程连接

文章目录 1. 检查Linux SSH服务2. 本地连接测试3. Linux 安装Cpolar4. 创建远程连接公网地址5. 公网远程连接测试6. 固定连接公网地址7. 固定地址连接测试 本文主要介绍如何在IDEA中设置远程连接服务器开发环境,并结合Cpolar内网穿透工具实现无公网远程连接&#xf…

【微服务】日志搜集es+kibana+filebeat+redis+logstash(单机)

日志搜集系统搭建 基于7.17.16版本 ps: 项目是toB的,日志量不大 前置准备 软件下载 7.17.16版本。8.x版本需要JDK11 elastic.co/downloads/past-releasesJDK java8 Linux elastic 软件不能以root用户启动,需要创建用户 sudo useradd elastic #给此…

零基础学习 AI 绘画的进阶之路!必收藏!!

手把手教你入门绘图超强的AI绘画程序,用户只需要输入一段图片的文字描述,即可生成精美的绘画。给大家带来了全新保姆级教程资料包(文末可获取) 计算机和绘画都是零基础的初学者——既不懂编程,也没有接受过任何美术方面…

Python类型转换,数据类型转换函数大全 与 strip()函数介绍

Python类型转换,数据类型转换函数大全 虽然 Python 是弱类型编程语言,不需要像 Java 或 C 语言那样还要在使用变量前声明变量的类型,但在一些特定场景中,仍然需要用到类型转换。 比如说,我们想通过使用 print() 函数…

牛客网-JAVA(错题集)-1

1 Java的抽象类和接口不可以进行实例化 2 知识点: 1、不论如何 finally里面的代码是一定会执行的 2、finally里面的代码块比return早执行 3、多个return是按顺序执行的,只执行一次 public abstract class Test {public static void main(String[] ar…

x-cmd pkg | ctop - 针对容器的类 top 命令

目录 介绍首次用户功能特点类似工具与竞品进一步阅读 介绍 ctop 是一个基于容器的类似 top 命令的性能监控工具,采用 Go 语言编写的,它以类似于 top 命令的方式显示运行中的容器的资源使用情况。ctop 提供了一个交互式的界面,可以让用户实时…

SpringMVC工作原理

文章目录 Spring MVC 概述组件介绍Spring MVC的工作原理 Spring MVC 概述 SpringMVC是一个基于MVC模式的Web框架,它是Spring Framework的一部分。SpringMVC主要用于在Java Web应用程序中实现Web层,提供了一套与平台无关的、可重用的Web组件。 Spring MV…

2024年程序员必备:掌握未来技术架构的关键方向

随着科技的飞速发展,程序员的角色也在不断演变。 到了2024年,仅仅掌握基本的编程技能已经远远不够,程序员必须紧跟技术潮流,深入理解并掌握新兴的技术架构方向,以确保在职场中的竞争力。本文将探讨2024年程序员必须关…

时间差异导致数据缺失,如何调整Grafana时间与Prometheus保持同步?

Grafana时间如何调快或调慢? 在k8s环境中,常使用prometheusgrafana做监控组件,prometheus负责采集、存储数据,grafana负责监控数据的可视化。 在实际的使用中,有时会遇到这样的问题,k8s集群中的时间比真实…

通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践

作者:熊兮、求伯、一耘 引言 通义千问-72B(Qwen-72B)是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛,包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上…

电脑提示dll丢失怎么办,教你一招将dll修复

使用电脑时,你的电脑是否出现关于dll文件丢失或找不到的问题,出现这种问题又该如何解决呢,dll文件问题会导致软件无法打开,或者会导致系统崩溃。今天就来教大家如何快速解决dll文件修复。 一.如何修复dll修复 方法一:…

2023年全国职业院校技能大赛(高职组)“云计算应用”赛项赛卷5

某企业根据自身业务需求,实施数字化转型,规划和建设数字化平台,平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”,拟采用开源OpenStack搭建企业内部私有云平台,开源Kubernetes搭建云原生服务平台,选…