第四十八周:文献阅读

目录

摘要

Abstract

文献阅读:时间序列预测的傅里叶图卷积网络

现有问题

提出方法

方法论

傅里叶级数

图信号的傅里叶变换

论文方法:F-GCN(傅立叶图卷积网络)

数据构建

傅立叶嵌入模块

时空ChebyNet层

框架伪代码

研究实验

数据集

评估指标

基线和最新方法

实验结果

总结


摘要

本周阅读的文献《Fourier Graph Convolution Network for Time Series Prediction》中,提出了一种新的鲁棒傅立叶图卷积网络模型来学习具有周期性和波动性模式的时间序列。该模型包括一个傅立叶嵌入模块和一个可堆叠的时空ChebyNet层,其中傅立叶嵌入模块的开发基于傅立叶级数理论的分析,表示具有傅立叶级数的周期函数,该傅立叶级数可以找到最佳系数和最佳频率参数以捕获周期性特征。时空ChebyNet层由细粒度波动率模块和时间波动率模块组成,用于模拟交通流的波动特征,以提高系统的鲁棒性。在两个开放数据集上的实验表明,该模型的预测精度明显优于现有的方法。

Abstract

The literature "Fourier Graph Convolutional Network for Time Series Prediction" read this week, proposes a new robust Fourier graph convolutional network model to learn time series with periodic and fluctuating patterns. This model includes a Fourier embedding module and a stackable spatiotemporal ChebyNet layer, where the development of the Fourier embedding module is based on the analysis of Fourier series theory, representing periodic functions with Fourier series that can find the best coefficients and frequency parameters to capture periodic features. The spatiotemporal ChebyNet layer consists of fine-grained volatility modules and temporal volatility modules, used to simulate the fluctuation characteristics of traffic flow and improve the robustness of the system. Experiments on two open datasets show that the prediction accuracy of this model is significantly better than existing methods.

文献阅读:时间序列预测的傅里叶图卷积网络

Fourier Graph Convolution Network for Time Series Predictionicon-default.png?t=N7T8http://doi.org/10.3390/math11071649Mathematics 2023

现有问题

交通流数据是表现出周期性和波动性模式的时间序列。因此,从复杂的交通流中提取模式,并在此基础上进行可靠的预测,仍然存在一系列关键的挑战。虽然大量的努力已经投入到交通流预测的问题,仍然有一些关键的挑战,在捕捉各种周期性和动态波动。

  • 现有的方法基于频域方法学习周期性,例如谱分析和传统的傅立叶变换。这些模型通常需要手动参数并遵守严格的假设,使得这些方法无法捕获各种周期。
  • 动态波动性是交通网络动态时空模式识别的关键,目前还缺乏一种有效的方法来学习动态波动性以提高鲁棒性。
  • 一些模型捕捉周期性和波动性,但这些方法独立地捕捉它们,忽略了它们的内在关系。

提出方法

为了解决这些问题,提出了一种鲁棒的傅立叶图卷积网络(F-GCN)架构,该架构由两个自适应模块组成,包括傅立叶嵌入(FE)和可堆叠的时空ChebyNet(STCN)层。与独立学习的周期性和波动性不同,F-GCN模型可以考虑两者之间的相关性。

  • FE模块:能够用于捕获各种周期性,而无需人工干预,和STCN模块与周期嵌入开发提取动态时间波动。
  • STCN:由两个子模块组成:细粒度波动率模块和时间波动率模块。具体而言,细粒度波动率模块首先捕获细粒度波动率,以降低复杂波动率学习的难度。然后,时间波动模块进一步捕获动态时间波动。

方法论

傅里叶级数

从数学角度上讲,在线性代数中我们知道,一个向量空间上的所有向量都可以由该空间的基向量线性表出,傅里叶级数同样如此。在希尔伯特空间上,傅里叶级数无穷个三角函数正交基能够线性表出整个希尔伯特空间上的函数值。此外,由于连续空间上内积和系数的定义,傅里叶级数可以看做是将函数f(x)投影到这组正交基上,并有这组正交基线性表出。通过这种正交投影的方式,一个周期性的信号就能够被拆解成无限个正弦波的线性组合。

傅里叶级数与其他级数都是一样的,一般级数就是把一个函数拆开成若干个简单的函数,傅里叶级数是拆开成若干三角函数。

图信号的傅里叶变换

任何一个周期函数都能等价为一系列的正(余)弦函数的和,这就是傅里叶级数。将一个周期函数经过傅里叶变换,也就是将一个时域上的函数表达,转换为其频域和相位的表示。通过对图片的傅里叶变换,可以根据变化后数据的频率特征,提取图片中的特征,如低频率的轮廓特征,高频率的细节特征。最后结果的输出只要将这些数据再做一次傅里叶反变换即可。

拉普拉斯变化是傅里叶变换的一种改进,与傅里叶相比,它能处理信号函数趋向于无穷大及振幅越来越大的情况,它有两种理解方式:一是这种变换引进了衰减因子,使原信号函数趋于平缓稳定;二是其通过增大傅里叶变换的正弦波,从而改变最后输出函数的振幅。

定义

D为度矩阵,它对角线上的值是从 i 节点出发的所有边的权重之和(对角矩阵)。

拉普拉斯矩阵(L)是度矩阵(D)减去邻接矩阵(A),即L = D - A。拉普拉斯矩阵是对称半正定矩阵,因此该矩阵的特征值一定非负,一定有n个线性无关的特征向量,它们是n维空间中的一组标准正交基,组成正交矩阵。

将拉普拉斯矩阵(L)进行特征分解即谱分解,是将矩阵分解为其特征值和特征向量表示的矩阵之积的方法。L=U\Lambda U^{T},其中\Lambda为特征值矩阵,U为特征向量。

在如下的图中,我们把f(i)看做是一个信号的属性大小,,它可以是一个向量也可以是一个标量(此文中假定f(0)、f(1)等4个信号都是标量)

745a789cf75f4972a56cb3f62a705ee4.png

上图中每个特征值\lambda _{i}对应的特征向量U都对应其相应点在该特征值频率下的强度大小。将信号乘以一个拉普拉斯矩阵L,即对其做拉普拉斯变化。下面计算表明,对信号做拉普拉斯变换得到的结果,可以表示某节点与其所有邻域节点的能量差之和。

将图做傅里叶变化后,将矩阵L进行特征分解得到的特征向量看做是一组信号值,可根据上图计算的特征值\lambda _{i}和特征向量u_{i}将原图在频率上表达。

 对应的每个特征值就是频率的大小,而每个特征值对应的特征向量的数值就是对应特征值频率下的强度大小(这里暂时不考虑正交的概念)。

论文方法:F-GCN(傅立叶图卷积网络)

F-GCN的架构如图所示,包括三个主要模块:数据构造模块、傅立叶嵌入(FE)模块和可堆叠时空ChebyNet(STCN)层。

  1. 首先,数据构造模块用于构造包含三种周期数据类型和拉普拉斯算子的图。
  2. 然后,FE模块学习图的各种周期嵌入。
  3. 进一步利用可堆叠STCN来探索动态时间波动性,
  4. 最后计算预测和地面实况之间的损失值以进行反向传播学习。

数据构建

数据构建模块的流程图如图所示。首先将交通流数据作为系统的输入,生成拉普拉斯矩阵并输出特征向量。具体来说,实际的交通流数据产生一个图G,其中节点代表道路网络上的传感器,边缘是传感器之间的连接。然后根据G计算拉普拉斯矩阵,在这项工作中,考虑了交通网络的三个时期,包括周周期、日周期和最近。最后将三个周期串联

基于时间序列数据的分解,交通流数据可以由多个分量组成。例如,包括时间序列分析和监督学习(TSA-SL)[14]和混合模型[15]在内的模块试图将交通流分解为两个主要部分,周期性和波动性,并进一步分别学习这两个部分以提高预测精度。图1a示出了三个检测器的原始交通流,并且每个检测器具有与动态交通网络相关联的特定周期性波动。图1b-d显示了检测器1数据的相应分解结果,包括趋势、周期性和波动性。趋势可能是稳定的,上升趋势或下降趋势,图1b中的红圈表示下降趋势。在图1c中,红色框显示了一个时段的交通流量数据变化。在图1d中,检测器1的复杂动态波动性受到许多因素的影响,例如交通模式、交通数据的噪声、不完整的交通流等。因此,交通流预测模型需要能够自动地从交通流数据中表征各种周期性、趋势和波动性的分量。

傅立叶嵌入模块

为了解决交通流数据通常呈现各种周期性导致难以预测这个问题,将其分解为两个关键要素:周期性和波动性。开发了一个名为傅立叶嵌入(FE)的算子Emb()来捕获各种周期性,与传统的分解方法不同,该FE模块基于嵌入方法,能够有效表征交通流的各种周期性。

从傅立叶级数可知,在这个算子中,通过叠加多个不同频率的正弦和余弦函数可以得到任何周期函数。X_{g} 包含三个时段的交通流,这有助于增加对不同周期的适应性。同时,它也提供了更复杂的波动可能性,使下游模块能够更好地探索波动。残差结构被用来学习动态时间波动。这种结构的优点是可以将原始图中的波动率引入到方程中的下游学习模块中。

时空ChebyNet层

F-GCN架构中使用可堆叠的时空ChebyNet (STCN)层来捕获动态时间波动。这一层包括两
个主要组件:细粒度波动模块和时间波动模块。

一、细粒度波动模块

交通流的波动性一般是不规则且复杂的,通过细粒度波动模块来表示细粒度波动特征,用于捕获复杂波动。具体而言,采用各种核大小的卷积操作来捕获细粒度波动,还引入了门机制来自动控制高波动性对下游网络的影响,最后,将多个闸门的结果串联起来。

二、时间波动模块

交通流分析的另一个难点是从海量交通数据中捕捉动态时间波动。受Transformer的启发,提出的时间波动方法引入了自然语言翻译中上下文的潜在语义,提出了一种SliceAttention机制来捕获动态时间波动。利用车网(ChebyNet)来合并交通流图中多个时间片之间的相互关系,学习交通流图的动态时间波动。在这项工作中,使用自关注来捕捉时间片本身的影响。使用Satti表示对时间片i的关注,并使用平均值Satt动态调整拉普拉斯矩阵得到动态拉普拉斯矩阵。

框架伪代码

研究实验

数据集

采用两个真实的交通流数据集PeMSD4和PeMSD8对F-GCN模型进行了性能评估。PeMSD4数据集是由部署在旧金山弗朗西斯科湾区29条道路上的307个检测站收集的交通流量数据,时间段为2018年1月至2月。同样,PeMSD 8数据集由圣贝纳迪诺地区8条高速公路上的170个检测站于2016年7月至8月收集。

这两个数据集是PeMS收集的原始数据的子集,原始数据由加州公路性能测量系统(PeMS)收集,包含39,000个道路传感器,数据收集间隔为30s。这些数据被重新聚合成5分钟的时间间隔,用于交通预测。

评估指标

该方法的性能评估与三个指标:平均绝对误差(MAE),均方根误差(RMSE),平均绝对百分比误差(MAPE)。

基线和最新方法

为了进行性能比较,引入了以下不同的模型:

  1. HA:使用历史流量的平均值作为估计未来时间范围内的流量的基线。
  2. ARIMA:自回归综合移动平均模型被用作本工作中典型统计方法的基线。该模型通常用于捕获线性特性。
  3. GRU:门控递归单元网络通常用于学习交通流预测的时间特征,因为它具有长期记忆。
  4. STGCN:时空图卷积网络采用一阶近似切比雪夫图卷积网络和二维卷积算子来捕获空间和时间信息。
  5. ASTGCN:基于注意力的时空图卷积神经网络集成了时空注意力模块和图卷积神经网络模块来捕捉交通流模式。
  6. STSGCN:Space-Time-Separable Graph Convolutional Network构建了一个局部时空映射模块来获取局部信息。然后,它捕获更多的全球时间信息沿着的时间维。
  7. AGCRN:自适应图卷积递归网络包括两个自适应模块,分别用于学习节点的模式和不同流量序列之间的相互依赖关系。

实验结果

 1、模型整体性能评估

通过数据集对F-GCN的性能进行评估,结果表1表明,拟议的F-GCN优于基线和最先进的方法。

  • 与典型的时间序列分析方法相比,这些方法只能学习线性特征。GRU比传统的时间序列分析方法表现更好,因为它可以捕获复杂的非线性特征作为主要的深度学习方法,但它也只考虑了道路网络的时间特性。
  • 与STGCN、ASTGCN、STSGCN和AGCRN等现有方法相比,F-GCN能够从业务流中学习各种周期性和动态时间波动性,从而显著提高了性能,

2、FE模块和STCN模块的性能评估

一、周期性学习评估 

如图所示为具有不同阶数(M)的FE模块在三个指标(MAE、RMSE和MAPE)上的性能。黑色曲线是在没有FE模块(M = 0)的情况下对PeMSD8数据集进行的拟定F-GCN测试。然后,实验增加了FE模块的阶数,并评估了短期和长期预测的性能。结果表明,有FE模块的模型有一个显着的改善。具体而言,当M = 3时,在RMSE和MAPE方面的性能最好。

原始流量波动具有不稳定的波动性,这使得很难从它们中提取周期性。本文提出的PE模块可以从大量的交通流数据中学习这种周期性,原始交通流数据输入FE模块后,结果以热图的形式可视化,如图所示。(a,b)来自PeMSD8数据集,(c,d)来自PeMSD4数据集。1和2表示不同道路的不
同模式,3表示所有道路在不同时期的不同模式。

F-GCN中FE模块的输出呈现有规律的周期性。从热图的颜色来看,(a)中红框1中的几条道路的交通流由于颜色相似而具有相同的模式,但红框1和红框2之间存在显著差异,说明FE模块可以捕捉到不同道路的差异特征。在黑箱3中,不同道路在36-48和48-60周期的周期性不同,说明FE模块可以捕捉到道路的各种周期性。周期波动证明了FE模块的有效性。然后,将这些周期性嵌入传输到下游网络进行波动率学习。

二、波动性学习评估 
除了周期性之外,F-GCN的目标是从海量数据中捕捉交通流预测的波动性。将预测结果与实际交通流进行对比,分析波动性的预测性能。实际交通流与预测结果的对比表明,F-GCN模型能够有效地捕捉和预测交通流数据的波动性。实验选取了两个典型的交通流场景,并将对比结果可视化,如图7所示。图7a、b中的红色圆圈表示交通流波动剧烈,图7c、d中的绿色圆圈表示相对平缓的波动。F-GCN预测结果在这两种典型情况下均具有较好的拟合效果,表明该方法能够有效地从海量交通流中学习和预测动态时间波动。

评估F-GCN模型的效率和精度

利用不同阶次的切比雪夫多项式进一步评价F-GCN的效率和精度,如表所示,训练时间消耗随着多项式阶数的增加而增长,但当切比雪夫多项式的阶数为3时,模型的整体预测精度趋于最佳。

总结

上周主要读的文献中主要学习了在水质预测方面,利用卷积学习多个站点之间的时空相关性,处理不同时间跨度的非对齐空间相关性,从而提高水质预测精度的方法,而这周阅读的文献通过傅里叶图卷积的方式学习交通流时间序列图,通过把交通路线汇成图的边和点,进行特征提取的方法,可以将该方法应用于其他类型的水质预测。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/618413.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据分析案例(三):基于RFM分析的客户分群

实验2 基于RFM分析的客户分群 Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊! 喜欢…

[ROS 系列学习教程] 建模与仿真 - Gazebo 与 URDF 建模介绍

ROS 系列学习教程(总目录) 本文目录 一、Gazebo 介绍二、URDF 建模介绍2.1 一个简单的实体2.2 rivz显示URDF模型2.3 保存与加载rviz配置2.4 launch文件快速启动2.5 package结构 由于种种原因,有时我们不能直接使用真实的机器人进行调试,这时就需要对机器…

C++ 之 newmat 矩阵运算库使用笔记

文章目录 Part.I IntroductionChap.I newmat 简介 Part.II 安装与编译Chap.I 直接使用源码Chap.II 基于 CMake 使用源码Chap.III 编译成库 Part.III 关于矩阵的构造与运算Chap.I 矩阵的构造与初始化Chap.II 矩阵的运算Chap.III 矩阵维数和类型的更改Chap.IV 矩阵最值统计 Refer…

Day23_学点儿JSON_定义、数据格式、和XML比较、插件

1 JSON定义 定义&#xff1a;是一种轻量级的数据交换格式 JSON是JavaScript Object Notation缩写 特点&#xff1a; 易于程序员阅读和编写。易于计算机解析和生成。其实是javascript的子集&#xff1a;原生javascript支持JSON <script type"text/javascript">…

64B/66B GT Transceiver 配置

一、前言 前一篇文章已经讲述了64B/66B的编码原理&#xff0c;此篇文章来配置一下7系列GT的64B/66B编码。并讲述所对应的例子工程的架构&#xff0c;以及部分代码的含义。 二、IP核配置 1、打开7 Series FPGAs Transceiver Wizards&#xff0c;选择将共享逻辑放置在example …

CCS中实时显示ADC采样波形

CCS软件中带有波形显示工具&#xff0c;在调试代码的过程中可以比较方便的将代码中待观测的变量直接用曲线的方式显示出来。   下面就演示一下如何在CCS中使用波形显示。这里使用28335芯片&#xff0c;用一个简单的工程来测试。 显示单个变量 #include "DSP2833x_Devi…

探索NDVI:了解植被指数的意义与应用

随着科技的进步和遥感技术的发展&#xff0c;我们能够更深入地了解地球上的植被覆盖情况&#xff0c;而其中一项重要的工具就是NDVI&#xff08;Normalized Difference Vegetation Index&#xff0c;归一化植被指数&#xff09;。NDVI不仅仅是一个数值&#xff0c;更是一扇窥探…

利用遥感技术反演地表温度的方法与意义

​随着科技的不断进步&#xff0c;遥感技术在地球科学领域的应用变得越来越广泛。其中&#xff0c;利用遥感技术反演地表温度已经成为了一种常见的方法&#xff0c;对于环境监测、气候研究、城市规划等领域具有重要意义。 ​地表温度是指地表或地表以下一定深度范围内的温度&am…

C语言高质量编程之assert()和const

目录 编程中常见的错误 assert() const 编程中常见的错误 在编程中我们通常会遇到三种错误形式&#xff0c;分别是&#xff1a;编译型错误&#xff0c;链接型错误&#xff0c;运行时错误。 编译型错误&#xff1a; 在编译阶段发生的错误&#xff0c;绝大多数情况是由语法错误…

【OpenHarmony】TDD-FUZZ环境配置

零、参考 1、AttributeError: ‘ElementTree‘ object has no attribute ‘getiterator‘&#xff1a;https://blog.csdn.net/suhao0911/article/details/110950742 一、创建工作目录 1、新建工作目录如&#xff1a;D:\0000_TDD_FUZZ\0000_ohos_tdd_fuzz。 2、gitee上下载 t…

流氓软件清理绝杀全家桶

下载地址&#xff1a;流氓软件清理绝杀全家桶.zip 网上仍有不少软件中携带流氓软件&#xff0c;甚至某些所谓的大厂出品的工具中也会有一些捆绑&#xff01; 对于玩机经验不太丰富的小白来说&#xff0c;也许一不小心&#xff0c;桌面就会被某些流氓软件搞得乌烟瘴气&#xf…

论文笔记:Teach LLMs to Phish: Stealing Private Information from Language Models

iclr 2024 reviewer 评分 588 1 intro 提出了一种“神经网络钓鱼攻击” 一种新的针对在敏感用户数据上训练或finetune的LLMs的攻击向量攻击者将看似无害的投毒数据插入到模型的训练数据集中&#xff0c;以“教会LLMs进行钓鱼”&#xff0c;即诱导模型记住他人的个人身份信息&…