文献阅读《Spectral Networks and Deep Locally Connected Networks on Graphs》

news/2025/3/26 1:18:54/文章来源:https://www.cnblogs.com/cdag/p/18790064

参考博客

第一代图卷积网络:图的频域网络与深度局部连接网络 - 知乎 (zhihu.com)
论文解读一代GCN《Spectral Networks and Locally Connected Networks on Graphs》 - 别关注我了,私信我吧 - 博客园 (cnblogs.com)

论文核心

卷积神经网络得益于所处理的数据具有局部平移不变性,在图像和音频任务当中极其高效。因此,本文考虑将其推广到更为一般且不具有平移不变性的数据领域。作者提出了两种构建方式:
(1)基于空域的层次聚类
(2)基于频域的图拉普拉斯
上述两种方式,在低维的图中,均可以学习到参数量与输入大小无关的卷积层。

平移不变性(Translation Invariance):在图像分类任务中,不变性意味着,当所需要识别的目标出现在图像的不同位置时,模型对其识别所得到的标签应该相同。即当输出进行变换后,还能得到相同的输出。

平移同(等)变性(Translation Equivariance):指在目标检测任务中,如果输入的图像中,对应的目标发生了平移,那么最终检测出的候选框也应发生相应的变化。即对输入进行变换后,输出也会发生相应的变换。

对于平移同变性而言,基本上是有卷积操作带来的:
卷积具有局部连接参数共享的特性,当移动输入图像中的目标时,由于局部连接和参数共享的特点,对于移动后的目标,经过卷积操作后,也能得到同样的特征输出。

对于平移不变性而言,基于不同的情景下,分别考虑:
平移不变性由池化操作带来,但这个得基于具体的公式进行分析。当shift大小与pooling操作的步长相等时,可以做到平移相等性。同时,全局池化操作,也可以做到平移相等性。

引言

在规则的网格数据上,CNN能够有效减少参数的数量,其原因有:
(1) 平移结构利于滤波器的使用,进而实现权重共享
(2) 网格的度量结构,利于紧支集滤波器的使用,这类滤波器的支集通常远小于输入信号的规模
(3) 网格的多尺度二分聚类,使得下采样得以实现,(下采样)是通过步幅卷积和池化操作来完成的

但是在非规则数据结构上,由于缺少几何结构假设,很难直接运用卷积操作。因此,本文作者提出两种方法在非规则网格上的图上构建深度神经网络。

空域构建

实质是通过加权图来替代网格数据:  G=(Ω,W)
Ω是一个离散的节点集合,大小为 m , W 是一个对称半正定矩阵,大小为 m×m,也就是加权邻接矩阵。

assets/文献阅读《Spectral Networks and Deep Locally Connected Networks on Graphs》/file-20250324214551647.png
后面,也就是将不同的节点坍缩为一个结点。

![](assets/文献阅读《Spectral%20Networks%20and%20Deep%20Locally%20Connected%20Networks%20on%20Graphs》/file-20250324220209717.png #pic_center)
具体的过程如图。
![](assets/文献阅读《Spectral%20Networks%20and%20Deep%20Locally%20Connected%20Networks%20on%20Graphs》/file-20250324220704889.png #pic_center)
这种架构的优点在于不需要很强的 regularity assumptions on the graph,只需要图具备低维邻域结构即可,甚至不需要很好的 global embedding。但是缺点在于没办法进行参数共享,对于每一层的每一个节点都要有单独的参数进行卷积而不能像CNN那样使用同一个卷积核在数据网格上进行平移。

谱构建

该方法的核心是通过图傅里叶变换将图信号从空域转换到频域,最后再将之使用图傅里叶逆变换转换回空域:
assets/文献阅读《Spectral Networks and Deep Locally Connected Networks on Graphs》/file-20250324225326273.png

**群不变性(Group Invariance)**:若图结构在某种变换群(如平移、旋转)下保持不变,则称该图具有**群不变性**

进而,作者提出了类似上述空域操作中的构造方式:
![](assets/文献阅读《Spectral%20Networks%20and%20Deep%20Locally%20Connected%20Networks%20on%20Graphs》/file-20250325092248880.png #pic_center )

在这里,对于拉普拉斯矩阵而言,只有前d个特征向量才有实际作用。因此,我们可以调整V为Vd,来近似于下采样。同时,对于d的调整,也能够使得参数复杂度近似于O(Ω)。
但是,作者在这里也提出了相关问题:

  1. 大部分的图是不规则的,缺乏群不变性
  2. 忽略了群体高频特征向量的潜在价值,对角化导致向量之间彼此独立,忽视其相关性

实验

实验的数据集主要是Subsampled MNIST和MNIST-sphere dataset

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/905744.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【CodeForces训练记录】Codeforces Round 1013 (Div. 3)

训练情况赛后反思 A题题目读半天,发现日期有前导零,div3还是比较基础一点,但是感觉自己还是不够熟练,D题看出来二分但是调了挺久的 A题 判断取多少个数之后才能构成 20250301,我们维护数字的出现次数,直到所有数字的出现次数全部大于等于 20250301 的出现次数时输出位置即…

字符串问题的江湖奇宝:进制哈希

江湖中,剑客以快制胜,而算法竞赛里,字符串哈希(String Hashing)便是那柄出招如电的快剑。 各种字符串问题纷乱复杂,各种字符串算法招式繁复,需苦练内功心法。但字符串哈希算法却只凭一招:将字符串化作数字,以数论为刃,至简之道斩尽来犯之敌。 但此招并非无懈可击。若…

HW-1

1.选项A是正确的,它表示的是极小项m6的正确形式。极小项m6对应的是变量a=0,b=1,c=1,d=0的情况,因此其表达式应为(\overline{a} \cdot b \cdot c \cdot \overline{d}),即选项A。 其他选项的分析:选项B是一个或项,不符合极小项的定义。 选项C缺少变量a和d,不是一个完整的…

为什么nn.Linear 的weight 是 (out_features, in_features)

在PyTorch的nn.Linear中,权重矩阵的形状为(out_features, in_features)。这是因为线性变换的实现方式为:具体来说:当创建nn.Linear(10, 60)时,in_features=10,out_features=60,因此权重的形状是(60, 10)。 输入张量t的形状为(2, 5, 10),与转置后的权重a.weight.T(形状(…

字符串问题的终极法宝:进制哈希

江湖中,剑客以快制胜,而算法竞赛里,字符串哈希(String Hashing)便是那柄出招如电的快剑。 各种字符串问题纷乱复杂,各种字符串算法招式繁复,需苦练内功心法。但字符串哈希算法却只凭一招:将字符串化作数字,以数论为刃,至简之道斩尽来犯之敌。 但此招并非无懈可击。若…

布局机器人,vivo用三十年技术沉淀回答“时代之问”

科技创新给产业界带来最大的影响就是“跨界焦虑”。不敢错过,这是企业面对风口的普遍心态。生怕一波没跟上,就被时代淘汰了。 但不错过,并不等于抓得住。比如元宇宙概念经历资本狂欢,无数科技巨头卷入,退潮时一地鸡毛。再比如在新能源汽车赛道卷起千亿投资风暴时,也有很多…

石油化工厂区防爆入侵报警系统

石油化工厂区防爆入侵报警系统采用AI智能防爆预警摄像头嵌入AI人体识别深度算法,对人体目标特征的检测分析识别预警。系统设备采用AI算法,通过大量真实的场景样本训练后,能够在各种应用场景下及时准确地对场景中发生的人体入侵行为发出告警信息。通过对实时视频图像进行智能…

矿山皮带运输机安全监测预警系统

智慧矿山皮带运输机安全监测预警系统是基于AI视频监测分析识别的智能皮带管理系统,该系统通过将人工智能识别算法提高实时分析的效率,达到现场快速识别、分析、预警的目的,为矿山皮带运输系统提供可视化的安全生产保障,该系统已经实现了皮带运输机大媒块、传输带异物、传输…

OP253自动安装凸轮弹簧常见问题

1.夹爪抓取弹簧后不停扔料 两台弹簧振动盘里面的弹簧是镜像件,如果出现混料被取走,会导致卷簧时卡死。夹爪夹住弹簧并提起时,有两个接近开关会检测弹簧是否正确,如果不正确,会将弹簧扔进废料桶。上图两个接近开关是埋入式,只有中心位置检测。应该左边不亮,右边亮,如果任…

web作业

制作一个学生管理系统包括按钮和输入框学生成绩管理系统body { font-family: Arial, sans-serif; margin: 20px } \3c pre>\3c code> h1 { text-align: center } .add-student, .search, .filters { margin-bottom: 20px } table { width: 100%; border-collapse: col…