解决传统单一模态难题！多模态图学习新SOTA来了！-编程知识

多模态图学习是一种结合了图神经网络和多模态数据集成的学习方法，它涉及了数据科学、机器学习、图神经网络、多模态分析等多个前沿领域。这种跨学科特性为我们提供了丰富的创新点和探索空间。因此，多模态图学习也是发表高质量论文的好方向。

通过整合和分析来自不同模态的数据，多模态图学习可以帮助提高模型的预测性能和泛化能力，这种优势让它在许多领域都有广泛的应用，比如生物信息学、化学、物理、医疗影像等。

为帮助各位理解并掌握这一新兴方向，我整理了多模态图学习最新的技术成果以及应用实例，目前共9篇，希望可以为开发利用图进行多模态学习的新方法提供更多启发。

需要论文合集的同学看文末

Multimodal graph learning based on 3D Haar semi-tight framelet for student engagement prediction

方法：本文提出了一种基于三维Haar半紧框架的多模态图学习方法，用于学生参与度预测任务。该方法能够捕捉多模态数据之间的关系，并对多模态数据中的复杂交互进行建模。此外，作者引入了一种自适应图结构学习模块，通过自适应地权衡低通和高通框架系数的影响，考虑了它们的不同贡献。

创新点：

提出了一种新颖的多模态图学习框架，通过开发3D Haar半紧框架（3D-HaarFrame）变换来实现。该框架能够高效地表示多模态数据，并从中提取相关特征和模式，实现数据压缩和减少冗余。它支持多尺度分析，能够在不同频段上挖掘信息，并有效地探索多模态数据中的全局趋势和细节。
基于3D-HaarFrame，提出了一种基于频谱的图结构学习模块，通过自适应调整低通和高通框架系数的贡献，学习模态间的关系和复杂的相互作用。
提出了一种自适应图结构学习模块，通过考虑低通和高通框架系数的不同贡献，实现对图结构的学习。这种模块能够捕捉多模态数据中的模态间关系，并能够分析不同尺度上的相关性和依赖性。

Multimodal Graph Learning for Generative Tasks

方法：论文旨在处理多模态邻居信息和它们之间的图结构，并使用预训练语言模型生成自由形式的文本。作者针对部分摘要任务进行单句摘要生成，给出一个突出显示特定部分内容的句子摘要。采用了来自WikiWeb2M的随机抽样的60万个维基百科页面进行部分摘要任务的训练、验证和测试。

创新点：

多模态图学习（MMGL）：作者引入了一个系统的MMGL框架，用于处理多模态邻居信息和它们之间的图结构，并使用预训练的语言模型生成自由形式的文本。
邻居编码、图结构编码和参数高效微调：作者的MMGL框架围绕三个关键组件进行系统结构化，即邻居编码、图结构编码和参数高效微调。作者通过在WikiWeb2M数据集上进行严格测试，探索了每个组件的不同选项，包括邻居编码的三种变体（自注意力与文本+嵌入、自注意力与嵌入、交叉注意力与嵌入）、三种不同的图位置编码（序列、LPE和GNN）以及三种PEFT模型（前缀微调、LoRA和Flamingo）及其在参数效率和性能之间的权衡。

Multimodal Graph Learning for Modeling Emerging Pandemics with Big Data

方法：本文提出了一种名为MGL4MEP的新型框架，该框架整合了时间图神经网络和多模态数据进行学习和预测。通过利用特定的预训练语言模型和发现用户之间的潜在图结构，作者将社交媒体内容等大数据源纳入考虑，提供了丰富的流行病动态指标。

创新点：

MGL4MEP框架的自动化预测过程可以实现全自动化，并在新信息可用时无缝更新。这种自动化是由于该框架依赖于可以通过自动网络爬虫高效获取的公开可访问的互联网数据。
MGL4MEP框架结合了时间图神经网络和多模态数据，能够有效地提取和建模多模态数据用于COVID-19的预测。通过利用预训练的语言模型，如BERT和BertTweet，可以从社交媒体数据中提取有意义的特征。同时，通过构建图结构来捕捉用户之间的相关性和依赖关系，可以更好地理解社交媒体数据中的信息流动和动态变化。
MGL4MEP框架在COVID-19的预测和分析方面表现出色，优于传统的统计、机器学习和深度学习方法。与其他基线模型相比，MGL4MEP能够更准确地预测COVID-19的短期趋势，并在纽约州的数据集上取得了显著的改进。

Multimodal Graph Learning for Cross-Modal Retrieval

方法：本文研究了两种模态之间的跨模态检索，即图像和文本之间的检索。研究假设数据集中的每个实例都包含一张图像和一个文本文档。该方法旨在构建一个多模态图，并使用图神经网络为每个节点学习表示。通过构建多模态图，利用图像和文本之间的相似性关系进行相似性传播，从而获得包含多样性关联和丰富多模态信息的多模态图。

创新点：

引入了一种名为MGL的基于图学习的方法，通过多模态图探索多模态数据之间的完全相关性。MGL的特点，如动态特征选择和噪声去除，将相关信息结合起来，减轻语义的抽象性，学习全面的表示以增强多模态语义一致性。
设计了一种基于GNN的方法来充分学习模态共享信息，根据邻接关系捕捉相关信息，并进行动态特征集成。所提出的图采样算法在大规模场景中提供了更大的灵活性。