2024年11月5日，不说了，看论文吧.
论文：Learning To Embed Time Series Patches Independently
或者是：Learning to Embed Time Series Patches Independently
GitHub：https://github.com/seunghan96/pits
ICLR 2024的论文。
好熟悉，是SoftCLT的作者.
摘要
作为一种时间序列的自监督表征学习策略，掩码时间序列建模近来备受关注。受计算机视觉中的掩码图像建模的启发，最近的研究首先对时间序列进行片段化和部分掩码，然后训练变换器，通过预测未掩码片段中的掩码片段来捕捉片段之间的依赖关系。然而，我们认为捕捉这种片段依赖关系可能并不是时间序列表征学习的最佳策略；相反，学习独立嵌入片段会带来更好的时间序列表征。具体来说，我们建议使用：1）简单的片段重构任务，即在不查看其他片段的情况下对每个片段进行自动编码；2）简单的片段式 MLP，即独立嵌入每个片段。此外，我们还引入了互补对比学习，以分层有效地捕捉相邻的时间序列信息。我们提出的方法改进了时间序列预测，并提高了对时间序列的分析能力。
1 引言
时间序列（TS）数据可应用于一系列下游任务，包括预测、分类和异常检测。深度学习已在时间序列分析中显示出其优越性能，其中学习良好的表征是深度学习成功的关键，而自我监督学习已成为有效利用无标记数据的一种有前途的策略。值得注意的是，对比学习（CL）和掩码建模（MM）在 TS 分析以及自然语言处理（Devlin 等人，2018 年；Brown 等人，2020 年）和计算机视觉（Chen 等人，2020 年；Dosovitskiy 等人，2021 年）等其他领域都表现出令人印象深刻的性能。
掩码时间序列建模（MTM）任务部分掩码出 TS，并利用捕捉片段间依赖关系的编码器（如 Transformers）从未曾掩码的部分预测掩码部分（Zerveas 等人，2021；Nie 等人，2023）。然而，我们认为，学习这种片段间的依赖关系，例如根据掩码部分预测未掩码部分，并利用捕捉片段间依赖关系的架构，可能并非表征学习所必需。
为此，我们引入了片段独立性的概念，即在嵌入 TS 片段时不考虑它们之间的相互作用。这一概念通过两个关键方面来实现： 1）预训练任务；2）模型架构。首先，我们提出了一种片段重建任务，它可以重建未掩码的片段，这与传统的 MM 预测掩码的片段不同。我们将这些任务分别称为独立于片段（PI）任务和依赖于片段（PD）任务，因为前者重建每个片段时不需要其他片段的信息，而后者则需要。图 1 举例说明了 TS 预测。根据 PD 任务（Nie 等人，2023 年）预训练的 Transformer 无法预测分布偏移下的测试数据，而根据 PI 任务预训练的 Transformer 却能稳健地预测分布偏移。其次，我们采用了简单的 PI 架构（如 MLP），比传统的 PD 架构（如 Transformer）表现出更好的效率和性能。
在本文中，我们提出了时间序列的片段独立性（PITS），它利用无掩码片段重构作为 PI 预训练任务，并利用 MLP 作为 PI 架构。在此基础上，我们引入互补 CL 来有效捕捉相邻的时间序列信息，其中 CL 是使用原始样本的两个增强视图来执行的，这些视图以互补的方式进行掩码。
我们对各种任务进行了广泛的实验，结果表明，在标准学习和迁移学习设置下，我们提出的方法在预测和分类任务中的表现都优于最先进的方法（SOTA）。主要贡献总结如下：
- 我们认为，对于 TS 表征学习来说，学习独立嵌入时间序列片段要优于学习它们的依赖性，这在性能和效率方面都是如此。为了实现片段独立性，我们提出了 PITS，其中包含了对 MTM 的两大修改：1）使任务与片段无关，重建未掩码的片段，而不是预测掩码的片段；2）使编码器与片段无关，消除注意力机制，同时保留 MLP 以忽略编码期间片段之间的相关性。
- 我们引入互补对比学习来分层高效地捕捉相邻的 TS 信息，其中正对是通过互补随机掩码来实现的。
- 我们对低级预测和高级分类进行了大量实验，证明我们的方法提高了 SOTA 在各种下游任务中的性能。同时，我们发现 PI 任务在管理分布偏移方面优于 PD 任务，而且与 PD 架构相比，PI 架构对片段大小的解释性和鲁棒性更强。
2 相关工作
自监督学习。近年来，自监督学习（self-supervised learning，SSL）在从各个领域的无标记数据中学习强大表征方面获得了广泛关注。SSL 的成功来自于对代理任务的积极研究，这些任务在没有监督的情况下预测数据的某一方面。下标记预测（Brown 等人，2020 年）和掩码标记预测（Devlin 等人，2018 年）常用于自然语言处理，拼图游戏（Noroozi & Favaro，2016 年）和旋转预测（Gidaris & Komodakis，2018 年）常用于计算机视觉。
最近，对比学习（CL）（Hadsell 等人，2006 年）作为一种有效的代理任务出现了。CL 的关键原理是最大化正对之间的相似性，同时最小化负对之间的相似性（Gao 等人，2021 年；Chen 等人，2020 年；Yue 等人，2022 年）。另一种很有前景的技术是掩码建模（MM），它训练模型根据未掩码部分重建掩码片段。例如，在自然语言处理中，模型预测句子中被掩码的单词（Devlin 等人，2018 年），而在计算机视觉中，模型预测图像中被掩码的片段（Baevski 等人，2022 年；He 等人，2022 年；Xie 等人，2022 年），在各自的领域内。
掩码时间序列建模。除了 CL，MM 作为 TS 中 SSL 的代理任务也获得了关注。该任务涉及掩码 TS 的一部分并预测缺失值，被称为掩码时间序列建模（MTM）。CL 在高级分类任务中表现抢眼，而 MM 则在低级预测任务中表现出色（Yue 等人，2022 年；Nie 等人，2023 年）。TST（Zerveas 等人，2021 年）将 MM 范式应用于 TS，旨在重建被掩码的时间戳。PatchTST （Nie 等人，2023 年）侧重于预测被掩码的子序列级片段，以捕捉局部语义信息并减少内存使用。SimMTM （Dong 等人，2023 年）从多个掩码 TS 重建原始 TS。TimeMAE（Cheng 等人，2023 年）使用两个代理任务，即掩码编码词分类和掩码表示回归，训练基于变压器的编码器。表 1 比较了包括我们在内的 TS 领域的各种方法，包括预训练方法和下游任务两个标准，其中预训练方法中的 No (Sup.) 表示不采用预训练的监督学习方法。
与最近的 MTM 研究不同，我们建议通过自动编码来重建未屏蔽的片段。自动编码的一个主要问题是身份映射的琐碎解决方案，即隐藏层的维度应小于输入。为了缓解这一问题，我们在中间全连接（FC）层后引入了剔除（dropout），这与堆叠去噪自动编码器（Liang & Liu，2015）的情况类似，其中的消融研究可参见图 4。
CL 与 MM 的结合。最近有人致力于将 CL 和 MM 结合起来进行表征学习（Jiang 等人，2023 年；Yi 等人，2023 年；Huang 等人，2022 年；Gong 等人，2023 年；Dong 等人，2023 年）。在这些研究中，SimMTM（Dong 等人，2023 年）以对比损失的形式在目标函数中加入了正则因子，从而解决了 MM 任务。不过，它与我们的工作不同之处在于，它关注的是 TS 之间的 CL，而我们提出的 CL 针对的是单个 TS 中的片段。
互补掩码。SdAE（Chen 等人，2022 年）采用学生分支进行信息重建，教师分支生成掩码标记的潜表征，利用互补的多重掩码策略来保持分支之间的相关互信息。TSCAE（Ye等人，2023）通过引入师生网络互补掩码，解决了基于MM的预训练模型中上下游不匹配的差距；CFM（Liao等人，2022）引入了可训练的互补掩码策略，用于特征选择。我们提出的互补掩码策略不同之处在于，它不是为蒸馏模型设计的，我们的掩码不是可学习的，而是随机生成的。
用于时间序列预测的线性模型。Transformer （Vaswani 等人，2017 年）是一种流行的序列建模架构，它促使基于 Transformer 的时间序列分析解决方案激增（Wen 等人，2022 年）。Transformer 的主要优势来自多头自关注机制，擅长在广泛的序列中提取语义关联。然而，Zeng 等人（2023 年）的最新研究表明，简单的线性模型仍能提取基于 Transformer 的方法所捕捉到的此类信息。受这项工作的启发，我们建议使用一种不对时间序列片段之间的交互作用进行编码的简单 MLP 架构。
(没看完，因为有杂事，明天继续.)
