【论文阅读】Position： What Can Large Language Models Tell Us about Time Series Analysis

原始题目：Position: What Can Large Language Models Tell Us about Time Series Analysis
中文翻译：立场：关于时间序列分析，大型语言模型能告诉我们什么
发表时间：2024-06-01
平台：ICML
文章链接：http://arxiv.org/abs/2402.02713
开源代码：NA

摘要

时间序列分析对于理解各种现实世界系统和应用程序中固有的复杂性至关重要。尽管大型语言模型（LLM）最近取得了重大进展，但配备时间序列分析功能的通用人工智能（AGI）的开发仍处于初级阶段。大多数现有的时间序列模型在很大程度上依赖于领域知识和广泛的模型调整，主要集中在预测任务上。在本文中，我们认为当前的LLM有可能彻底改变时间序列分析，从而促进高效决策，并朝着更普遍的时间序列分析智能形式迈进。这种进步可以释放广泛的可能性，包括时间序列模态转换和问题回答。我们鼓励研究人员和从业者认识到LLM在推进时间序列分析方面的潜力，并强调对这些相关工作的信任。此外，我们详细介绍了时间序列分析与现有LLM技术的无缝集成，并概述了未来研究的前景。

1. 引言

时间序列是记录动态系统变量变化的基本数据类型，广泛应用于不同的学科和应用（Hamilton，2020；Wen等人，2022）。它的分析有助于揭示一段时间以来的模式和关系，从而促进对复杂现实世界系统的理解，并支持明智的决策。许多现实世界的动态规律，如金融市场波动（Tsay，2005）和高峰时段的交通模式（Alghamdi et al.，2019），从根本上被封装在时间序列数据中。在解决实际场景时，时间序列分析采用了从传统统计学（Fuller，2009）到最近的深度学习技术（Gamboa，2017；Wen等人，2021）的各种方法。在感官人工智能时代，这些特定领域的模型有效地为预测和分类等预测任务提取有意义的表示。尽管取得了这些成功，但主流时间序列研究与通用人工智能（AGI）的开发（Bubeck et al.，2023）之间仍存在显著差距，后者具有以统一方式解决各种问题的时间序列能力。

最近出现的大型语言模型（LLM），如Llama（Touvron等人，2023a；b）和GPT-4（Achiam等人，2023），已经席卷并推动了各种跨学科领域的进步（赵等人，2022）。他们杰出的零样本能力（Kojima et al.，2022），以及新兴的推理和规划能力（Wang et al.，2024），越来越受到关注。然而，他们主要关注的是文本序列。扩展LLM的能力以适应和处理更多数据模式的探索，如图像（Zhang et al.，2024a）和图形（Chen et al.，024），已开始受到初步关注。

随着LLM的集成，时间序列分析正在发生重大转变（Jin et al.，2023b；Liang et al.，2024）。时间序列模型通常是为特定任务设计的，在很大程度上依赖于先验领域知识和广泛的模型调整，缺乏有效更新和验证的保证（Zhou et al.，2023a）。相反，LLM具有巨大的潜力，不仅可以提高预测性能（Jin et al.，2024），还可以支持跨学科（Yan et al.（2023））、交互式（Xue et al.，2023）和解释性（Gu et al.）分析。通过调整时间序列和自然语言，大型语言和基础/专业时间序列模型构成了一种新的技术范式，其中LLM由时间序列和文本指令提示。在这种范式中，时间序列和文本信息提供了基本的上下文，LLM提供了内部知识和推理能力，而预先训练的时间序列模型提供了基本模式识别保证。这种新颖的集成如图1所示，这些组件的成功融合展示了在下一代时间序列分析中实现通用统一系统的潜力。

为什么是这份立场文件？鉴于最近研究中出现的显著能力（金等人，2023b；梁等人，2024；张等人，2024e），我们认为时间序列分析研究领域正在经历一个激动人心的变革时刻。我们的观点是，LLM可以作为理解和推进时间序列数据分析的中心枢纽。具体而言，我们提出了关键见解，即LLM可以通过三种基本方式深刻影响时间序列分析，其能力边界如图2所示：（1）作为有效的数据和模型增强器，以增强的外部知识和分析能力来增强时间序列数据和现有方法；（2） 作为优秀的预测者，利用他们广泛的内部知识和新兴的推理能力来完成一系列预测任务；以及（3）作为下一代代理，超越传统角色，积极参与和转换时间序列分析。我们主张关注相关研究和努力，朝着更通用的智能系统发展，用于通用时间序列分析。为此，我们深入研究了相关文献，提出并讨论了以LLM为中心的时间序列分析的潜在公式，以弥合两者之间的差距。我们还确定并概述了未来的研究机会和挑战，呼吁在这一有前景的跨学科领域做出更大的承诺和探索。

贡献：这项工作的贡献可以概括为三个方面：（1）提供新的视角。我们阐明了我们对以LLM为中心的时间序列分析的立场，概述了LLM和时间序列分析模型之间的潜在协同作用。这突出表明需要加强这一领域的研究重点和献身精神；（2） 系统回顾和分类。我们仔细检查了现有的前期工作，并提出了一个清晰的路线图，强调了LLM和时间序列分析的三种潜在集成形式；（3） 识别未来的机会。我们探索并阐明了当前研究尚未解决的领域，为这个不断发展的跨学科领域的未来研究提供了有希望的方向。

2. 背景

2.1. 时间序列分析

2.2. 大型语言模型

2.3. 研究路线图

3. LLM辅助时间序列增强器

LLM辅助增强子的作用深入探讨了LLM是否可以增强我们对时间序列数据的理解，并扩展现有模型的知识。已经设计了许多方法来处理时间数据，但LLM的大量内部知识和推理能力可以显著提高数据理解和模型性能；因此，我们从数据和模型的角度直观地区分LLM辅助增强子。

3.1. 基于数据的增强器

LLM辅助增强子不仅增强了数据的可解释性，还提供了补充改进，有助于更全面地理解和有效地使用时间序列数据。对于可解释性，LLM提供文本描述和摘要，有助于理解时间序列数据中的模式和异常。示例包括用于人类移动数据的LLMMPE（Liang等人，2023）、用于生物信号的SignalGPT（Liu等人，2023a）和用于趋势挖掘的Insight Miner（Zhang等人，2023c）。此外，AmicroN（Chatterjee et al.，2023）和SST（Ghosh et al.，2021）使用LLM进行详细的传感器和空间时间序列分析。如（Yu et al.，2023b）和（Fatouros et al.，2024）中所述，补充增强包括集成不同的数据源，丰富时间序列数据上下文，提高模型稳健性，用于财务决策。这样的增强有助于改进域模型的固有功能，使其更加健壮。

3.2. 基于模型的增强器

基于模型的增强子旨在通过解决时间序列模型在外部知识和特定领域环境中的局限性来增强时间序列模型。从LLM转移知识可以提高领域模型处理复杂任务的性能。这种方法通常采用双塔模型，如（Qiu et al.，2023b；Li et al.，2024）中的方法，使用冷冻LLM进行心电图（ECG）分析。一些方法进一步利用对比学习来实现某些对齐。例如，IMU2CLIP（Moon et al.，2023）将文本和视频与传感器数据对齐，而STLLM（Zhang et al.，2024c）增强了空间时间序列预测。另一个分支利用提示技术来利用LLM的推理决策能力。例如，TrafficGPT（Zhang et al.，2024d）举例说明了决策分析，将流量模型与LLM集成，用于用户定制的解决方案，提供详细的见解以增强系统的可解释性。

3.3. 讨论

LLM辅助增强器有效地解决了时间序列数据固有的稀疏性和噪声特性，同时也为现有的时间序列模型提供了增强的外部知识和分析能力。时间序列可能比其他模式更能从数据增强中受益，因为它可能具有更低的信息密度。例如，比较原始数据量，视频数据每秒固有地包含比音频等典型时间序列数据多得多的信息。这种差异突显了时间序列数据增强在许多用例中的重要性，在这些用例中，LLM可以利用内部和外部知识以及其固有的推理能力来应对这一挑战。另一方面，时间序列基础模型的开发仍处于起步阶段，这为LLM扩展现有时间序列模型的知识边界提供了机会。此外，这项技术是即插即用的，能够为现实世界的时间序列数据和模型挑战提供灵活的帮助。然而，一个值得注意的障碍是，在处理大规模数据集时，使用LLM作为增强器会带来大量的时间和成本开销。此外，时间序列数据中应用场景的固有多样性和范围为普遍有效的LLM辅助增强子的创建增加了复杂性。

我们的立场：LLM辅助增强子是增强时间序列数据和模型的一种很有前途的途径，值得进一步探索。未来的方向应侧重于开发高效、负责任和普遍适用的即插即用解决方案，有效应对数据稀疏性和噪声等实际挑战，同时考虑大规模数据集应用程序的时间和成本效率。

4. 以LLM为中心的时间序列预测器

以LLM为中心的预测器将LLM中的广泛知识用于各种时间序列任务，如预测和异常检测。使LLM适应时间序列数据涉及独特的挑战，如数据采样和信息完整性方面的差异。在下面的讨论中，根据是否访问LLM参数，将方法分为基于调优和非基于调优的方法，主要侧重于构建通用或特定领域的时间序列模型。

4.1. 基于调整的预测器

基于调优的预测器使用可访问的LLM参数，通常涉及对数字信号和相关文本数据进行修补和标记，然后对时间序列任务进行微调。图4（a）显示了这个过程：（1）通过Patching（·）操作（Nie et al.，2022），时间序列被分块以形成基于补丁的令牌\(\chi_{int}\)。一个附加选项是对时间序列相关的文本数据执行Tokenizer（·）操作，以形成文本序列标记\(\tau_{inp}\)；（2） 时间序列补丁（和可选的文本令牌）被馈送到具有可访问参数的LLM中；（3） 最后引入了一个额外的任务层，表示为Task（·），以在指令提示P（图中未显示）的情况下执行不同的分析任务。该过程制定如下：

\[\begin{aligned}\text{Pre-processing:}&\mathcal{X}_{inp}=\mathrm{Patching}(\mathcal{X}),\\&\mathcal{T}_{inp}=\mathrm{Tokenizer}(\mathcal{T}),\\\text{Analysis:}&\hat{Y}=\mathrm{Task}(f_{LLM}^{\triangle}(\mathcal{X}_{inp},\mathcal{T}_{inp},P)),\end{aligned}\tag{2} \]

其中X和T分别表示时间序列样本和相关文本样本的集合。这两个（后者是可选的）一起被馈送到LLM\(f_{LLM}^{\triangle}\)中，具有部分解冻或额外的适配器层以预测标签\(\hat{Y}\)。

由于文本和时间序列数据之间固有的模态差距，将开箱即用LLM直接适应用于下游时间序列分析任务的原始时间序列数字信号通常是违反直觉的。然而，OFA（Zhou et al.，2023a）和类似的研究发现，由于自我注意机制的普遍性，LLM即使在冻结的情况下，也可以在时间序列任务中表现得相当。其他人，如GATGPT（Chen et al.，2023b）和ST-LLM（Liu et al.，2024a），将这些发现应用于时空数据，而UniTime（Liu等人，2024b）使用手动指令进行域识别。这使他们能够处理具有不同特征的时间序列数据，并区分不同的领域。

然而，上述方法都需要修改，这些修改会破坏原始LLM的参数，从而可能导致灾难性的遗忘。相比之下，受此启发，另一项工作旨在通过引入额外的轻量级自适应层来避免这种情况。Time-LLM（Jin et al.，2024）使用文本数据作为提示前缀，并将输入的时间序列重新编程到语言空间中，增强了LLM在各种预测场景中的性能。TEST（Sun等人，2024）通过构建时间序列数据的编码器，利用对齐对比度和软提示，利用冻结LLM进行有效微调，来解决不一致的嵌入空间。TEMPO（Cao et al.，2023）将季节性和趋势分解与冻结LLM相结合，使用即时池来处理预测非平稳时间序列中的分布变化。

4.2. 基于非调优的预测器

适用于闭源模型的基于非调优的预测因子涉及对时间序列数据进行预处理，以适应LLM的输入空间。如图4（b）所示，这通常包括两个步骤：（1）预处理原始时间序列，包括可选操作，如提示模板（·）和自定义令牌生成器（·）；（2） 将经处理的输入\(\chi_{inp}\)馈送到LLM中以获得响应。然后使用Parse（·）函数来检索预测标签。该过程制定如下：

\[\begin{aligned}\text{Pre-processing:}&\mathcal{X}_{inp}=\mathrm{Template}(\mathcal{X},P),\\&or\quad\mathcal{X}_{inp}=\mathrm{Tokenizer}(\mathcal{X}),\\\text{Analysis:}&\hat{Y}=\mathrm{Parse}(f_{LLM}^{\blacktriangle}(\mathcal{X}_{inp})),\end{aligned}\tag{3} \]

其中P表示当前分析任务的指令提示，\(f_{LLM}^{\blacktriangle}\)表示黑盒LLM模型。

（Spathis&Kawsar，2023）最初指出，LLM标记器不是为数值设计的，它分离连续值并忽略它们的时间关系。他们建议使用轻量级嵌入层和即时工程作为解决方案。在此之后，LLMTime（Gruver et al.，2023）引入了一种新的标记化方法，将标记转换为灵活的连续值，使未经调整的LLM能够在特定领域的模型中匹配或超过零样本预测性能。这一成功归功于LLM表示多模式分布的能力。使用上下文学习，在序列转换和完成等任务中进行评估。（Mirchandani等人，2023）认为LLM处理抽象模式的能力将其定位为基础的通用模式机器。这导致LLM应用于人类流动采矿（Wang et al.，2023b；Zhang et al.，2021年3月）、财务预测（Lopez-Lira&Tang，2023）和健康预测（Kim et al.，2024）等领域。

4.3. 其他

除了前面讨论的方法之外，时间分析中的另一个重要方法涉及从头开始构建基础模型，如图4（c）所示。这种方法侧重于创建大型、可扩展的模型，包括通用模型和特定领域模型，旨在模拟LLM的缩放定律（Kaplan et al.，2020）。更多细节可以在（Liang et al.，2024）中找到，因为这一方法分支在一定程度上与我们在本文中的主要立场无关。

4.4. 讨论

以LLM为中心的预测因子在时间序列分析中取得了显著进步，在少样本和零样本场景中通常优于许多领域特定模型。基于调优的方法，其参数可调，通常显示出更好的性能和对特定领域的适应性。然而，它们容易发生灾难性遗忘，并且由于参数修改而涉及高训练成本。虽然适配器层在一定程度上缓解了这个问题，但昂贵的训练挑战仍然存在。相反，提供基于文本的预测的非调优方法在很大程度上依赖于手动提示工程，其预测稳定性并不总是可靠的。此外，从头开始构建基础时间序列模型涉及到平衡高开发成本与其适用性。因此，需要进一步完善，以解决以LLM为中心的预测器中的这些挑战。

我们的立场是：以LLM为中心的预测因子，尽管在时间序列分析中蓬勃发展，但仍处于初级阶段，值得深入考虑。我们的立场提出了一个关键假设，即LLM擅长处理时间序列任务。未来的进步可能不仅建立在预先训练的时间序列模型之上，而且还涉及到这些模型。通过利用LLM的独特功能，这些进步可以进一步降低调整成本，提高预测的稳定性和可靠性。

5.LLM加强的时间序列智能体

如前一节所示，时间序列中基于调优的方法利用LLM作为稳健的模型检查点，试图为特定的领域应用程序调整某些参数。然而，这种方法往往会牺牲LLM的交互能力，并且可能无法充分利用LLM提供的好处，例如在上下文学习或思维链中。另一方面，由于LLM对语言数据的初步训练，非调整方法，将时间序列数据集成到文本格式或开发专门的标记器，面临着限制，阻碍了他们对语言中不容易捕捉到的复杂时间序列模式的理解。为了应对这些挑战，直接利用LLM作为时间序列代理进行通用分析和解决问题的工作有限。我们首先试图在附录B中概述各种模式下的此类方法，旨在描述构建强大的通用时间序列分析代理的策略。

在接下来的部分中，我们将使用快速工程技术来迫使LLM协助执行基本的时间序列分析任务。我们的演示表明，LLM不可否认地具有作为时间序列代理的潜力。然而，当涉及到理解复杂的时间序列数据时，他们的熟练程度受到限制，导致产生幻觉输出。最终，我们确定并讨论了有希望的途径，这些途径可以使我们能够开发更健壮、更可靠的通用单智能体和多智能体时间序列系统。

5.1. 实证分析：LLM作为时间序列分析师

本小节介绍了评估LLM作为人机交互和时间序列数据分析代理的零样本能力的实验。我们利用HAR（Anguita et al.，2013）数据库，该数据库来源于30名研究参与者在携带装有惯性传感器的腰装智能手机时从事日常生活活动（ADL）的记录。最终目标是将活动分为四类（站立、坐着、躺着、走路），每类有十个实例进行评估。GPT-3.5使用的提示如图8所示，分类混淆矩阵如图5所示。我们的主要观察结果包括：

LLM作为有效的分析师。实验表明，LLM可以熟练地作为人类互动和时间序列数据分析的代理，产生准确的预测，如图8所示。值得注意的是，所有带有Stand标签的实例都得到了正确分类，突出了LLM在零样本任务中的熟练程度。这些模型对常识行为有着深刻的理解，包括时间序列分类、异常检测和数据扩充的巧妙应用中的各种标签（图9）。

可解释性和真实性。这种单代理系统优先考虑高可解释性和真实性，允许用户自信地询问其决策背后的原因。内在的分类推理用自然语言表达，促进了用户友好的互动。

理解复杂模式的局限性。尽管它们有能力，但当前的LLM在理解复杂的时间序列模式方面显示出局限性。当面临复杂的查询时，他们最初可能会拒绝提供答案，理由是无法获得有关底层分类算法的详细信息。

偏见和任务偏好。LLM表现出对训练语言分布的偏见，表现出对特定任务的强烈偏好。在图8中，Lay的实例一直被错误地归类为Sit和Stand，Sit和Stand的性能更好。

幻觉。LLM容易产生幻觉问题，产生合理但错误的答案。例如，在图9中，增强的数据只是给定实例的副本，尽管模型知道如何应用数据增强：这些实例延续了油温和电力负荷特征的每小时趋势，保持了所提供数据集的结构和特征。随后对图5中的错误分类进行了调查，特别是关于LLM为什么将Lay实例分类为Sit and Stand，得出了看似合理的理由（见表1）。然而，这些理由暴露了模型编造解释的倾向。

5.2. 推进时间序列代理的关键经验教训

通用的单智能体（和多智能体）系统仍然是现代时间序列分析难题中缺失的一块。根据早期实验的经验见解，很明显，LLM作为高级单智能体时间序列系统，在处理有关数据分布和特定特征的问题时表现出显著的局限性。他们的回答往往显示出对请求额外信息的依赖，或者强调在没有基本模型或具体数据细节的情况下无法提供准确的理由。

为了克服这些限制并开发基于LLM的实用时间序列代理，将时间序列知识无缝集成到LLM中变得至关重要。从成功将领域特定知识注入LLM的研究中获得灵感（Wang et al.，2023a；刘等人，2023b；吴等人，2023；Schick等人，2024），我们提出了几个研究方向。其中包括创新的方法，通过赋予基于LLM的单智能体系统对时间模式和相关上下文信息的深刻理解，提高其在时间序列分析中的熟练度。

• 将时间序列特征与语言模型表示对齐（图6a）。将时间序列特征与预先训练的语言模型表示明确对齐，有可能增强模型对时间模式的理解。这种对齐可以涉及将特定特征映射到模型内的相应语言元素。
• 融合文本嵌入和时间序列特征（图6b）。探索文本嵌入和时间序列特征在LLM优化格式中的融合是一条很有前途的途径。这种融合旨在创建一种表示，利用LLM在自然语言处理中的优势，同时适应时间序列数据的复杂性。
• 教授LLM使用外部工具（图6c）。这里的目标是指导LLM从外部“工具箱”中识别适当的预训练时间序列模型或分析工具，并根据用户查询指导其使用。时间序列知识驻留在这个外部模型中心中，而LLM承担高级代理的角色，负责协调其利用率并促进与用户的交互。

与模型重新调整用途或对特定任务进行微调等方法不同，未来研究的重点应该是利用LLM固有的零样本功能进行一般模式操作。建立一个框架，促进用户和LLM代理之间的无缝交互，通过上下文学习解决一般的时间序列问题，是一个令人兴奋的方向。

5.3. 探索另类研究途径

为了满足增强基于LLM的时间序列代理能力的迫切和关键需求，我们认识到，整合时间序列知识是一个关键方向。同时，减轻与此类代理人相关的风险同样至关重要。在这方面，我们指出了关键挑战，并提出了提高时间序列代理的可靠性和有效性的潜在方向。

如我们的实验所示，幻觉是各种基础模型中反复出现的挑战（Zhou et al.，2023b；Rawte等人，2023；Li et al.，2021），是部署用于时间序列分析的基于LLM的代理系统的一个重要问题。解决这个问题通常涉及两种方法：识别可靠的提示（Vu et al.，2023；Madaan et al.，2024）和使用可靠的指令数据集微调模型（Tian et al.，2021；张等人，2023a）。然而，这些方法需要大量的人力工作，对可扩展性和效率提出了挑战。一些举措将特定领域的知识集成到ICL提示中（Da等人，2023；Yang等人，2021年2b），并构建特定领域的指令数据集（Liu等人，2023b；Ge等人，2020年3月），但有效时间序列分析的指令或提示的最佳格式仍不清楚。为时间序列分析中制定有影响力的指令制定指导方针是未来研究的一个有前景的领域。

多智能体时间序列系统是由多个相互作用的时间序列智能体组成的另一个有前景的方向。这些系统可以利用各个代理的优势，每个代理专门从事时间序列分析的不同方面，以提供更全面和准确的结果（Cheng et al.，2024）。例如，一个代理可能擅长识别模式和趋势，而另一个代理则专注于异常检测或预测。这些代理之间的协作可以带来更强大的解决方案，特别是在单代理时间序列系统不足的复杂场景中。

关于将时间序列代理与人类偏好相一致的持续担忧（Lee等人，2023），例如生成有用和无害的内容（Bai等人，2022），突出了对更强大和值得信赖的代理的需求。此外，互联网的不断发展，每天增加数PB的新数据（Wenzek et al.，2020），强调了处理时间序列数据中概念漂移的重要性（Tsymbal，2004），其中未来的数据可能与过去的模式不同。应对这一挑战需要使代理人能够不断获得新知识（Garg等人，2023），或者在没有昂贵的再培训的情况下采用终身学习。

我们的立场：LLM有望成为各种时间序列应用的代理系统，但它们偶尔会遇到不准确和幻觉等挑战。提高它们的可靠性需要有效的指导方针和特定领域的知识整合。与人类偏好保持一致并适应不断变化的时间序列对于最大限度地提高其能力和最大限度地减少风险至关重要。我们的愿景是开发能够处理时间序列复杂性的强大LLM授权代理，包括探索提高性能和可靠性的多代理系统。

6.进一步讨论

我们的观点引发了持续的讨论。我们承认对LLM中心时间序列分析的不同观点和潜在的好奇心，客观地考察了几种不同的观点：

问责制和透明度。LLM仍然有些神秘，对其能力、机制和效率水平提出了根本性的问题，尤其是在最近的研究中，如PromptCast（Xue&Salim，2023）。我们主张理解潜在机制（Gruver et al.，2023），并建立透明的发展和评估框架，包括一致的模型报告和对内部流程和产出的明确解释（Liao&Vaughan，2024）。

隐私和安全。由于工业时间序列数据的敏感性，以LLM为中心的时间序列分析带来了重大的隐私和安全挑战。众所周知，LLM有时会记忆其训练数据的片段，其中可能包括私人信息（Peris等人，2023）。针对数据泄露和滥用等威胁的措施以及确保负责任和安全应用的道德准则和监管框架至关重要（Zhuo et al.，2023）。

环境和计算成本。批评者强调了以LLM为中心的时间序列分析的环境和计算成本，提出了LLM开发中的优化机会，并探索了更有效的对齐和推理策略，尤其是在处理标记化的高精度数值数据时。

7.结论

本文旨在提请研究人员和从业者注意LLM在推进时间序列分析方面的潜力，并强调信任在这些努力中的重要性。我们的关键立场是，LLM可以作为理解和推进时间序列分析的中心枢纽，引导更通用的智能系统进行通用分析，无论是作为增强子、预测器还是代理。为了证实我们的立场，我们回顾了相关文献，探索并讨论了以LLM为中心的时间序列分析的可能方向，以弥补现有的差距。

我们的目标是提高研究界对这一领域的认识，并为未来的调查指明途径。虽然我们的立场可能会引起一致和异议，但本文的主要目的是引发对这一跨学科主题的讨论。如果它有助于改变社区内的话语，它将实现其预期目标。

A.文献综述

B.LLM授权的时间序列代理

B.1. 相关工程概述

在利用LLM作为通用时间序列分析的代理的领域中，还处于萌芽阶段。在下文中，我们概述了不同模式的相关方法，重点介绍了开发强大的通用时间序列代理的策略。这些方法分为两大类。（1） 外部知识整合：该策略采用ICL提示来增强LLM对特定领域的理解。Yang等人将对象描述和关系嵌入提示中，以帮助LLM进行图像查询分析（Yang等人，2022b）。同样，Da等人使用包含交通状态、天气类型和道路类型的提示进行领域知情推断（Da等人，2023）。其他研究，如（Huang et al.，2022；Singh et al.，2023）包括状态、对象列表和提示中的动作，使LLM能够在不同的环境和任务中进行规划。Wu等人为ChatGPT引入了一个即时管理器，以利用预先训练的视觉模型（Wu等人，2023），而SocioDojo（Cheng&Chin，2024）则使用ICL来访问新闻和期刊等外部知识源，以进行决策。尽管这些基于提示的方法效率很高，而且不需要额外的训练，但它们面临着输入长度限制和语言捕捉复杂时间序列模式的困难等限制。（2） LLM与目标模态内容的对齐：此方法将LLM与特定模态内容对齐。Schick等人使LLM能够使用API调用注释数据集，并针对不同的工具使用对其进行微调（Schick等人，2024）。LLaVA（Liu等人，2023b）使用GPT-4生成多模式语言图像指令数据，而Pixiu（Xie等人，2023）为金融应用程序创建了多任务指令数据集，从而开发了FinMA，这是一种针对各种金融任务进行微调的金融LLM。Yin等人为2D和3D理解提供了一个多模态指令调整数据集，帮助LLM弥合单词预测和用户指令之间的差距（Yin等人，2024）。然而，设计全面的指令仍然是一项复杂的任务（Zhang et al.，2023b），人们担心这种方法可能有利于训练数据中过度表达的任务（Gudibande et al.，2021）。

B.2. 演示