字节跳动&清华大学开源多模态时序大模型ChatTS，可实现时序数据对话与推理

正文

请到「今天看啥」查看全文

传统的时间序列分析方法多基于统计模型或 AI 模型，而这些方法通常需要大量任务特定的训练、特定的数据预处理和结构化的输入输出，缺乏通用性和可解释性。而 LLM 的强语言建模能力和泛化推理能力，为「用自然语言理解时间序列」提供了可能。

然而，目前主流的 LLM 并不能直接处理原始的时间序列数组数据，现有工作要么将时间序列转成文本、图像输入，要么依赖 agent 工具进行间接分析，但都存在不同程度的限制。

因此，我们思考，是否可以构建一种 「时间序列原生」的多模态 LLM ，使其像处理图像一样，能够原生地理解时间序列的形状、波动与语义含义，并进行进一步的 问答和推理 ？

构建时间序列多模态大模型面临诸多挑战

• 数据稀缺。 与图文、语音等领域不同，时间序列+文本的对齐数据非常有限。
  

• 时间序列具有高度结构性。 时序包含丰富的趋势、周期、局部波动、噪声等形态特征。

• 时间序列输入往往是多变量、不同长度的。 变量之间的关系极具分析价值，但也加大了理解难度。
  

• 现有的评估基准未覆盖时间序列多模态建模任务 ，这也为训练和评估增加了难度。

现有方法

我们将现有尝试将 LLM 应用于时间序列的方式归为三类：文本化方法、图像化方法与 agent 方法。

请到「今天看啥」查看全文