预训练数据大揭秘3000亿时间点如何塑造Kairos-50M的泛化能力【免费下载链接】Kairos_50m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_50mKairos-50M是一款拥有5000万参数的时间序列基础模型专为跨领域零样本预测设计。它采用动态补丁 tokenizer、混合大小编码和动态旋转位置嵌入DRoPE能够处理具有不同信息密度的异构时间序列数据。本文将深入探讨其背后3000亿时间点的预训练数据如何塑造了模型强大的泛化能力。3000亿时间点的训练数据PreSTS 语料库的独特价值Kairos-50M 的训练数据来源于 PreSTS 语料库包含超过 3000 亿个时间点。如此庞大的数据量为模型提供了丰富的时间序列模式和特征使其能够学习到不同领域、不同场景下的时间序列规律。这些数据涵盖了多种类型的时间序列如金融数据、气象数据、工业传感器数据等。不同类型的数据具有不同的特点和规律模型在学习过程中能够捕捉到这些差异并形成对时间序列的全面理解。模型架构如何充分利用海量数据Kairos-50M 采用了基于 Transformer 的架构并融入了多种自适应组件以充分利用海量的预训练数据。混合大小编码器适应不同信息密度混合大小编码器能够根据局部信息密度自适应地选择 tokenization 粒度。在信息密度高的区域采用较小的粒度进行编码以捕捉更多的细节信息在信息密度低的区域采用较大的粒度提高编码效率。这种自适应的编码方式使得模型能够更好地处理不同类型的时间序列数据充分利用预训练数据中的信息。动态旋转位置嵌入DRoPE优化位置信息表示动态旋转位置嵌入DRoPE能够根据实例级谱特征和动态补丁 tokenization 定制位置编码。这使得模型在处理不同长度、不同采样频率的时间序列时能够准确地表示位置信息从而更好地捕捉时间序列的时序关系。零样本预测能力的实现从数据到泛化Kairos-50M 在 PreSTS 语料库上的训练使其具备了强大的零样本预测能力。模型通过学习海量数据中的时间序列模式能够在没有针对特定领域进行微调的情况下对新的时间序列数据进行准确预测。这种泛化能力的实现得益于模型对不同领域时间序列特征的深入学习和抽象。预训练数据中的 3000 亿时间点涵盖了各种可能的时间序列变化模式模型通过学习这些模式形成了一种通用的时间序列理解能力能够应用于新的场景和领域。模型规格与使用方法模型规格参数约 5000 万训练数据PreSTS 语料库3000 多亿时间点架构基于 Transformer 的自适应组件使用方法要使用 Kairos-50M 进行时间序列预测可按照以下步骤操作首先克隆仓库git clone https://gitcode.com/hf_mirrors/mldi-lab/Kairos_50m然后使用以下 Python 代码加载模型并进行预测import torch from tsfm.model.kairos import AutoModel # load model model AutoModel.from_pretrained( mldi-lab/Kairos_50m, trust_remote_codeTrue ) # forecasting configurations batch_size, context_length, prediction_length 1, 2048, 96 seqs torch.randn(batch_size, context_length) prediction_length 96 forecast model( past_targetseqs.clone().detach().float(), prediction_lengthprediction_length, generationTrue, preserve_positivityTrue, average_with_flipped_inputTrue ) # extract the prediction results forecast forecast[prediction_outputs] print(forecast.shape)总结3000 亿时间点的 PreSTS 语料库为 Kairos-50M 提供了坚实的训练基础结合其独特的混合大小编码器和动态旋转位置嵌入等架构设计使得模型具备了强大的零样本预测泛化能力。无论是在金融、气象还是工业等领域Kairos-50M 都能够为时间序列预测任务提供高效、准确的解决方案。随着时间序列数据的不断增长和模型技术的持续进步Kairos-50M 有望在更多领域发挥重要作用。【免费下载链接】Kairos_50m项目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_50m创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考