【灯塔计划】供应链时序大模型探索
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
本文介绍了一种新型时间序列大模型PCTLM，克服了传统模型在复杂模式捕捉和零样本泛化能力上的不足。通过构建15亿样本的数据集和强化学习框架TPO，PCTLM在多个公开数据集上取得了SOTA效果，优于现有模型，并已成功应用于京东供应链系统。
🎯
关键要点
- 本文介绍了一种新型时间序列大模型PCTLM，克服了传统模型在复杂模式捕捉和零样本泛化能力上的不足。
- PCTLM通过构建15亿样本的数据集和强化学习框架TPO，在多个公开数据集上取得了SOTA效果。
- 传统时间序列预测方法面临复杂模式捕捉不足和零样本泛化能力弱的问题。
- 大语言模型在时序预测适配方面逐渐成为热点，但尚未出现突破性结果，主要由于数据集质量偏低和缺少有效的RLHF方案。
- PCTLM模型通过Patch的方式对数据进行切割，并引入时间位置编码的分组注意力机制来训练大模型。
- 数据集构建方面，使用京东自营销量数据、公开数据集和合成数据，最终形成15亿样本的高质量数据集。
- 模型设计采用基于Patch的方法，结合卷积层和分组注意力机制，提升时间序列预测能力。
- 提出了适用于纯时序大模型的强化学习框架TPO，解决了传统RLHF框架不适用的问题。
- PCTLM模型在公开数据集上表现优于现有的微调时序大模型和全监督预测模型。
- 该模型已成功应用于京东供应链系统，实现了自动化补货，预测准确率显著提升。
➡️
