探究预训练对时间序列分类的影响

BriefGPT - AI 论文速递 · 2023-09-11T00:00:00Z

本文探讨了预训练和微调对于模型优化的效果，发现对于数据拟合不佳的模型，预训练和微调可以帮助优化过程，但对于拟合较好的模型则没有这种效果。预训练只能加速收敛，不能改善泛化能力，但可以增强预训练在原始数据量方面的优势。同时，预训练任务和模型结构对于该范式在给定数据集上的效果起到作用，但模型结构的作用更加重要。