通过任务启发式建模的自适应变分持续学习

BriefGPT - AI 论文速递 · 2024-08-29T00:00:00Z

本文通过统计分析一系列线性回归任务，研究了不同正则化项对连续学习模型性能的影响。推导了广义l2正则化算法族的收敛速率和估计误差的迭代更新公式，确定了最佳算法的超参数选择。研究发现超参数选择能够平衡前向和后向知识转移的权衡，并适应数据异质性。实验结果验证了理论分析的有效性。