非 I.I.D 数据下被审查回归模型的渐进有效的在线学习
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了一种在线学习算法,通过正则化路径的顺序随机逼近,收敛于再生核希尔伯特空间中的回归函数。通过选择增益或步长序列,可以生产出批量学习的最佳已知强收敛速率,并给出了弱收敛速率。通过偏差-方差分解,证明偏差包括逼近误差和漂移误差,方差来自样本误差,分析为反向鞍点型差分序列。
🎯
关键要点
-
介绍了一种在线学习算法,收敛于再生核希尔伯特空间中的回归函数。
-
通过选择增益或步长序列,展示了批量学习的最佳已知强收敛速率。
-
给出了弱收敛速率,达到了文献中最优水平。
-
利用Hilbert空间中的鞍点型不等式推导出几乎肯定的收敛。
-
通过偏差-方差分解,证明偏差包括逼近误差和漂移误差。
-
方差来自样本误差,分析为反向鞍点型差分序列。
-
速率通过偏差和方差之间的最佳折衷得到。
➡️