本文介绍了一种在线学习算法，通过正则化路径的顺序随机逼近，收敛于再生核希尔伯特空间中的回归函数。通过选择增益或步长序列，可以生产出批量学习的最佳已知强收敛速率，并给出了弱收敛速率。通过偏差-方差分解，证明偏差包括逼近误差和漂移误差，方差来自样本误差，分析为反向鞍点型差分序列。