本文综述线性二时间尺度随机逼近的收敛性研究：在马尔可夫噪声下分析其渐近收敛与有限时间收敛，给出样本复杂度及匹配下界，并应用于TDC、TD、GTD等强化学习算法。相关工作涵盖Polyak-Ruppert平均SGD的非渐近正态收敛、序贯蒙特卡罗的中心极限定理，以及深度学习梯度噪声呈重尾α稳定分布的观点。