马尔可夫链中心极限定理的收敛速度及其在 TD 学习中的应用
内容提要
本文汇编多篇随机逼近研究，涵盖：可微测试函数下平均SGD收敛到正态分布的非渐近速率及非渐近鞅中心极限定理；TD(0)线性逼近的非渐近界与迭代平均变体；双时间尺度随机逼近、马尔可夫链泛函CLT、常数步长SGD不变分布与集中性、顺序蒙特卡罗CLT、线性双时间尺度收敛速度及高维CLT收敛速率。
延伸解读
非渐近速率对置信区间与假设检验的意义
文章指出，Polyak-Ruppert 平均 SGD 的非渐近正态收敛速率可用于计算参数估计的置信区间，并在非渐近意义下构建假设检验。这意味着在有限样本下，研究者能更精确地量化估计的不确定性，而不仅依赖渐近近似。对于依赖 SGD 的统计推断任务，这一结果提供了理论保障，但实际应用时需注意步长选择与迭代次数对速率的影响。
TD(0) 步长选择与迭代平均的权衡
针对线性函数逼近的 TD(0)，文章给出了非渐近界，并强调除非已知马尔可夫链稳态分布的部分信息，否则步长反比于迭代次数不能保证最优收敛率。而迭代平均的 TD(0) 变体消除了对步长的依赖，并达到最优收敛速度。这提示实践者：在缺乏环境先验时，采用迭代平均可能更稳健，但需权衡计算开销与收敛稳定性。
双时间尺度随机逼近的耦合动态与扩展
文章通过中心极限定理对受控马尔可夫噪声下的双时间尺度随机逼近进行了渐近分析，揭示了受底层马尔可夫链影响的耦合动态。这一分析扩展了 TTSA 的应用范围，并用于推断使用马尔可夫样本的 GTD 算法的统计性质。读者可关注：耦合动态意味着两个时间尺度的交互会显著影响收敛行为，实际算法设计需谨慎设置步长比例。
常数步长 SGD 的不变分布与集中性
在强凸光滑目标下，常数步长 SGD 的迭代过程会以总变差距离或 Wasserstein-2 距离收敛到一个不变分布，且该极限分布具有次高斯或次指数集中性。文章还推导了高可信度界限。这表明常数步长虽不趋于零，但能稳定在某个分布附近，适合需要持续跟踪的场景；不过，其收敛精度受步长和噪声分布条件限制。
Q&A
Polyak-Ruppert 平均 SGD 收敛到正态分布的非渐近速率是如何证明的？
本文提供了一类可微测试函数的 Polyak-Ruppert 平均随机梯度下降（SGD）收敛到正态随机向量的非渐近速率。关键中间步骤是证明一个非渐近鞅中心极限定理，使用 Stein 方法和 Lindeberg 的论证以及非渐近分析，与 [PJ92] 提出的平均 SGD 一起得到了多元鞅 CLT 的显式速率。
TD(0) 线性逼近的非渐近界是什么？迭代平均变体有何优势？
本文提出了针对使用线性函数逼近器的时间差分学习算法 TD(0) 的非渐近界限。同时指出，除非对政策的马尔科夫链的稳态分布（部分）具有知识，否则步长反比于迭代次数不能保证最优收敛率。此外，为迭代平均的 TD(0) 变体提供了界限，消除了步长的依赖性，并表现出最优的收敛速度。还提出了一种包含置中序列的 TD(0) 线性逼近器变型，并证明它在期望下表现出指数级的收敛速度。
双时间尺度随机逼近（TTSA）在马尔可夫噪声下的渐近分析有什么结果？
通过中心极限定理对双时间尺度随机逼近（TTSA）在受控马尔可夫噪声下进行了深入的渐近分析，揭示了受底层马尔可夫链影响的 TTSA 的耦合动态，从而扩展了其应用范围，并结合应用结果推断了使用马尔可夫样本的 GTD 算法的统计性质和渐近性能。
常数步长 SGD 的不变分布和集中性有什么性质？
本文研究在强凸光滑目标下使用常数步长随机梯度下降的优化问题，通过马洛夫链的视角对其性质进行研究，证明了当梯度噪音分布满足一定条件时，该迭代过程以总变差距离或 Wasserstein-2 距离收敛于一个不变分布，同时证明了该极限分布具有次高斯或次指数分布的浓度性质；最后针对一些具体应用，推导出了高可信度界限。
顺序蒙特卡罗方法的中心极限定理及其在贝叶斯应用中的长期可靠性如何？
本文建立了顺序蒙特卡罗方法的中心极限定理，它是一种通用的迭代算法，执行所需分布序列的蒙特卡罗估计。这个结果适用于在文献中考虑过的大多数顺序蒙特卡罗方法的一般框架，涵盖了对所需分布进行最小假设的情况，同时提供对给定粒子滤波器精度的方便测量。文章研究了在一些典型的贝叶斯应用中，这些渐近方差是否在时间上发散及其速率，以评估所考虑算法的长期可靠性。
高维环境下中心极限定理的收敛速率有哪些新结果？
该研究介绍了一种在高维环境下获得中心极限定理（CLT）收敛速率的新方法。运用该方法，我们获得了在交通距离和熵中收敛的新界限，并特别改进了对于有界随机向量的二次 Wasserstein 运输距离收敛的已知最佳界限，推导了对于一般的对数凹随机向量的信息熵 CLT 的第一个非渐近收敛速度，给出了一个在对数凹性假设下的交通距离收敛的改进界限，在强对数凹性的假设下，两个指标的改进都得到了改善。我们的方法基于鞅嵌入，具体地，基于第一位作者构造的 Skorokhod 嵌入。
