BriefGPT - AI 论文速递
·
弱相关数据的强健深度学习
💡
原文中文，约500字，阅读约需1分钟。
📝
内容提要
近期的深度学习研究在有界的损失函数或 (亚) 高斯或有界输入的情况下建立了深度神经网络估计器的一些理论性质。本文考虑了从弱相关观测中进行鲁棒深度学习，涉及无界的损失函数和无界的输入 / 输出。仅假设输出变量具有有限的 r 阶矩，其中 r>1。在强混合和 ψ- 弱相关假设的情况下，建立了深度神经网络估计器的期望超额风险的非渐近界限。我们推导出了这些界限与 r 之间的关系，并且当数据具有任意阶的矩 (即 r =∞) 时，收敛速度接近于一些著名结果。当目标预测函数属于具有足够大平滑指数的 H"older 平滑函数类时，期望超额风险的速率对于指数强混合数据接近于或与使用独立同分布样本获得的速率相同。我们考虑了鲁棒非参数回归和鲁棒非参数自回归的应用。对于具有重尾误差的模型的模拟研究表明，具有绝对损失和 Huber 损失函数的鲁棒估计器优于最小二乘法。
🎯
关键要点
- 近期深度学习研究关注有界损失函数和有界输入的理论性质。
- 本文探讨从弱相关观测中进行鲁棒深度学习，涉及无界损失函数和无界输入/输出。
- 假设输出变量具有有限的r阶矩，其中r>1。
- 在强混合和ψ-弱相关假设下，建立深度神经网络估计器的期望超额风险的非渐近界限。
- 推导期望超额风险界限与r之间的关系，数据具有任意阶矩时收敛速度接近著名结果。
- 当目标预测函数属于具有足够大平滑指数的Hölder平滑函数类时，期望超额风险速率与独立同分布样本获得的速率相同。
- 考虑鲁棒非参数回归和鲁棒非参数自回归的应用。
- 模拟研究表明，具有绝对损失和Huber损失函数的鲁棒估计器优于最小二乘法。
🏷️
标签
➡️
