关于在线模型选择与分散数据的合作必要性
原文中文,约500字,阅读约需2分钟。发表于: 。我们研究了在线模型选择与分散数据的问题,从最小化遗憾与计算成本的折衷角度提出了一种联邦算法,并证明了合作的必要性和限制计算成本的条件。我们的算法在分布式在线多核学习中提高了遗憾界限,并依赖于三种新技术:改进的马丁格尔的 Bernstein 不等式,名为 FOMD-No-LU 的联邦算法框架以及模型选择和预测的解耦,这可能具有独立的研究价值。
本研究探讨了面对自适应对手时的分布式在线和掷骰机凸优化问题。结果表明,在机器能够访问查询点的一阶梯度信息时,合作是没有益处的。然而,在只能访问成本函数值的情况下,合作可能导致机器数量的线性加速。通过开发新的分布式反馈算法,研究结果在联邦对抗线性掷骰机中得到应用。这项研究填补了联邦在线优化中随机和自适应环境之间的差距。