通信高效的拜占庭抗击联邦零阶优化
📝
内容提要
CYBER-0 是首个针对内存和通信效率具有拜占庭容错功能的零阶优化算法,通过在 MNIST 数据集和 RoBERTa-Large 上进行大量数值实验,我们证明 CYBER-0 在通信和内存效率方面优于最先进算法,并达到相似的准确性,并且我们对其在凸损失函数方面的收敛性提供了理论保证。
➡️
CYBER-0 是首个针对内存和通信效率具有拜占庭容错功能的零阶优化算法,通过在 MNIST 数据集和 RoBERTa-Large 上进行大量数值实验,我们证明 CYBER-0 在通信和内存效率方面优于最先进算法,并达到相似的准确性,并且我们对其在凸损失函数方面的收敛性提供了理论保证。