本研究提出了一种基于最小最大优化的掩膜学习新范式,旨在应对大语言模型(LLM)规模增长带来的部署与推理挑战,确保剪枝模型的结构均匀性并保持高性能。
本文综述最小最大优化问题的算法进展,涵盖椭圆域二次函数最大化、加速近端点法、随机TR/ARC方法、非凸强凹问题下界、单循环AGP算法、不精确Hessian信任域法、近似近端点迭代求纳什均衡、黎曼梯度下降及平滑最小最大一阶方法,分别达到线性时间、O(κx√κy)等复杂度,改进了已知最优速率。
本文研究了基于神经网络的插件分类器在二元分类设置中的性能,以其超出风险的度量为基准。研究了函数类别很大,但可以利用神经网络的逼近能力。最后,证明所获得的速率实际上是最小最大优化的,尽管存在一个对数因子。
完成下面两步后,将自动完成登录并继续当前操作。