大型神经网络在现代机器学习中至关重要。本文探讨了如何在小样本数据下调整预训练分布,提出了一种在线双层优化算法,该算法优先计算可能改善目标分布损失的训练点梯度。实验证明,该方法在某些情况下优于现有领域适应策略,但在其他情况下效果不佳。我们还提出了简单测试以评估该方法的有效性,并指出了未来研究方向。
本文提出了针对连续次模函数类的在线优化过程,包括Frank-Wolfe算法的变体和在线随机梯度上升算法。证明了两种算法具有O(T的平方根)的遗憾界,并将结果推广到γ-弱次模函数。演示了算法的效率在几个问题实例上。
完成下面两步后,将自动完成登录并继续当前操作。