具有可扩展在线双层优化的自适应训练分布
原文中文，约300字，阅读约需1分钟。发表于：。在现代机器学习中，基于网络规模的大型神经网络学习成为核心。本研究考虑在一个与应用领域不匹配的混杂预训练数据集的情况下，通过调整预训练分布的算法来适应目标测试条件。通过在线双层优化问题的一种近期表述，提出了一种算法，并考虑了可扩展性，该算法优先计算在训练点上的梯度，这些点最有可能改善目标分布上的损失。从经验证实，在某些情况下，这种方法比现有的领域适应性策略更加有益，但在其他情况下可能不成功。我...
本研究提出了一种算法，通过调整预训练分布的算法来适应目标测试条件。该算法优先计算在训练点上的梯度，从而改善目标分布上的损失。经验证实，在某些情况下，这种方法比现有的领域适应性策略更加有益。进一步的研究可以解决当前的限制。
