本研究探讨了超出分布(OOD)泛化的挑战,强调仅通过OOD设置测试算法是不够的,还需验证特征的组合性。分析了三种神经网络在特定OOD任务中的表现,并提出了两种新架构,指出成功偏见可能导致未能学习正确特征。
本文探讨了神经网络在算法任务中的超出分布泛化性能,提出了一种新方法“位置注意力”,通过固定位置编码来确定注意力权重,从而提升模型在超出分布任务中的表现。研究表明,使用位置注意力的变换器能够有效模拟并行算法。
本研究提出了一种专家混合框架,解决交通超出分布场景数据集不足的问题。该方法能有效学习和适应新的空间关系,提高模型在空间分布变化时的鲁棒性,优于现有技术。
本文综述了分布偏移和超出分布(OOD)样本检测的研究进展,提出了多种新框架和方法,以提高机器学习模型在非独立同分布数据下的泛化能力和检测性能。研究内容包括OOD检测的定义、方法、评估及未来发展方向,强调了外部数据和生成学习在OOD学习中的重要性。
本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法,重点关注 Laplace 近似及其变体。研究发现,拟合 Hessian 矩阵的方法对超出分布的检测效率产生负面影响。提出了仅关注优化先验精度的观点,可在超出分布检测中产生更准确的不确定性估计,并保持适度的校准度。实验评估证实了简化方法在超出分布领域中的优越性。
完成下面两步后,将自动完成登录并继续当前操作。