利用上下文重写提高黑盒稳健性
内容提要
本文综述测试时间增强与自适应（TTA）研究，涵盖改进TTA提升语言模型准确性、TTA-AD将检测算法运行时间降低60%~90%、TTA理论获得保证、OWTTT方法达到最优，以及PCL、ROID等方法在分布漂移下提升性能；元学习TTA损失、QA模型TTA和OOD校准也取得进展。
延伸解读
TTA 方法概览与分类
文章综述了多种测试时间增强与自适应（TTA）方法，包括改进 TTA 提升语言模型准确性、TTA-AD 降低检测算法运行时间、OWTTT 在开放世界基准上达到最优、PCL 和 ROID 在分布漂移下提升性能等。这些方法针对不同场景，如语言模型、图像检测、问题回答等，展示了 TTA 的广泛适用性。
理论进展与效率提升
TTA 的理论研究获得保证，有助于理解其行为。同时，TTA-AD 将检测算法运行时间降低 60%~90%，PCL 在更短推理时间内实现更高或可比性能，表明 TTA 在提升效果的同时也注重效率优化。
应用场景与性能改善
在问题回答（QA）模型中，应用 TTA 方法（如 OIL）可显著提高已部署模型的性能。元学习 TTA 损失和 OOD 校准也取得进展，为分布漂移下的模型鲁棒性提供了新思路。
Q&A
测试时间增强（TTA）在语言模型上有什么效果？
用于语言模型上的测试时间增强可以显著提高模型的准确性。
TTA-AD算法相比现有分类器算法有什么优势？
TTA-AD在不同高效图像基准数据集下，运行时间比现有基于分类器的算法下降了60%~90%，且具有可比较或更好的检测性能。
OWTTT方法在哪些方面取得了最先进的性能？
OWTTT通过自我训练和数据分离增强鲁棒性，在5个OWTTT基准测试上实现了最先进的性能。
PCL方法如何解决分布转移问题？
PCL是一种简单的测试时间自适应方法，用于解决分布转移问题和提高预测的稳定性，与强大的PLM骨干和先前的TTA方法相比，能在更短的推理时间内实现更高或可比较的性能。
ROID方法采用了哪些技术手段来提升在线测试时自适应的性能？
ROID方法通过使用确定性和多样性加权、源模型和自适应模型的加权平均以及自适应添加先验校正方案等技术手段，解决了在线测试时自适应的问题以及模型性能下降问题，并在多种数据集、模型和场景下评估，取得了新的标准。
元学习TTA损失函数有什么作用？
在各种函数类中元学习TTA loss能够迅速获得与熵函数类似的loss函数，并基于最优loss函数提供了更好的TTA方法，同时在新型的supervised training loss函数中也显示了优异的表现。
测试时间适应（TTA）在问题回答（QA）模型上的应用效果如何？
在已进行鲁棒性调优（RT）之后，应用TTA方法可以显著提高QA模型的性能，研究评估了多种TTA方法（包括一种新方法OIL）在统一QA评估基准（COLDQA）下的鲁棒性。
