本研究提出StreamAdapter,通过直接更新模型参数,降低了大语言模型在测试时间适应中的推理成本,显著减少了对示例数量的依赖,提高了推理效率。
测试时间适应(TTA)在不平衡数据上表现不佳,导致性能下降。研究提出了平衡的batchnorm层,结合自我训练(ST)和锚定损失正则化,提升适应性。最终模型TRIBE在四个数据集上表现优异,代码可在GitHub获取。
提出了UniTTA基准和框架,解决测试期间预训练模型适应性问题,全面评估并展现领先性能。
测试时间适应 (TTA) 是将预训练模型调整到新的测试领域的方法。研究者提出了DPLOT框架,通过选择特定领域特征提取的块进行训练,并使用伪标签生成方法。实验结果表明,DPLOT在多个基准测试中表现优于以前的方法。其他研究还提出了不同的测试时间适应方法,如Decoupled Prototype Learning (DPL)、特征修正和自我蒸馏等。
TRIBE是一种测试时间适应(TTA)模型,通过平衡的batchnorm层和锚定损失解决了不平衡测试数据和持续域漂移的问题。TRIBE在四个真实世界TTA数据集上评估,实现了最先进的性能。
完成下面两步后,将自动完成登录并继续当前操作。