公平流:通过未决学习减轻数据集偏差
📝
内容提要
本研究解决了语言模型在新数据上表现下降的问题,通常源于数据集中的偏差。提出的“公平流”框架通过对数据样本或表示的未决预测学习,结合数据和模型扰动操作及对比目标,显著提高了模型在面对偏差样本时的表现,尤其在跨领域和困难测试样本中优于现有去偏差方法,且不影响领域内性能。
🏷️
标签
➡️