COBias 和 Debias：通过非线性整数规划来减小语言模型的成对准确性偏倚
内容提要
本文探讨了大型语言模型中的偏见问题，提出了基于上下文的偏见指标COBIAS及多种去偏见方法，如DCT和领域偏差校准，旨在提高模型的可靠性和鲁棒性。研究表明，这些方法在减轻偏见的同时，保持了高准确率和良好的迁移能力。
延伸解读
偏见度量与去偏方法的演进
文章梳理了从2020年到2024年多个研究，显示偏见问题从自然语言推理扩展到大型语言模型。早期工作关注数据级和模型级去偏，后来出现COBIAS等基于上下文的指标，以及DCT对比学习、标签偏倚校准等方法。这些进展表明，偏见评估正从单一准确率转向更细粒度的可靠性度量，并强调去偏需兼顾分布内性能和域外迁移。
DCT对比学习的技术特点
DCT方法通过对比学习同时缓解编码偏置潜在特征和偏置影响的动态性。它采用正向采样和动态负向抽样策略，选取最小相似度的偏态样本和最相似的负向偏态样本。实验表明，DCT在保持分布内性能的同时优于最先进基线，在分布外数据集上表现突出，并减少了模型表示中的偏置潜在特征。这为去偏提供了新思路。
标签偏倚对可靠性的影响
文章指出，大型语言模型在上下文学习中存在标签偏差问题，影响其可靠性。为此，研究者提出了基于领域的偏差校准方法，优化GPT-J和GPT-3在不同任务中的分类表现。此外，针对少样本提示，新型标签偏倚校准方法在提高性能和减轻标签偏倚方面优于近期校准方法。这些工作强调，标签偏倚是评估模型可靠性时不可忽视的因素。
偏见评估的局限与改进
现有偏见分数存在不足，例如未能区分模型误差类型。文章介绍了BBNLI-next数据集和新的倾向度测量标准，该标准考虑促进或反对刻板印象的倾向以及模型脆弱性。通过语言模型生成词汇变体、对抗性过滤和人工验证，扩展了BBNLI数据集。这有助于更精确地量化偏见，推动更可靠的评估基准发展。
Q&A
什么是COBIAS指标？
COBIAS是一种基于上下文的偏见指标，用于测量大型语言模型中的偏见可靠性。
DCT方法如何减轻语言模型的偏见？
DCT方法通过对比学习缓解编码偏置，使用正向和动态负向抽样策略，实验表明其在保持性能的同时优于基线算法。
文章中提到的标签偏倚校准方法有什么特点？
新型标签偏倚校准方法专门用于少样本提示，能够提高性能并减轻标签偏倚，优于最近的校准方法。
如何提高大型语言模型的鲁棒性？
可以通过模型去偏和数据增强等方法来提高大型语言模型的鲁棒性。
研究中提到的Bias Benchmark for NLI数据集有什么改进？
研究扩展了Bias Benchmark for NLI数据集，并提出了新的倾向度测量标准，以解决现有偏见分数的不足。
文章中提到的学习策略有哪些？
文章提出了两种学习策略，通过down-weighting有偏差的例子来提高模型的稳健性和迁移能力。
