大型语言模型的公平性服务
内容提要
本文综述大语言模型公平性研究：中等与大规模模型分别从内在、外在偏见角度提出评估指标与去偏方法，并讨论挑战与未来方向。相关研究涵盖社会偏见评估与缓解、ChatGPT高风险领域表现、推荐系统FaiRLLM标准、群体公平数据集GFair与GF-Think方法、表格预测偏见、LLM评判者偏差及FairEval校准工具，以及信用风险评估中的公平性潜力。
延伸解读
公平性研究的两条路径：内在偏见与外在偏见
文章指出，中等规模与大规模模型分别从内在偏见和外在偏见角度引入评估指标与去偏方法。内在偏见关注模型内部表征中的社会偏见，外在偏见则关注模型输出在下游任务中的不公平表现。这种区分有助于研究者根据模型规模选择适合的评估与干预策略，而非一概而论。
评估工具与去偏方法并进
综述涵盖多项具体工作：FaiRLLM标准用于评估推荐系统中的社会偏见，GFair数据集和GF-Think方法从群体公平性角度评估并缓解偏见，FairEval工具包则校准LLM作为评判者时的系统偏差。这些工具表明，公平性研究正从概念讨论走向可操作的评估与干预。
高风险场景中的公平性表现
文章提到，ChatGPT在高风险领域中的表现会因提示是否有偏而产生差异；在信用风险评估中，大模型仅用20个数据点即可接近传统机器学习模型使用800个数据点的性能，并在降低误报率和增强公平性方面表现突出。这提示公平性不仅是伦理问题，也直接影响实际应用效果。
局限与未来方向
尽管去偏方法有效，但文章也指出大模型在表格预测等任务中仍会继承社会偏见，且LLM评判者存在系统偏差。信用风险研究的结果并未超越传统机器学习模型，而是突显潜力。未来需在更多样化的任务中验证公平性方法的普适性，并持续关注评估工具本身的偏差。
Q&A
大语言模型为什么会产生公平性问题？
大语言模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务，从而引发公平性问题。
针对大语言模型的公平性，有哪些评估指标和去偏方法？
文章综述了中等规模和大规模模型分别从内在偏见和外在偏见角度引入的评估指标和去偏方法，并讨论了相关挑战和未来方向。
FaiRLLM是什么？它用来评估什么？
FaiRLLM是一个新的评估标准和一套评估指标，用于评估通过大语言模型实现的推荐系统中潜在的社会偏见问题。
GFair数据集和GF-Think方法分别是什么？
GFair是一个跨多个维度的目标属性组合的数据集，用于从群体公平性角度评估大语言模型的偏见；GF-Think是一种新的思维链方法，用于减轻大语言模型中的偏见以实现公平性。
大语言模型在表格预测任务中是否存在公平性问题？如何缓解？
是的，大语言模型在表格预测任务中往往会继承社会偏见，影响公平性；通过标签反转等方法可以显著减少这些偏见。
使用大语言模型作为评判者时存在什么偏差？如何解决？
大语言模型作为评判者评分时存在系统偏差；作者提出了两种校准策略来缓解评估偏差，并集成到FairEval工具包中，使评估结果更接近人类判断。
大语言模型在信用风险评估中的公平性表现如何？
大规模语言模型在信用风险评估中表现出色，尤其在降低误报率和增强公平性方面，且仅使用极少数据（20个数据点）就能与传统机器学习模型（800个数据点）性能相媲美。
