大型语言模型中的分配伤害评估

本研究引入 Rank-Allocational-Based Bias Index (RABBI) 作为一种模型不可知的偏差评估指标，比较其与当前常用的偏差度量方法在两个分配决策任务上的预测有效性和模型选择的实用性，结果表明基于平均性能差和分布距离的常用偏差度量方法无法可靠地捕捉到分组分配结果的差异，而 RABBI 则表现出与分配差异强相关的特点，这突出了需要在有限资源限制的环境中考虑模型的使用方式。