本研究提出了一种半自动化的偏见评估框架，结合人类洞察力，旨在解决大型语言模型（LLM）评估中的偏见识别问题。通过开发偏见的操作定义和分类方法，提高评估的有效性，降低大规模人类评估的成本和复杂性。

本文提出了一种新颖的度量方法——最大子群差异（MSD），有效解决了经典度量方法在偏见评估中的高样本复杂度问题。MSD以线性样本复杂度评估特征子群的偏差，并提供实用算法和修复路径，实证结果表明其优于其他方法。

本文提出了一种评估预训练语言模型中偏见的方法，并在多种语言的模型上进行了元评估，证明该方法更准确。同时，本文还构建了日语和中文的自然语言推理任务评估数据集，测量了预训练语言模型的偏见倾向。