通过少量解释来近似人类对 NLI 的判断分布：从小处寻找大视角
内容提要
本文探讨了利用自然语言解释训练大型语言模型（LLMs）的方法，研究其在人类行为预测中的表现及偏见问题。评估结果显示人类与LLM评判者均存在偏见，且研究提出了新工作流程以提高法律案例相关判决的准确性，强调了对LLMs改进的迫切需求。
延伸解读
LLM作为评判者的偏见风险
文章指出，使用人类和LLM作为评判者评估LLM性能时，会引入双方潜在的偏见，影响评估可靠性。研究提出了针对LLM和人类评判者的五种偏见框架，并通过142个样本、数千次评估发现，即使最先进的评判者也存在相当大的偏见，且易受扰动影响。这提醒我们，在依赖LLM进行自动评估时，需警惕其脆弱性，并开发更健壮的评估系统。
LLM预测人类行为的局限
利用贝叶斯统计模型的研究发现，LLM在聚合和条件水平上能有效适配人类数据，但不能准确捕获人类数据的各项细节。这表明LLM在模拟人类行为时，可能只把握了宏观趋势，而忽略了微观差异。因此，在需要精细预测人类判断的任务中，直接依赖LLM可能不够可靠，需结合其他方法或进行针对性改进。
法律判决辅助的可行性与验证
文章提出了一种适用于法律案例相关判决的新型工作流程，通过与人工专家判断比较，证明该流程能获得可靠的相关判决，并利用LLM生成的数据增强法律案例检索模型。这显示了LLM在法律领域的应用潜力，但同时也强调需要与专家判断对比验证，以确保准确性。读者应关注该工作流程的具体设计和验证结果，而非盲目采信LLM的判决建议。
多模态LLM评估的挑战
研究通过新基准测试发现，多模态LLM（MLLMs）在评估任务中，对人员喜好的评估和排名存在显著差异，并面临多样偏见、幻觉反应和不一致问题。这揭示了MLLMs作为评判者的能力局限，强调了对MLLMs进一步改进和研究的迫切需求。在涉及多模态评估的场景中，需谨慎对待其输出，并考虑引入人工复核或更鲁棒的评估方法。
Q&A
如何利用自然语言解释训练大型语言模型？
通过收集一致性注释来标记数据，并利用这些数据对大型语言模型进行训练，从而提高标注数据的质量。
大型语言模型在预测人类行为方面的表现如何？
大型语言模型在聚合和条件水平的预测方面能够有效适配人类数据，但不能准确捕获人类数据的细节。
人类和大型语言模型评判者的偏见如何影响评估结果？
人类和LLM评判者的潜在偏见对评估结果的可靠性提出了质疑，且两者在面对扰动时都容易受到影响。
本文提出了什么新工作流程以提高法律判决的准确性？
提出了一种新型工作流程，通过与人工专家判断的比较，证明该流程可以获得可靠的相关判决。
大型语言模型在自然语言推理任务上的表现如何？
研究表明大型语言模型在NLI任务和人类理解的差异分布方面表现不佳。
如何提高大型语言模型的评估系统的可靠性？
需要意识到人类和LLM评判者在面对扰动时的脆弱性，并开发更为健壮的评估系统。
