本研究提出了一种基于项目反应理论（IRT）的框架，用于检测和量化大型语言模型中的社会经济偏见。研究发现，这些模型在回答时通常避免意识形态参与，挑战了对其偏见的传统看法，促进了公平的人工智能治理。

本研究探讨了项目编写缺陷（IWF）与项目反应理论（IRT）参数之间的关系。分析7000多个多项选择题后发现，IWF数量与IRT的难度和区分度显著相关，尤其在生命科学和物理科学领域。这为未来评估方法研究提供了重要启示。

我们提出了一种新方法来评估检索增强的大型语言模型（RAG）的准确性。通过自动生成合成考试和多项选择题评分，利用项目反应理论（IRT）提高评估准确性，并在四个开放问答任务上验证。研究发现，选择合适的检索算法比仅使用更大的模型更能提升性能。

该研究提出了一种新的方法来评估检索增强的大型语言模型（RAG）的任务特定准确性。通过自动生成合成考试并利用项目反应理论（IRT）估计考试质量和信息量，以提高任务特定准确性。实验结果显示，选择正确的检索算法比仅使用更大的语言模型能够带来更大的性能收益。