本研究提出了一种基于项目反应理论（IRT）的框架，用于检测和量化大型语言模型中的社会经济偏见。研究发现，这些模型在回答时通常避免意识形态参与，挑战了对其偏见的传统看法，促进了公平的人工智能治理。

本研究探讨了项目编写缺陷（IWF）与项目反应理论（IRT）参数之间的关系。分析7000多个多项选择题后发现，IWF数量与IRT的难度和区分度显著相关，尤其在生命科学和物理科学领域。这为未来评估方法研究提供了重要启示。

本研究提出了AutoIRT方法，结合自动化机器学习与项目反应理论，解决计算机自适应测试中的项目校准问题。通过BanditCAT框架，有效平衡信息探索与利用，提高测试的精确度和可靠性。

本文提出了一种基于项目反应理论（IRT）的评估框架，以改进自然语言处理（NLP）系统的性能评估。研究表明，IRT方法能够更全面地揭示算法性能，尤其在预测学习者能力动态变化方面表现优越。此外，研究探讨了如何通过心理测量指标提升传统评估方法的有效性，从而显著提高模型选择的潜在影响。

本文探讨了基于项目反应理论（IRT）的算法评估方法，提出了AIRT-Module工具，旨在全面分析算法性能，揭示其优缺点。研究表明，该工具有助于提升AI算法的评估深度和准确性。

本文探讨了项目反应理论（IRT）在自然语言处理（NLP）系统评估中的应用，提出了多种算法和框架以提高测试性能和准确性。研究表明，结合IRT模型和计算机自适应测试（CAT）能够有效评估学习者能力和测试题目特征，同时引入AI代理和提示工程技术显著提升了绩效分析的准确率。