计算自适应测试综述：机器学习视角
内容提要
本文介绍了BOBCAT框架，通过双层优化学习数据驱动的问题选择算法，显著减少计算机自适应测试（CAT）的长度。研究还探讨了优化算法C-BOBCAT的改进，提升测试准确性和试题曝光率，并提出了动态调整测试难度的方法，以更有效地评估大型语言模型的能力。
延伸解读
BOBCAT框架的核心创新
BOBCAT采用双层优化学习数据驱动的选题算法，相比传统CAT方法能显著缩短测试长度。其核心在于通过机器学习自动优化题目选择策略，而非依赖固定启发式规则，这为自适应测试的智能化提供了新思路。
C-BOBCAT的平衡改进
C-BOBCAT在BOBCAT基础上进一步优化，重点平衡测试准确性、试题曝光率和测试重叠率。实验表明，这种改进能有效减少测试长度，同时避免某些题目过度曝光，提升测试的公平性和安全性。
应对选择偏差的新方法
针对CAT中响应数据的选择偏差问题，研究提出用户聚合影响函数方法，通过过滤偏差严重的用户来增强CAT性能并最小化项目特性偏差。这有助于提高测试结果的可靠性，尤其在数据不均衡场景下。
评估大语言模型的自适应测试
研究将自适应测试框架用于评估大型语言模型，动态调整问题难度以更准确估计模型能力。对ChatGPT等6种模型的细粒度诊断显示，GPT4在主题知识、数理推理和编程方面表现优异，达到中等水平学生的认知能力。
Q&A
BOBCAT框架的主要功能是什么？
BOBCAT框架通过双层优化学习数据驱动的问题选择算法，显著减少计算机自适应测试的长度。
C-BOBCAT优化算法有哪些改进？
C-BOBCAT在测试准确性、试题曝光率和测试重叠率方面进行了改进，有效减少测试长度。
如何应对计算机自适应测试中的选择偏差问题？
提出了一种用户聚合影响函数方法，通过过滤响应数据偏差严重的用户，以增强CAT性能。
自适应测试框架如何评估大型语言模型的能力？
该框架可以动态调整测试问题的难度，更准确地估计模型能力，并使用更少的问题提高效率。
GPT-4模型在测试中表现如何？
GPT-4模型在主题知识、数理推理和编程方面表现优异，达到中等水平学生的认知能力水平。
计算机自适应测试的优势是什么？
计算机自适应测试根据被考试者的熟练程度进行自适应，提供高效的测试体验。
