超越人类主观性与错误：一种新的人工智能评分系统
内容提要
本文提出了一种自动短答案评分（ASAG）框架，旨在提高K-12教育中自由文本问题的评分准确性。研究表明，结合手工特征和深度学习模型可以提升评分效果，并探讨了评分的信任与伦理问题。通过引入可解释性模型，增强了评分的透明度和可靠性，展示了该方法在教育领域的潜力。
延伸解读
可解释性：从黑箱到透明评分
自动短答案评分模型常因神经网络的黑箱特性而难以信任。文章提到使用神经可添加模型（NAM）结合知识整合框架进行特征工程，使模型预测基于是否包含预定义思想，从而提升可解释性。这有助于教师理解评分依据，但特征设计依赖领域知识，可能增加前期成本。
人机协同：平衡质量与成本
完全自动化评分仍面临准确性和伦理挑战。文章提出人机结合方法，通过可靠度估计将低可靠度评分交由人工处理，在保证质量的同时降低评分成本。实验表明该方法能达到目标评分质量，但需要合理设定可靠度阈值，否则可能增加人工负担。
安全风险：对抗攻击的警示
自动评分系统可能被恶意操纵。文章通过黑盒对抗攻击实验发现，攻击可使预测准确率降低10到22个百分点，暴露了系统对自然语言歧义和词性多样性的脆弱性。这提示在实际应用中需考虑安全防护，但具体防御措施文章未详细展开。
技术演进：从手工特征到大型语言模型
自动短答案评分技术不断演进。早期方法结合手工特征和变压器结构，后来利用大型多语言数据集微调Transformer，近期则探索大型语言模型。文章指出，开箱即用的大型语言模型虽能提供补充视角，但独立自动评分仍需人工监督，表明技术尚未完全成熟。
Q&A
自动短答案评分（ASAG）框架的主要目标是什么？
ASAG框架旨在提高K-12教育中自由文本问题的评分准确性。
如何提高自动评分模型的可解释性？
通过引入神经可添加模型（NAM），结合深度学习模型与可解释性模型来提高自动评分模型的可解释性。
当前自动评分系统面临哪些主要挑战？
自动评分系统面临自然语言歧义和词性多样性问题，存在安全隐患。
ASAG模型如何减轻评分的时间负担？
ASAG模型可以自动评分，减轻教师的评分时间负担，并鼓励使用开放性问题。
如何确保自动评分的准确性？
通过人工监督和引入可靠度估计方法，确保自动评分的准确性。
大型语言模型在自动评分中的作用是什么？
大型语言模型可以支持教育工作者验证评分程序，但仍需人工监督以确保准确性。
