谷歌推出三项新的Gemini认证，旨在验证使用Gemini及其他AI工具的核心技能。通过评估者将获得可分享的数字证书，适用于职业发展学分。认证面向教育工作者、大学生和高中生，所有考试为多项选择题，免费提供，支持12种语言。

本研究探讨了项目编写缺陷（IWF）与项目反应理论（IRT）参数之间的关系。分析7000多个多项选择题后发现，IWF数量与IRT的难度和区分度显著相关，尤其在生命科学和物理科学领域。这为未来评估方法研究提供了重要启示。

本研究提出了一种自动生成多项选择题的方法，以解决视觉问答基准评估不准确的问题。通过AutoConverter框架，研究者将开放性问题转化为多项选择题，降低了创建成本并实现了客观评估。实验表明，生成的问题具有挑战性，视觉语言模型的准确性与人工问题相当，建立了新的VMCBench基准，推动了评估标准化。

本研究探讨了多项选择题（MCQ）难度估计的问题，提出了一种利用大型语言模型的不确定性和文本特征的新方法，显著提高了预测准确性，并在公开数据集上取得了先进结果。

本文提出了ClinQG4QA框架，通过问答生成提升临床QA模型性能，并引入问题短语预测模块以增加多样性。研究探讨了多项选择题生成的创新方法，评估了大语言模型在双语问答中的表现，发现生成的题目与学习目标一致。研究表明，人工智能与教育者合作能提高多项选择题生成的效率，但干扰项的质量仍需改进。

本文介绍了多个问答系统的数据集及其研究进展，如CoQA和CommonsenseQA，强调多项选择题在评估大语言模型能力中的重要性。研究表明，现有模型在理解任务方面存在不足，需改进评估机制以更准确地衡量模型性能。

本研究探讨了大型语言模型在自动生成多项选择题干扰项方面的能力，发现其在预测学生常见错误上表现较弱。通过评估生成的干扰项和反馈信息，提出了改进方向，并展示了上下文感知模型在生成高质量误选项方面的优势。此外，研究还创建了教育问题测试题库和多语言误选项词汇池，为未来研究提供支持。

本研究分析了GPT-4在高等教育Python编程课程中生成多项选择题的能力，发现其生成的题目语言清晰、干扰项质量高，符合学习目标。与人类导师相比，GPT-4在某些场景下表现接近人类，显示出其在教育中的潜力与局限性。研究还探讨了大型语言模型在教学设计中的应用，强调人为监督的重要性，以确保教育材料的质量。

这篇论文探讨了大型语言模型（如GPT-3）在多项选择题（MCQA）中的表现，提出了PriDe方法以减轻选择偏见，并评估了模型在不同样本设置下的能力。研究发现，文本答案比标记概率更鲁棒，且模型对选项顺序敏感。实验结果显示模型在多项选择任务中的一致性和性能，强调了在使用MCQ评估模型时需谨慎。

该文介绍了使用预训练模型构成的管道AGenT Zero生成多项选择题的方法，避免了fine-tuning和高数据获取成本的问题。同时，该方法的评估流程适用于更广泛的问题和答案范围。

研究发现，大型语言模型中的多项选择题的选项编号与选择偏见密切相关。提出了一种名为PriDe的新方法，通过计算先验分布解决这一问题，将选项内容与编号分离。PriDe方法无需标签，推断过程中效果和计算效率更高。通过对不同领域样本训练，证明PriDe方法估计的先验分布具有良好的泛化能力，具有实用潜力。

我们开发了Xiezhi评估套件，包含220,000个多项选择题，用于评估47个大型语言模型。结果显示，这些模型在科学、工程、农学、医学和艺术领域的表现超过了人类平均水平，但在经济学、法学、教育学、文学、历史和管理学方面表现不佳。

介绍了一个使用语言模型进行多步逻辑推理的新系统，该系统将显式计划纳入推理过程中，能够在每一步上做出更明智的推理决策。实验结果显示，该系统在多项选择题回答任务中表现优于其他竞争系统，与GPT-3-davinci相当。削减研究证明显式计划对系统性能起重要作用。