谷歌推出三项新的Gemini认证，旨在验证使用Gemini及其他AI工具的核心技能。通过评估者将获得可分享的数字证书，适用于职业发展学分。认证面向教育工作者、大学生和高中生，所有考试为多项选择题，免费提供，支持12种语言。

本研究探讨了项目编写缺陷（IWF）与项目反应理论（IRT）参数之间的关系。分析7000多个多项选择题后发现，IWF数量与IRT的难度和区分度显著相关，尤其在生命科学和物理科学领域。这为未来评估方法研究提供了重要启示。

本研究提出了Med-RLVR，通过医学多项选择题数据提升强化学习在医学领域的应用。结果表明，Med-RLVR在医学问题回答上与传统方法相当，但在跨分布泛化能力上提高了8个百分点，显示出其潜力。

本研究利用AutoConverter框架将开放性视觉问答转化为多项选择题，以提高评估准确性并降低创建成本。实验结果表明，生成的问题具有挑战性，视觉语言模型的准确性与人工问题相似或更低，并建立了VMCBench基准，推动评估标准化。

本研究提出了一种新方法，通过利用大型语言模型的不确定性和文本特征来估计多项选择题的难度，显著提高了预测准确性，并在公开数据集上取得了领先结果。

创新方法使用人工生成的原始数据构建了全面的数据集CinePile，包含305,000个多项选择题，涵盖视觉和多模态方面。评估发现最先进的视频中心的LLMs在任务中明显落后于人类表现，突显了视频理解的复杂性和挑战。

该文介绍了使用预训练模型构成的管道AGenT Zero生成多项选择题的方法，避免了fine-tuning和高数据获取成本的问题。同时，该方法的评估流程适用于更广泛的问题和答案范围。

研究发现，大型语言模型中的多项选择题的选项编号与选择偏见密切相关。提出了一种名为PriDe的新方法，通过计算先验分布解决这一问题，将选项内容与编号分离。PriDe方法无需标签，推断过程中效果和计算效率更高。通过对不同领域样本训练，证明PriDe方法估计的先验分布具有良好的泛化能力，具有实用潜力。

我们开发了Xiezhi评估套件，包含220,000个多项选择题，用于评估47个大型语言模型。结果显示，这些模型在科学、工程、农学、医学和艺术领域的表现超过了人类平均水平，但在经济学、法学、教育学、文学、历史和管理学方面表现不佳。

介绍了一个使用语言模型进行多步逻辑推理的新系统，该系统将显式计划纳入推理过程中，能够在每一步上做出更明智的推理决策。实验结果显示，该系统在多项选择题回答任务中表现优于其他竞争系统，与GPT-3-davinci相当。削减研究证明显式计划对系统性能起重要作用。