谷歌DeepMind发布了一项新框架，旨在通过认知科学衡量人工通用智能（AGI）的进展。该框架识别了十种关键认知能力，并与Kaggle合作举办黑客马拉松，鼓励研究者设计评估工具，争夺20万美元奖金，评估内容涵盖学习、元认知和注意力等领域。

人工通用智能（AGI）有望加速科学发现，但缺乏评估工具。新论文提出认知分类法，识别10种关键认知能力，并通过Kaggle黑客马拉松鼓励社区进行评估设计。这些能力包括学习、注意力和社交认知等。

Google Stax是一个评估大型语言模型（LLM）的开发工具，旨在帮助开发者根据自定义标准测试模型和提示。它解决了传统评估方法的局限性，支持多种模型并提供数据驱动的决策依据。通过定义成功标准和比较不同模型，Stax使AI评估更加系统化，帮助开发者构建符合用户需求的AI产品。

Meta AI推出的Audiobox-Aesthetics音频质量评估工具，通过四个核心维度对语音、音乐和环境声音进行自动化分析，弥补了传统人工评估的不足，为音频创作者和研究人员提供专业的量化分析。

本文研究了如何通过热门视频游戏评估大型语言模型（LLMs）的表现，指出直接将LLMs投入游戏无法有效评估。引入lmgame-Bench作为评估工具，通过统一API和感知、记忆支持，成功区分不同模型能力，并发现强化学习在单一游戏上的表现可迁移至其他游戏和任务。

本研究提出了一种基于用户反馈的强化学习框架（RLUF），旨在优化大型语言模型（LLMs）。实验结果显示，该方法显著提升了正向反馈率，并为用户行为评估提供了有效工具。

本研究提出了一种代理系统错误分类法，解决了代理工作流中复杂追踪评估不足的问题。通过建立148个大型人类注释的追踪数据集（TRAIL），揭示了现代长上下文语言模型在追踪调试中的缺陷，强调了开发有效评估工具的重要性。

本研究提出了NorEval，一个针对挪威生成语言模型的评估工具，填补了挪威语言基准评估的空白。该工具包含24个高质量数据集，涵盖多种任务，并提供灵活可复现的评估框架，对19个开源模型进行了基准测试。

本研究探讨生成式人工智能对学生学习的影响，特别是对批判性思维和创造力的削弱。提出了一种结合布鲁姆分类法与自然语言处理技术的新型评估设计方案，旨在帮助教育者设计抗AI的评估工具，以促进学生的原创性和批判性思维。

本研究提出了SEA-HELM评估套件，旨在填补现有语言模型评估工具在东南亚语言方面的不足。该套件基于五个核心支柱，强调东南亚语言的多元文化特性，提供用户全面理解模型表现的平台，推动东南亚语言模型的研究与应用。