红杉中国推出AI基准测试xbench，旨在科学评估AI能力，解决现有测试无法真实反映能力的问题。xbench采用双轨评估体系，关注理论能力与实际应用价值，动态更新测试内容，促进AI技术突破。首期发布包括科学问题解答和深度搜索测评集，欢迎社区参与共建。

文章介绍了一种名为“重述和回答”（RaR）的方法，通过让大型语言模型重述问题来提高性能。RaR有两步变体，将问题由一个模型重述后传递给另一个模型。实验表明，这些方法显著提升了模型在各种任务上的表现，并与思维链（CoT）方法互补，结合使用效果更佳。这项研究对提升模型性能和评估能力具有重要意义。

最近，研究人员引入了TaskBench来评估语言模型在任务自动化中的能力。TaskBench通过任务分解、工具调用和参数预测等方面评估语言模型的能力。实验结果表明，TaskBench能够有效地反映语言模型在任务自动化中的能力，可作为自主代理的可靠基准。

该文章介绍了ACORN数据集，用于评估语言模型对自由文本解释的能力。研究发现，语言模型评分与人工评定者评分不一致。作者探讨了使用语言模型作为额外评定者的替代方案。最后，作者公开发布了该数据集以支持语言模型的改进。

本文比较了11种深度学习不确定性估计工具包的模型和评估能力，并推荐了Pyro、Tensorflow Probability和Uncertainty Quantification 360三种前景最好的工具包。文章强调了进一步统一评估和保障方法论的必要性。

该文章介绍了一项新的基准测试，专门针对传统汉语语言模型进行调整，评估结果表明，该模型在部分评估能力方面达到了与 GPT-3.5 相媲美的性能。