💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
Hugging Face推出Community Evals功能，允许在Hub上创建基准数据集排行榜并自动收集评估结果。该系统基于Git基础设施，确保提交的透明性、可版本化和可重复性。用户可通过拉取请求提交评估结果，提升评估的一致性和可追溯性，目前处于测试阶段。
🎯
关键要点
- Hugging Face推出Community Evals功能，允许在Hub上创建基准数据集排行榜并自动收集评估结果。
- 该系统基于Git基础设施，确保提交的透明性、可版本化和可重复性。
- 数据集仓库可以注册为基准，自动收集和显示评估结果。
- 基准通过eval.yaml文件定义评估规范，确保结果可重复。
- 模型仓库可以在.eval_results/目录中存储结构化的评估分数，这些结果会自动链接到相应的基准数据集。
- 任何Hub用户都可以通过拉取请求提交模型的评估结果，社区提交的分数会被标记并可引用外部来源。
- 该功能旨在解决论文、模型卡和评估平台中报告的基准结果不一致的问题。
- 用户对该功能的早期反应积极，欢迎去中心化和透明的评估报告。
- Hugging Face强调Community Evals并不取代现有的基准或封闭评估过程，而是提供了一个机制来公开社区已产生的评估结果。
- 该功能目前处于测试阶段，开发者可以通过添加YAML评估文件或注册数据集仓库参与。
❓
延伸问答
Hugging Face的Community Evals功能有什么主要用途？
Community Evals功能允许在Hub上创建基准数据集排行榜并自动收集评估结果，旨在提高评估的一致性和可追溯性。
如何在Hugging Face上提交模型的评估结果？
用户可以通过拉取请求提交模型的评估结果，社区提交的分数会被标记并可引用外部来源。
Community Evals如何确保评估结果的透明性和可重复性？
该系统基于Git基础设施，确保提交的透明性、可版本化和可重复性，评估规范通过eval.yaml文件定义。
Hugging Face的Community Evals与传统基准有什么不同？
Community Evals并不取代现有的基准，而是提供了一个机制来公开社区已产生的评估结果，旨在解决报告不一致的问题。
用户对Community Evals的早期反应如何？
用户的早期反应积极，欢迎去中心化和透明的评估报告，认为社区提交的分数更具价值。
开发者如何参与Hugging Face的Community Evals？
开发者可以通过添加YAML评估文件或注册数据集仓库参与Community Evals，系统目前处于测试阶段。
🏷️
标签
➡️
