介绍Llama数据集 🦙📝
内容提要
Llama Datasets是一个社区贡献的数据集，旨在帮助用户评估其RAG管道。用户可以从LlamaHub下载数据集并使用评估模块进行测试。初始推出10个数据集，用户也可以轻松贡献自己的数据集，提供灵活的数据选择以适应不同用例。
延伸解读
为什么需要专门的评估数据集
文章指出，构建生产级RAG系统的一大难题是评估。由于LLM系统是随机黑盒，难以用传统单元测试断言确定性行为。开发者需要定义反映自身生产用例的评估数据集，而不是依赖学术基准（如BEIR、HotpotQA），因为这些基准往往无法泛化到特定场景。Llama Datasets正是为了解决这一问题而创建，让用户能灵活选择适合自己用例的数据集。
Llama Datasets的组成与使用方式
每个Llama Dataset包含问答对和源上下文。用户可以从LlamaHub下载数据集，然后使用RagEvaluatorPack或自定义评估模块来计算指标（如忠实度、正确性、相关性）。文章以Paul Graham Essay Dataset为例，展示了下载数据集、生成预测、运行评估的完整流程。初始发布了10个数据集，涵盖区块链、金融、论文等多个领域。
如何贡献自己的数据集
用户可以通过上传源文档和问答对（手动或合成生成）来贡献数据集。具体步骤包括：创建LabelledRagDataset、生成基线评估结果、准备数据集卡片和README、向llama-hub和llama-datasets仓库提交PR。文章提供了提交模板和LlamaDatasetMetadataLlamaPack来自动生成元数据。贡献的数据集将展示在LlamaHub上，供社区使用。
Q&A
Llama Datasets的主要功能是什么？
Llama Datasets旨在帮助用户评估其RAG管道，提供灵活的数据选择以适应不同用例。
如何下载Llama Datasets？
用户可以从LlamaHub下载Llama Datasets，并使用评估模块进行测试。
用户如何贡献自己的数据集？
用户可以通过上传源文档和问答对，提交“数据卡”到LlamaHub来贡献自己的数据集。
Llama Datasets初始推出了多少个数据集？
Llama Datasets初始推出了10个数据集。
RAG管道评估的主要挑战是什么？
构建生产RAG的一个大问题是评估，开发者需要定义反映其生产用例的评估数据集。
Llama Datasets提供了哪些工具来计算评估指标？
Llama Datasets提供了RagEvaluatorPack来帮助计算数据集的评估指标。
