干货！ 一键领取超火的 20 个 LLM 中文数据集

大语言模型的训练和调优需要优质的数据支撑。

本文整理了适用于大模型训练调优的热门中文公开数据集。

Ape210K 数据集包含 210k 个中国小学水平的数学问题。

Belle 数据集包含约 350 万条由 BELLE 项目生成的中文指令数据。

Chinese Squad 是中文机器阅读理解数据集，包含 V1.1 和 V2.0。

CMRC 2018 数据集用于中文机器阅读理解评测，已被 EMNLP 2019 录用。

CrossWOZ 是首个面向任务的大型中文跨域对话数据集。

DRCD Delta 数据集旨在成为标准的中文机器阅读理解数据集。

Douban Conversation Corpus 包含 1000 个对话上下文及其响应候选。

DuReader 是关注于机器阅读理解的基准数据集。

E-KAR 是可解释知识密集型类比推理的基准数据集。

FCGEC 数据集用于中文语法检错和纠错模型的训练与评估。

KdConv 是中文多领域知识驱动的对话数据集。

Math23K 数据集包含 23,162 个中文数学单词问题。

MedDialog 是大规模的医疗对话数据集，包含 110 万条对话。

ODSQA 数据集用于中文问答的口语数据集，包含 3000 多个问题。

RedGPT 数据集用于提升 ChatGPT 的事实正确性。

The United Nations Parallel Corpus 是一个多语言问答数据集。

VQA 数据集用于视觉问答任务，结合图像和自然语言问题。

WebQA v1.0 是百度开源的中文问答数据集，数据来自百度知道。

XiaChuFang Recipe Corpus 包含 1,520,327 种中国食谱。

XQuAD 是用于评估跨语言问答性能的基准数据集。

OpenBayes 平台支持数据集一键绑定，简化模型训练过程。