BriefGPT - AI 论文速递
·
CCI3.0-HQ：为大型语言模型预训练设计的大规模高质量中文数据集
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本文介绍了CCI3.0-HQ，一个500GB的高质量中文数据集，旨在解决现有数据集质量不足的问题。通过两阶段混合过滤流程提升数据质量，表现优异，促进高质量语言模型的应用。
🎯
关键要点
- 提出了CCI3.0-HQ，一个500GB的高质量中文数据集。
- 旨在解决现有数据集质量不足的问题。
- 采用了新颖的两阶段混合过滤流程，大幅提升数据质量。
- 在多个基准测试中表现优异。
- 该开放访问的数据集将促进高质量语言模型的广泛应用。
➡️
