CCI3.0-HQ: A Large-Scale High-Quality Chinese Dataset Designed for Pre-Training Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本文介绍了CCI3.0-HQ,一个500GB的高质量中文数据集,旨在提升现有数据集的质量。该数据集通过新颖的两阶段混合过滤流程,在多个基准测试中表现优异,促进高质量语言模型的应用。

🏷️

标签

➡️

继续阅读