极道
·
一个新的104 GB LLM训练数据集已经发布！
💡
原文中文，约900字，阅读约需2分钟。
📝
内容提要
北京人工智能研究院发布了中文语料库互联网数据集，包含1000个重要中文网站的内容，总共104GB。该数据集填补了中文领域高质量数据集的空白。
🎯
关键要点
- 北京人工智能研究院发布了中文语料库互联网数据集（CCI v1.0.0）。
- 该数据集用于中文语言模型预训练，包含1000个重要中文网站的内容。
- 数据集总大小为104GB，经过严格的过滤和手动检查。
- 数据集的内容时间跨度为2001年1月到2023年11月。
- 高质量数据集在中文领域尤为缺乏，构建安全的中文数据集面临挑战。
- 数据处理规则包括基于规则的过滤和基于模型的过滤。
- 数据集经过重复数据删除，确保内容质量和安全性。
➡️
