BriefGPT - AI 论文速递 · 2023-11-02T00:00:00Z

基于有效评估模型提取的大规模高质量中文网络文本

📝

内容提要

CLUE发布了100G中文语料库CLUECorpus2020，可用于自监督学习和语言模型预训练。作者还发布了新的中文词汇表和经过预训练的模型，并将其代码和数据集发布在Github上。实验结果表明，训练在此语料库上的模型在中文上表现出色。

🏷️

标签

CLUE Github 中文语料库 自监督学习 语言模型预训练