量子位
·
纯国产万卡集群炼出万亿参数大模型，被这家央企率先做到了！
💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
中国电信人工智能研究院成功训练出首个纯国产万亿参数大模型，使用天翼云和自研平台，训练稳定性国际领先。TeleAI开源了千亿参数大模型TeleChat2-115B，并在C-Eval评测中取得第一。模型在长文本写作、会议纪要生成等方面表现出色。
🎯
关键要点
- 中国电信人工智能研究院成功训练出首个纯国产万亿参数大模型。
- 训练使用的万卡集群由天翼云提供，训练稳定性国际领先。
- TeleAI开源了千亿参数大模型TeleChat2-115B，并在C-Eval评测中取得第一。
- TeleChat系列模型在逻辑推理能力方面也曾获得开源大模型排名第一。
- 星辰语义大模型在长文本写作和会议纪要生成方面表现出色。
- 实现万卡万参的关键在于提升集群性能和稳定性，采用多维混合并行技术。
- 训练过程中使用了多副本并行、通信优化和DryRun仿真等关键技术。
- TeleAI通过探索Scaling Law和正激励噪声来提升超大参数模型的训练效果。
- 在数据清洗和混合策略上，TeleAI采用了多种技术以提升预训练数据质量。
- 模型微调过程中，TeleAI使用了多种指标来筛选高质量数据。
- TeleAI重视人才引进，组建了近800人的研发团队，推动大模型的研发。
- 中国电信在前沿技术上的投入使其在AI领域取得了显著进展。
➡️
