量子位
·
纯国产万卡集群炼出万亿参数大模型，被这家央企率先做到了！
💡
原文中文，约4700字，阅读约需12分钟。
📝
内容提要
中国电信人工智能研究院成功训练出首个纯国产万亿参数大模型，使用天翼云和自研平台，训练稳定性国际领先。TeleAI开源了千亿参数大模型TeleChat2-115B，并在C-Eval评测中取得第一。模型在长文本写作、会议纪要生成等方面表现出色。
🎯
关键要点
- 中国电信人工智能研究院成功训练出首个纯国产万亿参数大模型。
- 训练使用的万卡集群由天翼云提供，训练稳定性国际领先。
- TeleAI开源了千亿参数大模型TeleChat2-115B，并在C-Eval评测中取得第一。
- TeleChat系列模型在逻辑推理能力方面也曾获得开源大模型排名第一。
- 星辰语义大模型在长文本写作和会议纪要生成方面表现出色。
- 实现万卡万参的关键在于提升集群性能和稳定性，采用多维混合并行技术。
- 训练过程中使用了多副本并行、通信优化和DryRun仿真等关键技术。
- TeleAI通过探索Scaling Law和正激励噪声来提升超大参数模型的训练效果。
- 在数据清洗和混合策略上，TeleAI采用了多种技术以提升预训练数据质量。
- 模型微调过程中，TeleAI使用了多种指标来筛选高质量数据。
- TeleAI重视人才引进，组建了近800人的研发团队，推动大模型的研发。
- 中国电信在前沿技术上的投入使其在AI领域取得了显著进展。
❓
延伸问答
中国电信人工智能研究院训练的万亿参数大模型有什么特点？
该模型实现了万亿参数的稳定训练，训练稳定性国际领先，平均每周仅有1.5次训练中断。
TeleAI的千亿参数大模型在评测中表现如何？
TeleChat2-115B在C-Eval评测中以86.9分获得第一名。
实现万卡万参的关键技术有哪些？
关键技术包括多维混合并行、通信优化、DryRun仿真等。
星辰语义大模型在实际应用中有哪些功能？
该模型支持长文本写作、会议纪要生成、报表生文等多种功能。
TeleAI是如何提升训练数据质量的？
通过数据清洗、在线领域采样权重调整和合成数据构建等多种技术提升数据质量。
中国电信在AI领域的投入有哪些成果？
中国电信在AI领域取得显著进展，包括发布多个行业大模型和量子计算云平台。
➡️
