量子位
·
TeleAI 完成首个全国产化万卡万参大模型训练，并正式开源 TeleChat2-115B
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
中国电信人工智能研究院完成了首个全国产化万卡集群训练的万亿参数大模型，并开源了千亿参数大模型TeleChat2-115B，标志着国产大模型训练进入新阶段。TeleChat2-115B在多个评测中表现优异，提升了通用能力和训练效率。通过小模型验证和数据优化，TeleAI在多项赛事中获第一名，推动了大模型技术进步和应用。
🎯
关键要点
- 中国电信人工智能研究院成功完成国内首个全国产化万卡集群训练的万亿参数大模型。
- 开源了千亿参数大模型TeleChat2-115B，标志着国产大模型训练进入新阶段。
- TeleChat2-115B在多个评测中表现优异，提升了通用能力和训练效率。
- 通过小模型验证和数据优化，TeleAI在多项赛事中获第一名，推动了大模型技术进步和应用。
- TeleChat2-115B在OpenCampass测试榜单中排名第一，逻辑推理能力突出。
- TeleAI采用小模型进行Scaling，提升大参数模型训练效率。
- 在后训练阶段，TeleAI合成大量问答数据用于模型训练，提升答案质量。
- TeleAI在CCL2024大会中获得两项冠军，展示了其在中文语义理解方面的实力。
- TeleChat2-115B的开源推动了大模型技术的进步，促进技术创新与产业落地。
❓
延伸问答
TeleAI的TeleChat2-115B模型有什么特点？
TeleChat2-115B是一个千亿参数的大模型，具有优异的逻辑推理能力和通用能力，特别在工具使用、数学计算和长文写作等方面表现突出。
TeleAI在模型训练中采用了哪些优化手段？
TeleAI通过小模型验证、数据优化和后训练阶段合成问答数据等手段，提升了模型训练效率和答案质量。
TeleChat2-115B在评测中表现如何？
TeleChat2-115B在OpenCampass测试榜单中排名第一，并在C-Eval评测中以86.9分的成绩位列第一，通用能力较前代提升近30%。
TeleAI在CCL2024大会上获得了哪些成就？
TeleAI在CCL2024大会上获得了中文空间语义理解评测和古文历史事件类型抽取评测的两项冠军，展示了其在中文语义理解方面的实力。
TeleChat2-115B的开源对行业有什么影响？
TeleChat2-115B的开源推动了大模型技术的进步，促进了技术创新与产业落地，标志着国产大模型训练进入新阶段。
TeleAI如何提升大参数模型的训练效率？
TeleAI通过小模型进行Scaling和优化数据配比，提升了大参数模型的训练效率和稳定性，实现了高效的计算能力。
🏷️
标签
➡️
