重磅!TeleAI 完成首个全国产化万卡万参大模型训练

重磅!TeleAI 完成首个全国产化万卡万参大模型训练

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

中国电信人工智能研究院完成国内首个基于国产化万卡集群训练的万亿参数大模型,并开源千亿参数大模型TeleChat2-115B,标志着国产大模型训练进入自主创新新阶段。TeleChat2-115B在多个评测中表现优异,提升了工具使用和逻辑推理能力。TeleAI通过优化训练策略,提高了训练效率和效果,并在多项赛事中获奖。开源推动了技术进步和产业应用。

🎯

关键要点

  • 中国电信人工智能研究院完成国内首个基于国产化万卡集群训练的万亿参数大模型。
  • 开源千亿参数大模型TeleChat2-115B,标志着国产大模型训练进入自主创新新阶段。
  • TeleChat2-115B在多个评测中表现优异,特别是在逻辑推理和工具使用方面。
  • 通过优化训练策略,TeleAI提高了训练效率和效果,并在多项赛事中获奖。
  • TeleChat2-115B在OpenCampass推理榜单排名第一,C-Eval评测中以86.9分排名第一。
  • TeleAI采用小模型进行Scaling,提升大参数模型训练效率。
  • 在后训练阶段,TeleAI合成大量问答数据用于模型训练,提升答案质量。
  • TeleAI在CCL2024和NLPCC2024赛事中获得多项冠军,展示了其技术实力。
  • 开源推动了技术进步和产业应用,TeleAI引领大模型国产化新征程。
➡️

继续阅读