重磅!TeleAI 完成首个全国产化万卡万参大模型训练

重磅!TeleAI 完成首个全国产化万卡万参大模型训练

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

中国电信人工智能研究院完成国内首个基于国产化万卡集群训练的万亿参数大模型,并开源千亿参数大模型TeleChat2-115B,标志着国产大模型训练进入自主创新新阶段。TeleChat2-115B在多个评测中表现优异,提升了工具使用和逻辑推理能力。TeleAI通过优化训练策略,提高了训练效率和效果,并在多项赛事中获奖。开源推动了技术进步和产业应用。

🎯

关键要点

  • 中国电信人工智能研究院完成国内首个基于国产化万卡集群训练的万亿参数大模型。
  • 开源千亿参数大模型TeleChat2-115B,标志着国产大模型训练进入自主创新新阶段。
  • TeleChat2-115B在多个评测中表现优异,特别是在逻辑推理和工具使用方面。
  • 通过优化训练策略,TeleAI提高了训练效率和效果,并在多项赛事中获奖。
  • TeleChat2-115B在OpenCampass推理榜单排名第一,C-Eval评测中以86.9分排名第一。
  • TeleAI采用小模型进行Scaling,提升大参数模型训练效率。
  • 在后训练阶段,TeleAI合成大量问答数据用于模型训练,提升答案质量。
  • TeleAI在CCL2024和NLPCC2024赛事中获得多项冠军,展示了其技术实力。
  • 开源推动了技术进步和产业应用,TeleAI引领大模型国产化新征程。

延伸问答

TeleAI的TeleChat2-115B模型有什么特点?

TeleChat2-115B是基于国产化万卡集群训练的千亿参数大模型,具有优异的逻辑推理和工具使用能力。

TeleAI在模型训练中采用了哪些优化策略?

TeleAI通过小模型进行Scaling、优化数据配比和后训练阶段合成问答数据等策略提升训练效率和效果。

TeleChat2-115B在评测中表现如何?

TeleChat2-115B在OpenCampass和C-Eval评测中均排名第一,显示出其强大的逻辑推理和通用能力。

TeleAI在赛事中获得了哪些成就?

TeleAI在CCL2024和NLPCC2024赛事中获得多项冠军,展示了其技术实力和模型优化能力。

开源对TeleAI的影响是什么?

开源推动了TeleAI技术的进步和产业应用,标志着国产大模型训练进入自主创新的新阶段。

TeleAI的研究团队由谁领导?

TeleAI的研究团队由中国电信集团的CTO李学龙教授领导。

➡️

继续阅读