美欧亚三洲开发者联手，全球首个组团训练的大模型来了，全流程开源

Prime Intellect于11月22日宣布完成去中心化训练的10B模型INTELLECT-1，并开源相关资源。

该模型在112台H100 GPU上训练，展示了去中心化训练的潜力。

INTELLECT-1实现了10倍的规模提升，证明大规模模型训练不再是大公司的专利。

未来计划是将模型扩展到前沿规模，最终目标是实现开源AGI。

AI社区对INTELLECT-1总体给予积极反馈，尽管存在一些质疑。

模型的汉语能力较弱，且存在幻觉现象。

去中心化训练涉及3个大洲的5个国家，运行了112台H100 GPU。

训练过程中实现了83%的总体计算利用率，证明了去中心化训练的有效性。

INTELLECT-1基于Llama-3架构，训练数据集包含1万亿token。

训练持续了42天，采用了多种技术以提高学习效率和稳定性。

Prime框架支持容错训练和动态计算资源管理，优化了全球分布式GPU网络的通信。

计算效率在不同地理位置的网络延迟下依然保持高水平。

后训练阶段与Arcee AI合作，提升模型能力和特定任务表现。

未来计划包括扩大全球计算网络，激励社区参与，优化去中心化训练架构。