OpenAI的GPT-5训练进展缓慢，目前已进行两轮训练但效果不理想，需要人工重建数据，成本高达数亿。尽管投资者对未来抱有期待，发布可能推迟至2025或2026年。同时，OpenAI的新系列o1和o3在性能上取得显著进展。

本文介绍了多语言生成模型的训练进展，采用混合专家（MoE）模型和新技术提升效率与性能。通过优化计算和路由策略，显著减少了训练时间。研究探讨了专家数量与推理效率的关系，提出了Skywork-MoE模型及其创新技术，展示了在多语言环境中的优势，推动了低资源语言的研究进展。