Meta通过先进的并行技术，如张量并行、上下文并行和专家并行，持续优化大型语言模型（LLM）推理系统，提高资源效率、吞吐量和延迟，解决大规模实时推理的挑战，推动AI应用的发展。

Seq1F1B是一种新技术，用于高效训练大型语言模型。它利用序列级管道并行性来减少内存使用和提高训练速度。通过双向执行方案，Seq1F1B进一步优化资源利用。研究结果表明，Seq1F1B优于以前的并行技术，使训练最先进的语言模型更容易。