本研究提出了一种上下文并行的方法，解决了长上下文大语言模型推理的性能瓶颈。该方法在多达128个H100 GPU和16个节点上实现近线性扩展性，成功在77秒内对Llama3 405B模型进行1M上下文预填充，展现出高效的并行性能。