本研究提出SimulS2S-LLM方法，解决大语言模型在实时语音翻译中的并行推理问题，通过离线训练和策略指导，实现高质量的语音即时翻译。
本研究提出Seesaw推理引擎，通过动态模型重分片技术优化大型语言模型的并行推理策略，最高提升吞吐量1.78倍。
近年来，强大的GPU和大型语言模型（LLM）不断涌现。企业通过微调和领域知识利用这些模型，但模型大小与GPU内存的矛盾使得并行推理变得关键。推理并行性方法包括数据并行、张量并行、流水线并行和专家并行，各有优缺点，选择依赖于模型架构和业务需求。有效利用这些技术将推动AI应用的发展。
本研究提出了一种新颖的迭代并行推理机制（IPRM），有效解决复杂视觉推理和问答的挑战，显著提高推理效率，推动视觉问答系统设计的变革。
完成下面两步后，将自动完成登录并继续当前操作。
