内容提要
360-LLaMA-Factory是基于LLaMA-Factory的开源框架，支持序列并行，简化长序列的后训练。用户只需增加一个参数，经过验证效果良好，适合长文本模型的研究与开发。
关键要点
-
360-LLaMA-Factory是基于LLaMA-Factory的开源框架，支持序列并行，简化长序列的后训练。
-
用户只需增加一个参数即可支持任意长序列的后训练，经过验证效果良好。
-
项目核心开发者包括清华大学的博士和研究生，团队成员在长文本和强化学习等领域有贡献。
-
大模型长序列处理能力日益重要，现有框架在并行策略、后训练算法、GPU显存优化和易用性方面存在短板。
-
LLaMA-Factory是用户最多的后训练框架之一，但在长序列后训练上支持不足。
-
360-LLaMA-Factory通过加入序列并行功能，解决了长序列后训练的关键技术问题。
-
360-LLaMA-Factory的实现经过严格验证，已在主仓审核过，用户可先行使用。
-
长序列后训练面临显存瓶颈，序列并行被认为是解决方案，但实现难度较大。
-
360-LLaMA-Factory的框架实现模块化，减少了原始代码修改，便于使用。
-
经过测试，360-LLaMA-Factory在长序列训练上表现良好，满足了超长序列的需求。
-
欢迎开发者和研究者使用360-LLaMA-Factory，并在研究中引用相关工作。
延伸问答
360-LLaMA-Factory的主要功能是什么？
360-LLaMA-Factory是一个开源框架，支持序列并行，简化长序列的后训练，只需增加一个参数即可支持任意长序列的后训练。
如何使用360-LLaMA-Factory进行长序列后训练？
用户只需在配置中增加一个参数sequence_parallel_size，并按需增加GPU卡数，即可进行长序列的后训练。
360-LLaMA-Factory与LLaMA-Factory有什么区别？
360-LLaMA-Factory在LLaMA-Factory的基础上增加了序列并行功能，解决了长序列后训练的关键技术问题。
长序列后训练面临哪些挑战？
长序列后训练面临显存瓶颈，序列长度增加时激活显存会大幅上升，传统方法未能根本解决这一问题。
360-LLaMA-Factory的开发团队有哪些背景？
项目核心开发者包括清华大学的博士和研究生，团队在长文本和强化学习等领域有贡献。
360-LLaMA-Factory的效果如何验证？
通过对比序列并行开与不开的训练曲线，验证了360-LLaMA-Factory的正确性，结果显示影响几乎可以忽略不计。
