Home | KVCache.ai
·
KT-FT v0.6.1：实现从MoE微调到本地服务的完整闭环
💡
原文英文，约1400词，阅读约需6分钟。
📝
内容提要
KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率。新版本支持将训练好的适配器无缝集成到SGLang中，并优化了本地服务流程。用户可通过转换脚本将适配器分为专家和非专家LoRA，确保有效运行，目标是实现从本地微调到服务的完整闭环。
🎯
关键要点
- KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率。
- 新版本支持将训练好的适配器无缝集成到SGLang中。
- 用户可通过转换脚本将适配器分为专家和非专家LoRA，确保有效运行。
- 目标是实现从本地微调到服务的完整闭环。
- v0.6.1在训练速度、内存压力和设置摩擦方面进行了优化。
- 安装过程更简洁，用户可以通过pip安装所需组件。
- 适配器输出目录包含两个LoRA工件，分别为非专家LoRA和专家LoRA。
- 适配器需要在与基准流量、自动评估和应用API相同的环境中运行。
- 后续工作确保了训练的适配器能够在SGLang中有效服务。
- v0.6.1的后端重构改善了训练性能和内存使用，简化了设置过程。
❓
延伸问答
KT-FT v0.6.1的主要更新内容是什么？
KT-FT v0.6.1更新了MoE SFT后端，提升了训练速度和内存使用效率，并支持将训练好的适配器无缝集成到SGLang中。
如何将适配器分为专家和非专家LoRA？
用户可以通过转换脚本将适配器分为专家和非专家LoRA，以确保有效运行。
KT-FT v0.6.1如何优化训练性能？
v0.6.1通过重构后端，提升了训练速度，CPU内存使用减少到约一半，GPU内存也进一步降低。
安装KT-FT v0.6.1的过程是怎样的？
用户可以通过命令pip install 'ktransformers[sft]==0.6.1'来安装所需组件，安装过程更简洁。
KT-FT v0.6.1的目标是什么？
KT-FT v0.6.1的目标是实现从本地微调到服务的完整闭环，确保训练的适配器能够在SGLang中有效服务。
如何验证适配器的有效性？
可以通过将适配器加载回LLaMA-Factory，运行一些交互提示来确认适配器是否有效。
➡️
