本文介绍了如何在苹果硅芯片的Mac上使用MLX框架进行本地微调语言模型,避免云计算费用。MLX是苹果机器学习团队开发的开源库,支持多种开放模型的文本生成和微调。用户需准备数据集并使用LoRA适配器进行训练,过程简单高效,最终可在本地测试和服务微调后的模型。
KT-FT v0.6.1更新了MoE SFT后端,提升了训练速度和内存使用效率。新版本支持将训练好的适配器无缝集成到SGLang中,并优化了本地服务流程。用户可通过转换脚本将适配器分为专家和非专家LoRA,确保有效运行,目标是实现从本地微调到服务的完整闭环。
完成下面两步后,将自动完成登录并继续当前操作。