KTransformers v0.7.0发布：原生FP8 LoRA、AVX512 CPU与全量微调
内容提要
KTransformers v0.7.0发布，聚焦微调优化。支持直接加载原生FP8权重进行LoRA训练，将专家权重内存减半；新增AVX512 CPU后端，使AMD/x86平台可参与超大规模MoE微调；提供LoRA与全量微调选择，支持检查点保存恢复及CPU激活复用。附完整Cookbook指南，安装命令为pip install "ktransformers[sft]==0.7.0"。
延伸解读
FP8原生加载的适用边界
v0.7.0的原生FP8加载主要面向LoRA微调，且要求基座专家权重冻结。全量微调仍以BF16为主，因此若计划进行全量微调，FP8带来的内存节省并不适用。用户需根据训练目标（LoRA或全量）选择权重格式，避免误解FP8的适用范围。
AVX512后端的意义与限制
新增AVX512 CPU后端使更多AMD/x86平台能参与超大规模MoE微调，但前提是CPU支持AVX512指令集且具备大容量主机内存。该后端与GPU协同工作，CPU负责路由专家权重，GPU处理注意力等模块。用户需检查硬件兼容性，并注意并非所有x86 CPU都支持AVX512。
配置分离与检查点管理
训练配置与分布式配置分离：所有KTransformers设置放在训练YAML中，Accelerate YAML仅含分布式执行和FSDP2设置。LoRA和全量微调均支持检查点保存、恢复及续训，便于长训练任务中断后继续。用户应遵循Cookbook指导，正确配置以避免错误。
Q&A
KTransformers v0.7.0 如何减少专家权重的内存占用？
v0.7.0 支持直接加载原生 FP8 专家权重进行 LoRA 训练，权重在内存中保持 FP8 格式，而不是像传统流程那样先扩展为 BF16。这样专家权重的内存占用减半。在官方 DeepSeek-V3.1 测试配置中，主机内存需求从约 1.4 TB 降至约 800 GB。
KTransformers v0.7.0 对 CPU 有什么新要求？
v0.7.0 新增了 AVX512 CPU 后端，使得支持 AVX512 扩展的 AMD/x86 平台也能参与超大规模 MoE 微调。此前高性能 CPU 专家微调路径主要面向支持 AMX 的平台。
KTransformers v0.7.0 支持哪些微调方式？
v0.7.0 支持 LoRA 和全量微调两种方式。LoRA 适合快速适配和资源受限的场景，全量微调支持更深入的模型更新，但需要更高的内存和检查点成本。全量微调主要使用 BF16，而原生 FP8 主要用于 LoRA。
KTransformers v0.7.0 中的 CPU Activation Reuse 是什么？
CPU Activation Reuse 是 v0.7.0 提供的一个选项，当启用时（设置 kt_cpu_activation: retain），CPU 专家激活可以在检查点重计算期间保留，利用额外的主机内存来减少重复计算。如果不设置，CPU 激活将遵循整体检查点策略。
KTransformers v0.7.0 的 Cookbook 提供了哪些指导？
Cookbook 提供了完整的微调指南，包括如何选择专家权重选项、选择 LoRA 或全量微调、硬件检查、环境安装、训练 YAML 和 Accelerate YAML 的职责划分、基础配置、启动命令、资源估算和故障排除。
如何安装 KTransformers v0.7.0 的微调依赖？
使用 pip 安装命令：pip install "ktransformers[sft]==0.7.0"。同时需要匹配的 SFT 集成包：transformers-kt==5.6.0.post2 和 accelerate-kt==1.14.0.post2。
