如何使用SFT和QLoRA为AI代理定制大型语言模型
内容提要
本教程介绍如何使用QLoRA对大型语言模型进行监督微调，以定制AI代理行为。通过Unsloth和Hugging Face工具，加载Qwen 1.5B模型，在本地用少量示例训练LoRA适配器，仅更新约4%参数，内存占用低。微调后模型响应更简洁、符合客服场景，适合资源有限环境。
延伸解读
QLoRA 微调的实际意义
本文展示了 QLoRA 微调在资源受限环境下的实用性。通过仅更新约 4% 的参数，模型在 35 秒内完成训练，峰值内存仅 2.57 GB。这意味着即使没有高端 GPU，也能在本地定制模型行为。对于希望降低 API 成本、提升响应一致性的开发者，这是一种可行的轻量级方案。
微调前后的行为差异
文章对比了微调前后的输出：基础模型回答冗长且泛化，而微调后的模型更简洁、更符合客服场景，能主动询问订单号并考虑发货状态。这表明即使使用少量示例（仅 5 条），SFT 也能显著改善角色对齐和响应风格，但需注意数据质量与任务复杂度对效果的影响。
微调、提示工程与蒸馏的选择
文章区分了三种调整模型行为的方法：提示工程（推理时调整指令）、微调（训练模型学习模式）和蒸馏（让小模型模仿大模型）。实践中，提示工程通常作为起点，微调用于需要更强任务对齐的场景，蒸馏则侧重效率。选择哪种方法取决于资源、任务复杂度和部署需求。
Q&A
什么是QLoRA，它如何降低微调大语言模型的内存需求？
QLoRA结合了量化和LoRA技术，将基础模型以4位精度加载，然后只训练添加的LoRA适配器，而不是更新所有原始权重。这大大减少了内存使用，使得在有限硬件上进行微调变得可行。
如何使用Unsloth和Hugging Face对Qwen模型进行监督微调？
首先安装必要的Python包，然后使用Unsloth的FastLanguageModel加载预训练的Qwen模型（如Qwen2.5-1.5B-Instruct），以4位模式加载。接着准备一个包含对话示例的数据集，应用聊天模板格式化，添加LoRA适配器，并使用SFTTrainer进行训练。最后保存LoRA适配器权重。
在微调过程中，LoRA适配器通常添加到模型的哪些层？
LoRA适配器通常添加到注意力层（如q_proj、k_proj、v_proj、o_proj）和MLP层（如gate_proj、up_proj、down_proj）。
微调后模型的行为有什么变化？请举例说明。
微调后，模型响应更简洁、更符合客服场景。例如，对于“我想取消订单”的请求，微调前模型给出冗长的一般性步骤，微调后则直接询问订单号和取消原因，并提及退款或信用处理，更符合电商客服的流程。
在资源有限的硬件上，如何使微调过程更高效？
使用QLoRA（4位量化）和LoRA（只训练少量适配器参数）可以显著降低内存和计算需求。此外，使用Unsloth库的优化功能，如梯度检查点、8位AdamW优化器，以及选择较小的模型（如Qwen 1.5B）也有助于在有限硬件上运行。
微调、提示工程和知识蒸馏之间有什么区别？
提示工程是在推理时通过修改指令来影响模型输出，最快最便宜；微调是通过训练模型学习示例来更一致地改变行为；知识蒸馏是让一个小模型模仿强模型的行为。通常先尝试提示工程，需要更强任务对齐时进行微调，追求效率时考虑蒸馏。
保存的LoRA适配器包含哪些文件，它们各自的作用是什么？
保存的LoRA适配器包含adapter_config.json（存储适配器配置）、adapters.safetensors（存储训练好的权重）、chat_template.jinja（定义消息格式）、tokenizer.json（存储分词器词汇）和tokenizer_config.json（存储分词器设置）。这些文件用于加载适配器并进行推理。
