如何在Python中使用Unsloth微调Llama 3以实现自定义工具调用
内容提要
本文介绍用Unsloth和QLoRA微调Llama 3 8B以实现自定义工具调用。仅靠提示工程难以稳定输出JSON，微调可从权重层面改变模型行为。教程涵盖在免费Colab T4上搭建环境、加载4位量化模型、配置LoRA适配器、构建含系统提示、用户查询和JSON输出的数据集，并用SFTTrainer训练。约10分钟完成，模型能对未见查询返回干净JSON，最后保存适配器。
延伸解读
为什么提示工程不够，微调才是解药
文章指出，仅靠提示工程让模型输出严格JSON并不可靠，复杂查询或长对话下模型容易添加多余文本、改变引号风格或遗漏字段。微调从权重层面改变模型行为，使其稳定遵循格式。这解释了为何工具调用场景需要微调：它解决的是行为一致性问题，而非知识获取。
QLoRA如何让免费T4也能微调8B模型
QLoRA通过冻结基座模型权重，仅在注意力层注入少量可训练矩阵，更新约1%的参数，大幅降低显存需求。文章使用4位量化的Llama 3 8B，在免费Colab T4上即可运行。LoRA秩设为8，alpha为16，并保持dropout为0以启用Unsloth优化内核。
数据集质量比数量更重要
每个训练样本需包含系统提示（定义工具和JSON模式）、用户查询和精确的JSON输出。文章强调，200个精心构建的样本常优于2000个噪声样本。生产环境需覆盖模糊查询、多参数工具等边缘情况。使用tokenizer.apply_chat_template()可确保格式与Llama 3聊天模板一致。
训练监控与过拟合识别
训练时观察损失值，健康下降至0.1–0.3表明学习良好。若损失迅速趋近于零，可能意味着模型在记忆而非泛化，需增加更多样化的样本。文章使用max_steps=60在10分钟内完成演示训练，并建议更大数据集时改用基于epoch的训练。
Q&A
为什么仅靠提示工程无法可靠地实现工具调用，而需要微调？
提示工程只能引导模型输出格式，但无法保证稳定性。在复杂查询或长对话中，模型容易偏离，添加多余文本、改变引号风格或遗漏必需字段，导致整个代理流程失败。微调则从权重层面改变模型行为，教会模型一种新的行为模式，从而稳定输出符合API模式的JSON。
QLoRA微调Llama 3 8B需要多少显存？能在免费Colab T4上运行吗？
可以。QLoRA通过冻结基础模型权重，仅在注意力层注入少量可训练矩阵，只更新约1%的参数，显存需求低，足以在免费Google Colab T4 GPU上运行。整个训练流程可在10分钟内完成。
构建工具调用数据集时，每个训练样本应包含哪些部分？
每个样本必须包含三部分：定义可用工具及其JSON模式的系统提示、自然语言的用户查询、以及模型必须生成的精确JSON输出。使用tokenizer.apply_chat_template()将这三部分格式化为Llama 3的聊天模板。
在Unsloth中配置LoRA适配器时，rank参数应该设多少？有什么注意事项？
对于工具调用这类聚焦的行为任务，rank设为8效果良好。更高的rank会增加模型表达能力，但在小数据集上容易过拟合。lora_alpha建议设为rank的两倍。另外，Unsloth要求lora_dropout=0以保持优化内核激活，非零值会回退到较慢的代码路径。
训练完成后如何测试模型是否学会了工具调用？
将模型切换到推理模式，用训练中未见的查询进行测试。使用apply_chat_template并设置add_generation_prompt=True，解码时只取新生成的token。成功的微调会输出干净的JSON，如{"name": "fetch_stock_price", "arguments": {"ticker": "TSLA"}}，没有多余文本。
如果微调后模型仍然在JSON前后添加对话性文字，可能是什么原因？
可能有两个原因：训练数据中包含不一致的格式，或者数据集需要更多示例来强化系统提示中“不输出其他文本”的约束。检查并清理训练数据，增加更多强调严格JSON输出的样本。
微调后的LoRA适配器如何保存和重用？
使用model.save_pretrained("llama3_tool_caller")和tokenizer.save_pretrained("llama3_tool_caller")保存适配器。保存的文件夹只有几兆字节，可以随时加载到冻结的Llama 3基础模型上，无需重新训练。
