DEV Community
·
从零开始使用SLMs构建ReAct代理
💡
原文英文，约1400词，阅读约需6分钟。
📝
内容提要
本文讲述如何利用小型语言模型（SLMs）和LoRA适配器创建函数调用代理。通过分离推理和函数执行，SLMs在资源有限或低延迟环境中实现高效微调和执行，提升性能和速度。使用Salesforce/xlam-function-calling-60k数据集训练的模型，展示了构建高性能、低资源AI应用的方法，并可扩展至更大模型如LLaMA 3.1-8B。
🎯
关键要点
- 本文介绍如何使用小型语言模型（SLMs）和LoRA适配器创建函数调用代理。
- SLMs在资源有限或低延迟环境中实现高效微调和执行，提升性能和速度。
- 通过分离推理和函数执行，SLMs能够优化性能，适合构建函数调用代理应用。
- 使用Salesforce/xlam-function-calling-60k数据集训练的模型展示了低资源AI应用的构建方法。
- SLMs可扩展至更大模型，如LLaMA 3.1-8B，支持内置函数调用能力。
- 设置模型和分词器时，定义最大序列长度和启用4位量化以减少内存使用。
- 实现停止标准以控制生成，确保在函数调用后暂停执行。
- 定义代理在执行期间使用的工具，确保返回类型明确并包含描述性文档字符串。
- 生成工具描述以帮助代理理解可用工具及其参数。
- 创建代理类，处理系统提示、函数调用提示、工具和消息，返回代理的响应。
- 定义系统提示和函数调用提示，指导代理的推理和工具使用。
- 实现ReAct循环，使代理与用户交互，执行必要的函数调用并返回正确答案。
- 通过此步骤指南，可以创建高效的函数调用代理，确保内存使用高效，同时保持强大的推理和函数执行能力。
❓
延伸问答
如何使用小型语言模型（SLMs）构建函数调用代理？
可以通过结合LoRA适配器和SLMs，分离推理与函数执行来构建函数调用代理。
SLMs在低资源环境中有哪些优势？
SLMs轻量化，适合资源有限或低延迟的环境，能够实现高效微调和执行。
如何设置模型和分词器以减少内存使用？
可以定义最大序列长度并启用4位量化来减少内存使用。
如何实现代理的停止标准？
通过定义停止标准，当模型输出特定关键词时，代理将暂停执行。
在构建函数调用代理时，如何定义可用工具？
需要定义代理在执行期间使用的工具，并确保返回类型明确且包含描述性文档字符串。
ReAct循环在代理中如何工作？
ReAct循环使代理与用户交互，执行必要的函数调用并返回正确答案。
➡️
