从零开始使用SLMs构建ReAct代理
原文英文，约1400词，阅读约需6分钟。
📝
内容提要
本文讲述如何利用小型语言模型（SLMs）和LoRA适配器创建函数调用代理。通过分离推理和函数执行，SLMs在资源有限或低延迟环境中实现高效微调和执行，提升性能和速度。使用Salesforce/xlam-function-calling-60k数据集训练的模型，展示了构建高性能、低资源AI应用的方法，并可扩展至更大模型如LLaMA 3.1-8B。
❓
Q&A
如何使用小型语言模型（SLMs）构建函数调用代理？
可以通过结合LoRA适配器和SLMs，分离推理与函数执行来构建函数调用代理。
SLMs在低资源环境中有哪些优势？
SLMs轻量化，适合资源有限或低延迟的环境，能够实现高效微调和执行。
如何设置模型和分词器以减少内存使用？
可以定义最大序列长度并启用4位量化来减少内存使用。
如何实现代理的停止标准？
通过定义停止标准，当模型输出特定关键词时，代理将暂停执行。
在构建函数调用代理时，如何定义可用工具？
需要定义代理在执行期间使用的工具，并确保返回类型明确且包含描述性文档字符串。
ReAct循环在代理中如何工作？
ReAct循环使代理与用户交互，执行必要的函数调用并返回正确答案。
🏷️
