CAMPHOR：设备端多输入规划与高阶推理的协作代理
原文英文，约200词，阅读约需1分钟。发表于：。While server-side Large Language Models (LLMs) demonstrate proficiency in tool integration and complex reasoning, deploying Small Language Models (SLMs) directly on devices brings opportunities to...
在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。CAMPHOR是一个创新的设备端SLM框架，能处理多用户输入并在本地推理个人上下文，确保隐私。其架构通过高阶推理代理分解任务，协调专家代理进行上下文检索、工具交互和计划生成。通过参数共享和提示压缩，减少模型大小、延迟和内存。实验显示，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私。
