Apple Machine Learning Research
·
CAMPHOR：设备端多输入规划与高阶推理的协作代理
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。CAMPHOR是一个创新的设备端SLM框架，能处理多用户输入并在本地推理个人上下文，确保隐私。其架构通过高阶推理代理分解任务，协调专家代理进行上下文检索、工具交互和计划生成。通过参数共享和提示压缩，减少模型大小、延迟和内存。实验显示，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私。
🎯
关键要点
- 在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。
- CAMPHOR是一个创新的设备端SLM多代理框架，能够处理多用户输入并在本地推理个人上下文，确保隐私。
- CAMPHOR采用高阶架构，通过高阶推理代理分解复杂任务，协调专家代理进行上下文检索、工具交互和计划生成。
- 通过参数共享和提示压缩，显著减少模型大小、延迟和内存使用。
- 实验表明，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私，消除了对服务器设备通信的需求。
➡️
