Apple Machine Learning Research
·
CAMPHOR：设备端多输入规划与高阶推理的协作代理
原文英文，约200词，阅读约需1分钟。
📝
内容提要
在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。CAMPHOR是一个创新的设备端SLM框架，能处理多用户输入并在本地推理个人上下文，确保隐私。其架构通过高阶推理代理分解任务，协调专家代理进行上下文检索、工具交互和计划生成。通过参数共享和提示压缩，减少模型大小、延迟和内存。实验显示，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私。
🎯
关键要点
-
在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。
-
CAMPHOR是一个创新的设备端SLM多代理框架，能够处理多用户输入并在本地推理个人上下文，确保隐私。
-
CAMPHOR采用高阶架构，通过高阶推理代理分解复杂任务，协调专家代理进行上下文检索、工具交互和计划生成。
-
通过参数共享和提示压缩，显著减少模型大小、延迟和内存使用。
-
实验表明，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私，消除了对服务器设备通信的需求。
❓
延伸问答
CAMPHOR框架的主要功能是什么？
CAMPHOR框架能够处理多用户输入，并在本地推理个人上下文，确保隐私。
CAMPHOR如何提高设备端小型语言模型的性能？
通过高阶推理代理分解复杂任务，并协调专家代理进行上下文检索和计划生成，CAMPHOR提高了性能。
使用CAMPHOR框架有什么隐私优势？
CAMPHOR在本地推理个人上下文，消除了对服务器设备通信的需求，从而增强了隐私。
CAMPHOR是如何减少模型大小和延迟的？
CAMPHOR通过参数共享和提示压缩显著减少模型大小、延迟和内存使用。
CAMPHOR与封闭源LLMs相比的优势是什么？
微调的SLM代理在任务完成上优于封闭源LLMs，并提高了隐私保护。
CAMPHOR框架的实验结果如何？
实验表明，微调的SLM代理在任务完成F1上超越封闭源LLMs 35%。
🏷️
