在设备上部署小型语言模型（SLMs）可以改善延迟和隐私，但面临准确性和内存挑战。CAMPHOR是一个创新的设备端SLM框架，能处理多用户输入并在本地推理个人上下文，确保隐私。其架构通过高阶推理代理分解任务，协调专家代理进行上下文检索、工具交互和计划生成。通过参数共享和提示压缩，减少模型大小、延迟和内存。实验显示，微调的SLM代理在任务完成上优于封闭源LLMs，并增强隐私。