大型语言模型系统在安全方面面临重要风险，如恶意设计的消息试图覆盖系统的原始指令或泄露私人数据。IEEE SaTML 2024组织了一场夺旗赛，发现所有防御措施至少被绕过一次，凸显了设计成功防御措施的难度以及进一步研究保护LLM系统的必要性。

本文提出了一种综合分类方法，分析了大型语言模型系统的关键模块和潜在风险，并讨论了缓解策略。同时回顾了流行基准以促进负责任的系统构建。

本研究使用大型语言模型系统回答操作员的查询并促进新知识分享，评估结果显示该系统在信息检索和问题解决方面具有优势。GPT-4和StableBeluga2是最优模型，为采用大型语言模型进行知识管理的工厂提供了初步见解。