大型语言模型系统在安全方面面临重要风险，如恶意设计的消息试图覆盖系统的原始指令或泄露私人数据。IEEE SaTML 2024组织了一场夺旗赛，发现所有防御措施至少被绕过一次，凸显了设计成功防御措施的难度以及进一步研究保护LLM系统的必要性。

研究发现，微调大型语言模型（LLMs）存在安全风险，恶意设计的训练样例或常用数据集可能降低LLMs的安全对齐性。当前的安全基础设施无法解决这些风险，需要进一步研究以加强对齐的LLMs的自定义微调的安全协议。