CoDefeater：利用 LLMs 在保证案例中寻找挫败耠
内容提要
本文探讨了大型语言模型（LLMs）的安全性与防御机制，包括对恶意文件的防御、社交工程攻击的检测、逻辑推理能力的提升及回溯攻击的防范。研究表明，适当的指导调整能增强LLMs处理危险内容的能力，同时在安全与效用之间存在权衡。引入新策略后，LLMs在代码审查和漏洞检测中表现优异，强调了对话安全的重要性及未来研究的必要性。
延伸解读
安全与效用的权衡
文章指出，大型语言模型在安全防御中存在效用与安全的权衡。自我检查技术能提升对不安全输入的安全性，但会导致对安全输入的过度防御。提供安全指示和上下文示例可以同时提升安全性并减少过度防御，而提供上下文知识则可能打破安全防护，使模型更容易生成不安全回答。这些发现揭示了防御策略需要精细平衡。
代码审查中的模型差异
在代码审查任务中，大型专有模型在检测安全漏洞和验证软件功能方面显著优于小型开源模型。研究还证明，LLMs能够生成与真实漏洞相关的详细描述，这有助于提高漏洞检测的准确性和召回率。这一发现提示，在实际应用中，模型规模与类型的选择对代码安全审查效果有重要影响。
防御策略的多样性
文章介绍了多种针对LLMs的防御策略：针对社交工程攻击，开发了数据集SEConvo和检测工具ConvoSentinel；针对回溯攻击，提出了Chain-of-Scrutiny（CoS）解决方案；针对后门攻击，提出了防御演示策略。这些策略分别应对不同威胁，且无需修改黑盒模型内部机制，展示了防御方法的多样性和适应性。
Q&A
大型语言模型（LLMs）在安全性方面面临哪些挑战？
大型语言模型面临恶意文件的防御、社交工程攻击的检测和回溯攻击的威胁。
如何提高大型语言模型处理危险内容的能力？
通过适当的指导调整和提供安全指示与上下文示例，可以显著增强LLMs处理危险内容的能力。
什么是Chain-of-Scrutiny（CoS）解决方案？
Chain-of-Scrutiny是一种防止回溯攻击的解决方案，通过提供详细的推理步骤来验证推理过程的有效性。
LLMs在代码审查中的表现如何？
LLMs在代码审查中表现优异，能够提高漏洞检测的准确性和召回率。
如何减少大型语言模型的过度防御？
提供安全指示和上下文示例可以提升安全性并减少对安全输入的过度防御。
社交工程攻击的检测工具ConvoSentinel有什么作用？
ConvoSentinel旨在提高社交工程攻击的识别能力，增强大型语言模型在此类攻击中的检测效果。
