只需两步，让大模型智能体社区相信你是秦始皇
内容提要
本文讨论了基于大语言模型（LLM）的多智能体系统中的知识传播风险，提出了一种两阶段的攻击框架，通过植入和编造知识使智能体传播和改变认知。实验结果表明攻击成功率高，指出多智能体社区对不可信知识传播缺乏防御机制，未来工作可从预防和检测入手提升鲁棒性和安全性。
延伸解读
攻击为何难以察觉
攻击者通过两阶段植入，使被操纵的智能体在无显式提示下自主传播虚假知识，且基础语言能力几乎不受影响。第一阶段用DPO调整回复倾向，使其更爱生成详细证据；第二阶段用ROME编辑特定参数，篡改对特定知识的认知。这种局部修改隐蔽性强，良性智能体难以从对话中识别异常，社区防御机制缺失。
虚假证据的迷惑性
实验表明，良性智能体对直接给出的编造知识抵抗力较强，但若攻击者提供看似合理的虚假证据，它们很容易被说服。更关键的是，被操纵的智能体自身也能生成这类证据，即使证据是幻觉产物。这揭示了LLM对齐机制的一个副作用：过度倾向于相信他人提供的详细论证，从而为知识传播攻击打开缺口。
传播随交互加深
随着智能体间交互轮数增加，良性智能体对编造知识的错误认知逐步加深，传播成功率上升。在反事实知识上，两阶段攻击成功率超过40%；毒性知识虽略有下降，仍有10%-20%的良性智能体改变看法。若聊天记录存入RAG工具，编造知识还能脱离上下文持续传播，形成链式影响，进一步扩大危害。
社区规模与防御方向
研究发现，更大型的多智能体社区相对更鲁棒，但仍会受到操纵知识的影响；随机发言顺序下攻击成功率更高。当前社区缺乏对不可信知识传播的有效防御。未来可从预防和检测入手，例如利用提示工程或事实检测工具辅助智能体评估知识真实性，以提升整体鲁棒性和安全性。
Q&A
大语言模型的多智能体系统中存在哪些知识传播风险？
存在恶意攻击者植入操控性知识，导致智能体传播和改变认知的风险。
文章中提到的两阶段攻击框架是如何工作的？
第一阶段为说服性植入，调整智能体的回复倾向；第二阶段为编造知识植入，修改智能体模型中的特定参数。
实验结果显示良性智能体对编造知识的抵御能力如何？
良性智能体对编造知识的抵御能力较弱，容易受到虚假证据的影响。
未来的研究方向是什么？
未来工作可从预防和检测入手，提升多智能体社区的鲁棒性和安全性。
攻击者如何操纵智能体的知识传播？
攻击者通过操纵智能体的中间参数，使其自主传播被操控的知识。
多智能体社区对不可信知识的传播缺乏什么？
缺乏有效的防御机制，导致对不可信知识的传播没有有效抵御。
