只需两步，让大模型智能体社区相信你是秦始皇
原文中文，约4200字，阅读约需10分钟。
📝
内容提要
本文讨论了基于大语言模型（LLM）的多智能体系统中的知识传播风险，提出了一种两阶段的攻击框架，通过植入和编造知识使智能体传播和改变认知。实验结果表明攻击成功率高，指出多智能体社区对不可信知识传播缺乏防御机制，未来工作可从预防和检测入手提升鲁棒性和安全性。
❓
Q&A
大语言模型的多智能体系统中存在哪些知识传播风险？
存在恶意攻击者植入操控性知识，导致智能体传播和改变认知的风险。
文章中提到的两阶段攻击框架是如何工作的？
第一阶段为说服性植入，调整智能体的回复倾向；第二阶段为编造知识植入，修改智能体模型中的特定参数。
实验结果显示良性智能体对编造知识的抵御能力如何？
良性智能体对编造知识的抵御能力较弱，容易受到虚假证据的影响。
未来的研究方向是什么？
未来工作可从预防和检测入手，提升多智能体社区的鲁棒性和安全性。
攻击者如何操纵智能体的知识传播？
攻击者通过操纵智能体的中间参数，使其自主传播被操控的知识。
多智能体社区对不可信知识的传播缺乏什么？
缺乏有效的防御机制，导致对不可信知识的传播没有有效抵御。
🏷️
