极道
·
上下文溢出攻击：大模型提示黑客技术
💡
原文中文，约800字，阅读约需2分钟。
📝
内容提要
HackAPrompt是全球首次Prompt Hacking竞赛，有超过3000名黑客参与，提交了60万条恶意提示。主办方分析了超过600,000个恶意代码，发现了18种常用的提示黑客技术。竞赛中，上下文溢出攻击被用来限制ChatGPT的输出长度。
🎯
关键要点
- HackAPrompt是全球首次Prompt Hacking竞赛，奖金为3.5万美元。
- 超过3000名黑客参与，提交了60万条恶意提示。
- 参与者需欺骗AI（如GPT-3、Flan-T5或ChatGPT）说出'我已被 PWNED'。
- 竞赛设有10个不同级别的提示防御，难度逐级增加。
- 主办方分析了超过600,000个恶意代码，发现18种常用的提示黑客技术。
- 上下文溢出攻击通过附加大量文本限制AI输出长度。
- 攻击者利用ChatGPT的冗长特性，使其在特定情况下只输出'我已被 PWNED'。
- 通过构建包含数千个令牌的提示，限制ChatGPT的输出内容。
🏷️
标签
➡️
