加一个字母就可以绕过AI围栏，新的漏洞：TokenBreak
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
提示词注入攻击已成为大模型的主要威胁。研究表明，TokenBreak可以绕过文本分类模型的检测，通过巧妙修改输入词汇而不改变其含义。BERT等模型易受攻击，而Unigram模型相对安全，因此建议在提示词检测中优先使用Unigram模型。
🎯
关键要点
-
提示词注入攻击是大模型的主要威胁，攻防仍在继续。
-
当前主要的防护方法是使用BERT模型进行检测。
-
TokenBreak是一种新型漏洞，可以绕过文本分类模型的检测。
-
TokenBreak通过巧妙修改输入词汇而不改变其含义来实现攻击。
-
BERT、DistilBERT和RoBERTa等模型易受TokenBreak攻击，而DeBERTa-v2和v3模型相对安全。
-
使用Unigram分词策略的模型不易受到此类攻击，因其保留了原始分词方式。
-
BPE和WordPiece分词策略会导致分类模型失效。
-
在进行提示词检测时，建议优先选择Unigram类模型。
-
攻防技术仍在发展，当前的防护措施可能在未来失效。
❓
延伸问答
什么是TokenBreak漏洞？
TokenBreak是一种新型漏洞，可以通过巧妙修改输入词汇而不改变其含义，绕过文本分类模型的检测。
哪些模型容易受到TokenBreak攻击？
BERT、DistilBERT和RoBERTa等模型容易受到TokenBreak攻击。
如何防止TokenBreak攻击？
建议在提示词检测中优先使用Unigram分词策略的模型，因为它们不易受到此类攻击。
TokenBreak攻击的原理是什么？
TokenBreak通过在某些单词前添加字符，造成防御模型和目标LLM之间的理解分歧，从而绕过检测。
BPE和WordPiece分词策略的缺陷是什么？
BPE和WordPiece分词策略会导致分类模型失效，因为它们修改了分词方式，使得模型无法正确理解输入。
为什么Unigram模型更安全？
Unigram模型保留了原始分词方式，能够有效防止TokenBreak攻击，因此在提示词检测中更为安全。
➡️
