加一个字母就可以绕过AI围栏，新的漏洞：TokenBreak
内容提要
提示词注入攻击已成为大模型的主要威胁。研究表明，TokenBreak可以绕过文本分类模型的检测，通过巧妙修改输入词汇而不改变其含义。BERT等模型易受攻击，而Unigram模型相对安全，因此建议在提示词检测中优先使用Unigram模型。
关键要点
-
提示词注入攻击是大模型的主要威胁，攻防仍在继续。
-
当前主要的防护方法是使用BERT模型进行检测。
-
TokenBreak是一种新型漏洞，可以绕过文本分类模型的检测。
-
TokenBreak通过巧妙修改输入词汇而不改变其含义来实现攻击。
-
BERT、DistilBERT和RoBERTa等模型易受TokenBreak攻击，而DeBERTa-v2和v3模型相对安全。
-
使用Unigram分词策略的模型不易受到此类攻击，因其保留了原始分词方式。
-
BPE和WordPiece分词策略会导致分类模型失效。
-
在进行提示词检测时，建议优先选择Unigram类模型。
-
攻防技术仍在发展，当前的防护措施可能在未来失效。
延伸解读
TokenBreak的攻击机制
TokenBreak利用了文本分类模型对输入词汇的处理方式，通过在特定单词前添加字符来绕过检测。这种方法不仅保留了原始单词的含义，还能在防御模型和目标模型之间造成理解上的分歧，显示出其攻击的隐蔽性和有效性。
模型选择的重要性
在进行提示词检测时，选择合适的模型至关重要。研究表明，使用Unigram分词策略的模型对TokenBreak攻击具有更强的抵抗力。因此，在实际应用中，优先考虑Unigram类模型可以有效降低被攻击的风险。
攻防技术的持续演变
提示词注入攻击的技术和防护措施仍在不断发展。当前有效的防护方法可能在未来失效，因此，持续关注新出现的攻击手段和防护策略是必要的，以确保系统的安全性和稳定性。
延伸问答
什么是TokenBreak漏洞？
TokenBreak是一种新型漏洞，可以通过巧妙修改输入词汇而不改变其含义，绕过文本分类模型的检测。
哪些模型容易受到TokenBreak攻击？
BERT、DistilBERT和RoBERTa等模型容易受到TokenBreak攻击。
如何防止TokenBreak攻击？
建议在提示词检测中优先使用Unigram分词策略的模型，因为它们不易受到此类攻击。
TokenBreak攻击的原理是什么？
TokenBreak通过在某些单词前添加字符，造成防御模型和目标LLM之间的理解分歧，从而绕过检测。
BPE和WordPiece分词策略的缺陷是什么？
BPE和WordPiece分词策略会导致分类模型失效，因为它们修改了分词方式，使得模型无法正确理解输入。
为什么Unigram模型更安全？
Unigram模型保留了原始分词方式，能够有效防止TokenBreak攻击，因此在提示词检测中更为安全。
