提示词注入攻击已成为大模型的主要威胁。研究表明，TokenBreak可以绕过文本分类模型的检测，通过巧妙修改输入词汇而不改变其含义。BERT等模型易受攻击，而Unigram模型相对安全，因此建议在提示词检测中优先使用Unigram模型。

本文分析了不同分词方法（如BPE和unigram）对Transformer语言模型的影响，发现unigram在任务表现上优于BPE，建议开发者采用unigram。同时，研究提出了一种新型分词器LiB，能够有效减少标记数量并提升模型适应性。实验结果强调了分词在现代大语言模型中的重要性，并探讨了分词器优化对生成速度和上下文大小的影响。