基于困惑度度量和上下文信息的标记级对抗性提示检测
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文提出了一种基于令牌级别检测方法来识别对抗提示的方法,利用大型语言模型的能力来预测下一个令牌的概率,测量模型的困惑度并结合相邻令牌信息,以鼓励检测连续的对抗提示序列,提出了两种方法:一种将每个令牌识别为是否属于对抗提示的一部分,另一种估计每个令牌属于对抗提示的概率。
🎯
关键要点
- 提出了一种基于令牌级别检测的方法来识别对抗提示。
- 利用大型语言模型预测下一个令牌的概率。
- 测量模型的困惑度并结合相邻令牌信息。
- 鼓励检测连续的对抗提示序列。
- 提出两种方法:一种识别每个令牌是否属于对抗提示,另一种估计每个令牌属于对抗提示的概率。
🏷️
标签
➡️