小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出了一种基于隐喻的越狱攻击方法MJA,旨在解决文本到图像模型的安全漏洞。MJA通过生成隐喻式对抗提示,提高了攻击效果和查询效率,实验结果显示其在多种模型上表现良好。

Metaphor-based Jailbreaking Attacks on Text-to-Image Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-03-23T00:00:00Z

该文综述大语言模型红队攻防研究,提出综合攻击框架与基于梯度的红队技术,可自动生成攻击提示并提升模型安全性;开发多轮自动红队方法MART及令牌级对抗提示检测;构建对抗评估数据集,测试模型在计算推理任务中的表现,并探索基于提示的对抗训练以增强鲁棒性。

彩虹团队:多样对抗提示的开放生成

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-26T00:00:00Z

大型语言模型易受越狱攻击,研究提出形式化分类、SmoothLLM防御、上下文互动攻击、多模态图像越狱提示、多语言语义保持攻击、表示工程越狱及说服性对抗提示等方法。这些攻击在GPT-3.5、GPT-4、LLaMA等模型上成功率超92%,且可跨模型迁移。防御方面,微调缓解可将攻击成功率降低96.2%,但现有防御仍存显著差距。

用 LLM 玩猜谜游戏:通过隐含暗示的间接越狱攻击

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-14T00:00:00Z

该文综述大语言模型提示攻击与防御研究,提出ReNeLLM等框架提升攻击成功率并降低成本,揭示现有防御不足;通过竞赛构建60万对抗提示数据集并分类;开发PromptAttack、TrojPrompt等方法评估安全风险,并探索自动提示优化与Prompt2Model小模型训练。

大型语言模型是少样本生成器:提出混合提示算法生成 Webshell 逃逸样本

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-12T00:00:00Z

本文综述大语言模型越狱攻击与防御研究,涵盖:提出增强有害内容检测的自我保护方法且不损性能;揭示多语言越狱风险,自卫框架训练可减少不安全内容;测量越狱提示特征与策略;语义保持算法构建多语言数据集,微调缓解使攻击成功率降96.2%;发现指令动词影响越狱率;ReNeLLM框架提升攻击成功率;提出说服性对抗提示,攻击成功率超92%,现有防御不足;并提出语义防火墙实现自欺攻击。

GUARD:通过角色扮演生成自然语言越狱以测试大型语言模型的指南遵循性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-05T00:00:00Z

该文综述大语言模型越狱攻击研究,涵盖ReNeLLM框架(提升攻击成功率并降低成本)、越狱提示特征与攻击策略的测量及现有防御不足的分析、提示类型与ChatGPT鲁棒性分析、黑盒查询少于20次的PAIR算法,以及多语言越狱、遗传算法优化对抗提示、人设调节攻击(GPT-4有害完成率42.5%)和树状攻击剪枝等自动生成方法。

如何请求决定一切:针对越狱攻击的简单黑盒方法

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-18T00:00:00Z

该文综述大语言模型越狱提示研究:通过提示黑客竞赛构建60万对抗提示数据集并分类,测量越狱提示特征与攻击策略,评估现有防御不足;调查GPT-3.5等模型的越狱有效性并提出提示守卫;提出ReNeLLM提升攻击成功率;发现模型对提示格式变化高度敏感;分析破解提示模式与类别,ChatGPT在40类场景可绕过限制;提出SmoothLLM以随机扰动降低攻击成功率;并指出大模型易利用提示捷径。

改变提示的蝴蝶效应:小的变化与越狱对大型语言模型的影响

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-08T00:00:00Z

本文提出了一种基于令牌级别检测方法来识别对抗提示的方法,利用大型语言模型的能力来预测下一个令牌的概率,测量模型的困惑度并结合相邻令牌信息,以鼓励检测连续的对抗提示序列,提出了两种方法:一种将每个令牌识别为是否属于对抗提示的一部分,另一种估计每个令牌属于对抗提示的概率。

基于困惑度度量和上下文信息的标记级对抗性提示检测

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-20T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码