小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
PersonaTeaming:探索引入角色如何提升自动化AI红队测试的效果

本文介绍了PersonaTeaming方法,通过引入角色提升AI模型在自动化红队测试中的风险识别能力。该方法利用“红队专家”或“普通用户”角色生成对抗性提示,实验结果显示攻击成功率提高了144.1%。研究分析了不同角色类型和变异方法的优缺点,为未来自动化与人工红队测试的结合提供了新思路。

PersonaTeaming:探索引入角色如何提升自动化AI红队测试的效果

Apple Machine Learning Research
Apple Machine Learning Research · 2025-09-26T00:00:00Z

本研究提出FLEX基准,以评估大型语言模型在面对可能引发偏见的对抗性提示时的公平性和鲁棒性。研究表明,现有评估标准可能低估模型的风险,强调需要更严格的评估以确保安全与公平。

FLEX: A Benchmark for Evaluating the Robustness of Fairness in Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-25T00:00:00Z

本研究提出了CurvaLID防御框架,旨在解决大型语言模型在安全部署中面临的对抗性提示挑战。该框架通过几何特性高效检测对抗性提示,揭示其与良性提示的区别,展现出优越的检测和拒绝能力。

CurvaLID: Geometrically Guided Adversarial Prompt Detection

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-05T00:00:00Z

本研究提出了一种递归框架,以增强大型语言模型(LLMs)对越狱和对抗性提示的抵抗力,从而有效检测和防范恶意输入,为AI安全提供基础。

Enhancing Adversarial Robustness of Large Language Models through Recursion

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-09T00:00:00Z

本研究提出了一种新方法,将混乱的对抗性提示转化为连贯的文本,从而提高大型语言模型的越狱攻击成功率,为越狱攻击的设计提供了新的思路。

Deciphering Chaos: Enhancing Jailbreak Attacks through Adversarial Prompt Translation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本文探讨了针对大型语言模型(LLMs)的攻击方法及防护措施,提出了多种自动生成的对抗性提示和攻击框架,显示出高攻击成功率,揭示了LLMs的安全隐患。实验结果表明,通过自卫框架训练可显著减少不安全内容的生成,强调了对更全面安全保护的需求。

流利的学生 - 教师红队行动

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-24T00:00:00Z

该研究探讨了大型语言模型(LLMs)的安全性,提出了多种攻击方法和防御策略,如ReNeLLM框架和DrAttack,显著提高了攻击成功率和防御能力。研究强调了对抗性提示生成和评估的重要性,并呼吁在发布开源模型前进行全面测试。

越狱的奖励错配问题

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

本文探讨了通过彩虹团队合作生成多样化对抗性提示,以提高大型语言模型(LLMs)在安全性、问答和网络安全等领域的鲁棒性。研究表明,合成数据微调可以增强模型的安全性而不影响其性能。同时,提出了ASSERT和GBRT等新技术,旨在自动生成多样提示以提升模型的安全性和可靠性。

Ruby 协作:利用内存提升自动红队搜索的质量和多样性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码