针对 GPT 模型的对话重建攻击
内容提要
该文综述大语言模型的安全与隐私风险：BGMAttack后门攻击可隐蔽欺骗文本分类器；GPT-2可被提取训练数据中的个人信息；BadGPT可向奖励模型注入后门操纵生成文本；ChatGPT在数字取证中能力有限且存隐私风险；GPT-4存在偏见、毒性、隐私泄露等可信度漏洞。
延伸解读
攻击隐蔽性成为评估重点
文章指出，BGMAttack 在欺骗文本分类器时，不仅效果与基准方法相当，而且更具隐秘性。这意味着后门攻击的评估不能只看攻击成功率，隐蔽性同样关键。对于防御方而言，仅检测异常输出可能不够，还需关注攻击是否在正常交互中难以察觉。
训练数据隐私风险已有实证
文章提到，以 GPT-2 为例的研究能够成功从训练数据中提取个人信息、代码等敏感信息。这提示我们，大语言模型的训练数据可能成为隐私泄露的源头。开发者在利用大规模语料训练模型时，需要提前考虑数据脱敏和访问控制，而用户也应意识到模型可能复现训练数据中的隐私内容。
数字取证应用需谨慎
文章评估了 ChatGPT 在数字取证中的能力，认为虽然存在一些低风险应用，但很多场景目前不适用，原因包括需要上传证据至服务端，或要求使用者具备足够知识以识别错误假设和不准确性。因此，在取证等敏感领域，ChatGPT 更适合作为辅助工具，而非独立决策者。
可信度漏洞涉及多个维度
文章提到，针对 GPT-4 和 GPT-3.5 的综合评估发现了种族偏见、毒性、隐私泄露等可信度威胁。这些漏洞表明，模型的安全问题不限于单一类型，而是涉及公平性、鲁棒性和伦理等多个方面。读者应关注模型在不同场景下的表现差异，而非仅依赖通用能力评测。
Q&A
BGMAttack 是什么？它有什么特点？
BGMAttack 是一种基于生成模型的后门攻击方法，用于攻击文本分类器。它能够有效欺骗目标模型，并且比基准方法更隐蔽。在五个数据集上的评估和三项人类认知评估中，其攻击效果与基准方法相当，但隐蔽性更强。
GPT-2 模型可能泄露哪些隐私信息？
通过查询语言模型进行训练数据提取的攻击方法，可以从 GPT-2 中成功提取训练数据中的个人信息、代码等敏感信息。这提示了训练数据的隐私和安全问题，需要进一步的技术防范措施。
BadGPT 攻击是如何实现的？
BadGPT 是第一种针对语言模型强化学习微调的后门攻击，它将后门注入奖励模型，导致生成的文本被攻击者操纵。初步实验在 IMDB 数据集上得到了验证。
ChatGPT 在数字取证领域有哪些应用限制？
ChatGPT 在数字取证领域存在一些潜在的低风险应用，但很多应用目前不适用，因为需要将证据上传至服务端，或者需要对所询问的话题具有足够的知识以识别错误的假设、不准确性和错误。对于合适的知识用户，在某些情况下，它可以作为一个有用的辅助工具。
GPT-4 存在哪些可信度漏洞？
GPT-4 存在种族偏见、毒性、对抗鲁棒性、越界鲁棒性、对抗演示的鲁棒性、隐私、机器伦理和公平性等方面的可信度威胁漏洞。例如，GPT 模型可以很容易地被误导生成有毒和有偏向性的输出并泄露私人信息。
大型语言模型在系统安全领域有哪些能力和限制？
大型语言模型（如 ChatGPT）在系统安全领域展现出强大的能力，包括生成代码、理解自然语言指令、推理程序的控制和数据流、生成复杂数据结构以及反汇编汇编代码等。GPT-4 在大多数安全任务中相较于 GPT-3.5 有显著改进，但也存在限制，例如处理长代码上下文的能力受限。
