个人可识别信息检测器：在检索增强生成中的隐私黑客
内容提要
在DataStax总部的LlamaIndex RAG-A-THON活动中，参与者讨论了检索增强生成（RAG）技术的安全隐患，特别是个人可识别信息（PII）的处理。PII包括姓名、地址和财务信息，保护这些信息至关重要。文章介绍了Presidio，一个开源库，用于识别和匿名化PII，以确保数据安全。该项目最终获得RAG-A-THON的第三名。
延伸解读
RAG 中 PII 风险的双重来源
文章指出，RAG 的模型和向量数据库都可能成为 PII 泄露的渠道。模型在训练时可能接触真实数据，生成内容时可能无意间输出 PII；向量数据库若明文存储敏感信息，相似性搜索也可能检索到个人数据。因此，仅关注模型输出或仅加密数据库都不够，需要两端同时采取过滤、匿名化、加密和访问控制等措施。
Presidio 的检测优势与局限
Presidio 结合命名实体识别、正则表达式和规则逻辑，能识别信用卡号、IBAN、邮箱、IP 地址等传统 NER 模型容易遗漏的实体。在文章示例中，Presidio 检测出 12 个实体，而仅用 NER 的方案只检测出 8 个。但作者也提醒，没有万无一失的方案，用户仍需自行确保敏感数据被妥善匿名化。
匿名化一致性的实现细节
直接使用 Presidio 匿名化时，相同实体可能被替换为不同占位符，例如“Alice and Bob”变成“<PERSON> and <PERSON>”，导致语义丢失。作者通过添加计数器并维护原始值与掩码值的映射，确保同一实体在文本中多次出现时使用相同占位符，如“<PERSON_5>”，从而保持上下文一致性。
从项目到集成的实践意义
该项目在 RAG-A-THON 中获得第三名，并且 Presidio 已完全集成到 LlamaIndex 中作为后处理器。这意味着开发者可以直接在 RAG 流程中调用 Presidio 进行 PII 掩码，无需从零构建。文章提供的代码示例和集成方法，为需要在检索增强生成中处理敏感数据的团队提供了可复用的参考。
Q&A
什么是个人可识别信息（PII）？
个人可识别信息（PII）是指可以用来识别特定个人的信息，如姓名、地址、电话号码、电子邮件地址、社会安全号码和财务信息。
处理PII的重要性有哪些？
处理PII的重要性包括保护隐私、预防身份盗窃、法律合规、维护信任和声誉、财务安全以及国家安全问题。
RAG技术如何处理PII？
RAG技术的模型和向量数据库都需要处理PII，模型可能生成包含PII的内容，而向量数据库应使用加密、哈希和访问控制来保护敏感信息。
Presidio是什么，它的功能是什么？
Presidio是一个开源库，用于识别和匿名化PII，提供快速的识别和匿名化模块，支持文本和图像中的敏感信息处理。
如何使用Presidio进行PII检测和匿名化？
使用Presidio可以通过命名实体识别（NER）、正则表达式和基于规则的逻辑来检测PII，并允许用户自定义识别和匿名化机制。
在LlamaIndex中如何集成Presidio？
Presidio已完全集成到LlamaIndex中，作为后处理器使用，能够对输入文本进行PII的检测和匿名化。
