Amazon Bedrock 防护机制现在可以检测幻觉并保护使用自定义或第三方 FM 构建的应用程序
内容提要
Amazon Bedrock防护机制可根据应用程序要求和公司AI政策实施防护措施，防止不良内容、提示攻击和保护隐私。MAPFRE保险公司使用该机制确保聊天机器人符合安全政策和负责任的AI实践。新增功能包括上下文基准检查和ApplyGuardRail API，提高响应质量和保护应用程序。防护机制已在re:Invent 2023上发布，并支持四种防护措施。
延伸解读
幻觉检测的实用价值
上下文基准检查作为第五种防护措施，专注于检测模型响应中的幻觉。它通过基准和相关性两个参数，分别评估响应是否基于参考源以及是否与用户查询相关。这有助于在RAG、摘要等场景中过滤不准确信息，提升响应质量。例如，在金融等对准确性要求高的领域，可设置较高阈值以减少错误。
跨平台防护的灵活性
ApplyGuardRail API 允许对自定义和第三方基础模型应用统一的防护措施，无论这些模型部署在何处。这解决了多模型环境下安全策略不一致的问题，使企业能够集中管理生成式AI应用程序的防护，而无需考虑底层基础设施。同时，它支持在应用程序的不同阶段独立评估输入和输出，提高了开发灵活性。
阈值调整与风险平衡
上下文基准检查的基准和相关性阈值需要根据具体用例的准确性容忍度进行调整。阈值越高，被阻止的响应越多，可能影响用户体验；阈值过低，则可能放行不准确信息。文章建议金融等面向客户的应用程序采用较高阈值，以降低不准确内容带来的风险。用户应在测试中试验不同组合，找到平衡点。
Q&A
Amazon Bedrock 防护机制的主要功能是什么？
Amazon Bedrock 防护机制可以防止不良内容、阻止提示攻击并保护隐私，支持多种防护措施。
MAPFRE 保险公司如何使用 Amazon Bedrock 防护机制？
MAPFRE 使用该机制确保其聊天机器人符合安全政策和负责任的 AI 实践，过滤有害内容并保护个人数据。
上下文基准检查的作用是什么？
上下文基准检查用于检测模型响应中的幻觉，提高响应的准确性和质量。
ApplyGuardRail API 有什么新功能？
ApplyGuardRail API 允许对自定义和第三方 FM 应用标准化的防护措施，增强了应用程序的灵活性。
Amazon Bedrock 防护机制支持哪些防护措施？
支持四种防护措施：被拒绝的主题、内容过滤器、敏感信息过滤器和文字过滤器。
如何配置上下文基准检查的阈值？
可以通过设置基准和相关性阈值来配置上下文基准检查，以控制模型响应的准确性。
