实测 LiteLLM 接入 Bedrock Guardrail 的四种配置,目标是输入侧仅检查用户输入、输出侧不检查。Proxy 模式会误查 system prompt 和 tool result,模型级 guardrailConfig 无法关闭输出检查。可行方案是自研两步调用:先用 ApplyGuardrail 单独检查用户输入,再发起不带 guardrailConfig 的模型请求,从架构上规避输出检查延迟。
亚马逊Bedrock Guardrail是一种安全机制,旨在确保AI生成内容符合道德和法律标准,通过监控和调整输出,防止不当内容,提高用户体验和信任度。
完成下面两步后,将自动完成登录并继续当前操作。