宣布Mosaic AI Gateway的高级安全性和治理功能
内容提要
Mosaic AI Gateway引入了新的功能，用于使用跟踪、负载日志记录和防护措施，以增强AI模型的安全性和治理。它简化了对AI模型的访问，捕获使用和负载数据，并使AI模型与数据的连接变得容易。此次更新为敏感数据和流量提供了生产级别的安全性和治理。Mosaic AI Gateway已被OMV和Edmunds等公司采用。
延伸解读
统一接入如何降低多模型管理成本
企业常混合使用OpenAI GPT、Anthropic Claude、Meta Llama等模型，导致运营低效和成本超支。Mosaic AI Gateway通过单一接口（API、SDK、SQL）简化访问，让开发者无需更改客户端应用即可切换模型，并支持路由和流量拆分以进行A/B测试或负载分配。这减少了开发时间和集成成本，同时统一管理所有AI资产，包括传统模型、生成式模型、链和代理。
使用与负载日志对运维的实际价值
网关将流量数据捕获到Unity Catalog的Delta表中，包括端点使用表和推理表。使用表记录每个请求的请求者详情、使用统计和自定义元数据，有助于优化支出，例如对实验端点设置速率限制或为生产端点增加配额。推理表持续捕获原始输入、输出、HTTP状态码和延迟，可用于监控应用质量、调试问题，甚至作为微调模型的训练语料。所有数据在Unity Catalog中便于安全共享、搜索、可视化和分析。
防护措施如何实时保护敏感信息
Mosaic AI Gateway提供全面的防护措施，可在端点或请求级别设置，实时执行安全策略。安全过滤可拦截仇恨言论、侮辱、性内容、暴力等有害内容；PII过滤检测并阻止用户输入中的个人身份信息；关键词过滤阻止不希望的主题；主题过滤确保应用专注于训练范围，避免无关或高风险话题。所有数据记录在推理表中，可结合Lakehouse Monitoring跟踪模型安全性。
从通用智能到数据智能的路径
Mosaic AI Gateway构建在Databricks数据智能平台之上，使企业能通过RAG、代理工作流和微调等技术轻松将LLM连接到数据。客户已在使用Mosaic AI的向量搜索与外部模型创建嵌入，或利用代理框架和评估工具构建代理。这有助于将通用智能转化为可操作的数据智能，同时保持安全、合规和运营效率。
Q&A
Mosaic AI Gateway的主要功能是什么？
Mosaic AI Gateway提供了使用跟踪、负载日志记录和防护措施，增强AI模型的安全性和治理。
Mosaic AI Gateway如何提高AI模型的安全性？
它通过实施全面的安全措施和实时保护敏感信息来提高AI模型的安全性。
哪些企业正在使用Mosaic AI Gateway？
OMV和Edmunds等公司正在使用Mosaic AI Gateway来管理AI流量。
Mosaic AI Gateway如何简化对AI模型的访问？
它通过单一接口（API、SDK、SQL）简化了对任何大型语言模型的访问，减少了开发时间和集成成本。
Mosaic AI Gateway的监控功能有哪些？
它捕获所有流量的使用和负载数据，提供端点使用表和推理表以便于监控和调试。
Mosaic AI Gateway的防护措施包括哪些内容？
防护措施包括安全过滤、PII过滤、关键词过滤和主题过滤，以保护敏感信息和确保安全交互。
