Concurrence 如何借助 Unity Gateway 在万亿级 token 规模下治理临床 AI
内容提要
Concurrence 在 Databricks 上构建医疗 AI 的统一数据与治理基础，月处理约 1008 亿输入 token、1120 万次 LLM 调用，较 2025 年底增长约 5 倍。其以不可变事件构建患者“世界模型”，用 Unity Catalog 治理数据、Lakebase 管理状态、Unity Gateway 统一 AI 访问。所有代理先经模拟患者测试，评估流量达生产 7 倍。合规优先于成本，已符合 HIPAA、GDPR 和 SOC 2。
延伸解读
合规优先的模型路由策略
Concurrence 将合规要求置于成本考量之前：模型必须首先满足工作负载的合规要求，才会进一步评估质量、性能或成本。其端点解析器仅允许 BAA 覆盖命名空间内的模型，防止 PHI 被路由到未覆盖的模型。这一架构约束同样保护了自残、自杀意念和医疗紧急情况的安全分类工作负载，确保最高风险的 AI 应用始终运行在合规路径上。
不可变事件与患者世界模型
医疗数据常存在冲突，最新值未必最可靠。Concurrence 将新信息记录为不可变事件而非覆盖现有记录，并据此计算当前患者状态，同时保留每项信息的来源和出处，形成“世界模型”。这为代理提供了一致且可追溯的患者视图，并支持将患者和临床医生反馈的信息回写到状态中，供未来工作流使用。
模拟患者测试与评估流量
每个代理在接触真实患者前都需经过模拟患者测试。目前模拟和评估流量约为新平台生产流量的 7 倍。由于患者状态由不可变事件历史计算得出，团队可以重放状态并测试不同路径，而不改变真实患者记录。代理轨迹通过 Zerobus Ingest 流入 Delta 表，与临床数据一同被 ai_query 作业评分，用于评估对话质量和安全性。
开发者 AI 的统一治理与成本可见性
Concurrence 将所有编码代理的模型和工具流量通过 Unity Gateway 的编码 CLI（ug）路由，为开发者提供受治理的单一访问路径，同时将每个请求关联到发起者身份。MCP 访问按工程师组集中管理，用户需单独认证。7 月，14 名用户通过 Unity Gateway 生成了 358.5 亿输入 token，其中 95.37% 为缓存读取。组织可通过系统表跟踪模型使用、token 消耗、缓存率和支出。
Q&A
Concurrence 的临床 AI 系统目前处理多大规模的数据？
Concurrence 每 30 天处理约 1008 亿输入 token 和 1120 万次 LLM 调用，年化约 1.2 万亿输入 token。月度 token 量较 2025 年底基线增长约 5 倍。
Concurrence 如何构建患者的“世界模型”？
Concurrence 将新信息记录为不可变事件而非覆盖现有记录，从事件历史中计算当前患者状态，同时保留每条信息的来源和出处，形成所谓的“世界模型”。
Concurrence 如何确保 AI 代理在上线前安全可靠？
每个代理在接触真实患者前都针对模拟患者进行测试。模拟和评估流量约为生产流量的 7 倍。由于患者状态由不可变事件历史计算，团队可以重放状态并测试不同路径，而不改变真实患者记录。
Concurrence 在合规方面采取了哪些措施？
Concurrence 已符合 HIPAA、GDPR 和 SOC 2，HITRUST 和 ISO 27001/42001 正在推进中。每个医疗组织拥有独立的 schema 和服务主体，访问控制、血缘和审计跟踪通过 Unity Catalog 治理。模型路由先满足合规要求，再考虑成本。
Concurrence 如何管理开发者使用的编码代理？
所有编码代理的模型和工具流量都通过 Unity Gateway 的编码 CLI（ug）路由。开发者获得统一的受治理路径访问批准的模型和 MCP 工具，每个请求关联到发起者身份。MCP 访问按工程师组分配权限，用户单独认证。
Concurrence 的模型路由策略是什么？
路由先经过合规门控，再考虑成本。模型必须首先满足工作负载的合规要求，然后才评估质量、性能或成本。目前有 14 个模型用于生产推理，46 个模型在受治理目录中。
