Flo Health如何借助Databricks AI Runtime打造更安全、更实用的开源模型
内容提要
Flo Health利用Databricks构建隐私优先、AI评审驱动的后训练流程，将医疗安全性从34%提升至约61%，实用性从42%提升至76%，综合评分从16%升至47%。团队通过AI评审和合成数据将医疗标准转化为训练信号，并在H100 GPU上微调开源模型，以降低推理成本并增强模型控制力。
延伸解读
医疗AI的双重目标：安全与实用
Flo Health将医疗安全视为基础，实用性视为目标。文章举例说明，对于“月经推迟”的提问，仅建议就医虽安全但实用性低，而只列举常见生活方式原因则可能遗漏严重病因。为此，Flo构建了包含26个AI评审的评估框架，将医疗风险分解为可测试的细则，如“平衡原因”规则，确保回答既提供有用信息又包含适当的安全提示。
AI评审与合成数据：降低专家标注依赖
传统微调需要临床专家逐条标注数据，成本高昂。Flo将专家精力集中在设计和校准评估系统上，利用AI评审作为奖励信号，并生成超过15,000个隐私优先的合成问题，无需人工标注回答。合成数据源自模型生成或匿名聚合信号，不涉及用户可识别信息。临床医生仍负责定义和验证安全标准，但不再需要手动标注每个训练对。
从安全门到分级评分：提升医疗安全性的关键调整
Flo最初采用二元安全门，但发现实用性提升而医疗安全停滞，因为偏好对未能区分医疗质量的程度。为此，团队引入分级安全评分，对通过安全门的回答根据医疗标准满足程度重新排序，生成具有更清晰医疗安全对比的偏好对。这一调整使医疗安全从34%提升至约61%，综合评分从16%升至47%。
成本与可控性：微调开源模型的经济性
Flo估计，使用定制微调模型可将推理成本降低一个数量级，相比依赖前沿模型API更具经济性，同时增强对模型行为和生命周期的控制。团队在32块NVIDIA H100 GPU上使用PyTorch和FSDP进行分布式训练，通过Databricks AI Runtime按需获取GPU算力，无需手动配置集群，从而将更多时间投入模型改进而非基础设施管理。
Q&A
Flo Health 为什么选择微调开源模型而不是直接使用通用大模型？
Flo Health 拥有 8100 万月活用户，对生成式 AI 的医疗安全性和实用性要求极高。依赖单一通用模型会带来成本、供应商生命周期依赖以及难以编码领域知识等限制。微调开源模型可以降低推理成本（估计降低一个数量级），并让 Flo 更好地控制模型行为与生命周期。
Flo Health 如何定义和衡量医疗安全性与实用性？
Flo 将医疗安全视为基础，实用性为目标。他们构建了评估框架，将医疗风险分解为具体评分标准（如“平衡原因”规则），并转化为 AI 评审。每个评审有定义、评分说明和训练案例，经过合成案例和匿名真实案例验证，并由临床评审员裁决分歧以确立 ground truth。最终框架包含 26 个评审，分属三个类别。
Flo Health 的后训练流程具体包含哪些步骤？
Flo 采用强化微调（RFT）方法，流程包括五个阶段：生成多个候选响应，使用评估系统评分并选择最佳响应，然后微调模型将质量编码到权重中。他们使用 Databricks AI Runtime、LLM Foundry 和 Compose-RL，在 32 块 NVIDIA H100 GPU 上运行 SFT 和 DPO。
Flo Health 如何生成训练数据并保护用户隐私？
Flo 使用隐私优先的合成数据，生成了超过 15,000 个合成问题，并创建训练对而无需人工标注响应。输入来自模型生成或匿名聚合信号，而非用户编写的自由文本或可识别信息。临床医生仍负责定义和验证“安全”的含义，但无需手动标注每个训练对。
微调后 Flo Health 的模型在医疗安全性和实用性上提升了多少？
微调后，医疗安全性从 34% 提升至约 61%，实用性从 42% 提升至 76%，综合评分从 16% 提升至 47%，接近初始水平的三倍。
Flo Health 如何解决初期微调中医疗安全性提升不明显的问题？
初期微调中，实用性提升但医疗安全性持平，因为偏好对未能充分区分医疗质量程度。Flo 通过添加分级安全评分解决：通过二元安全门的响应会根据满足医疗标准的彻底程度重新排序，从而创建具有更清晰医疗安全对比的偏好对。
