从后训练到生产：TinyFish如何在Databricks AI Runtime上运行其网络原生模型
内容提要
TinyFish在Databricks上构建了专用网络原生模型的训练、评估与部署流程，用于企业级网页智能体。模型采用监督微调并转向DPO，通过AI Runtime使用GPU，MLflow评估完整任务成功率，Model Serving负责生产部署。内部基准显示2178项任务成功1691项，成功率77.6%；15天内运行29万余次，单次成本约0.088美元。
延伸解读
评估以完整任务成功率为准
TinyFish 不评估单个模型响应，而是评估整个网页智能体是否成功完成任务。其内部基准包含 2178 项任务，成功 1691 项，成功率 77.6%。由独立的 LLM 评判员审查原始请求、动作历史和最终结果，只有完全满足要求才算通过，部分完成或错误答案均计为失败。这种评估方式更贴近实际业务需求，能真实反映模型对智能体整体性能的影响。
生产部署与成本效益
TinyFish 通过 Databricks Model Serving 部署生产模型，包括搜索重排序器和查询重写器。在最近 15 天内，其网络原生模型处理了 294,781 次智能体运行，涉及 640 万次工具步骤。模型服务成本约为每次运行 0.088 美元，每次工具步骤 0.0040 美元。这些数据仅反映模型服务成本，不包括完整智能体堆栈，但为团队提供了跟踪服务经济性的一致方式。
从监督微调到 DPO 的演进
TinyFish 最初使用监督微调进行后训练，并正在转向直接偏好优化（DPO）。团队在 Databricks AI Runtime 管理的 GPU 上运行这些工作负载，使研究人员无需自行运营训练平台。训练与评估紧密相连，评估结果可指导后续后训练。随着模型发展，团队计划探索更大规模的训练工作负载，但底层工作流程保持一致，确保从评估到部署的路径顺畅。
统一平台减少工程负担
TinyFish 将后训练、评估和生产服务整合在 Databricks 上，避免为每个阶段构建独立堆栈。AI Runtime 提供托管 GPU 基础设施，MLflow 支持评估，Model Serving 负责生产部署。此外，团队通过 Unity Gateway 集中管理外部基础模型的访问、成本跟踪和治理。这种整合让工程师能专注于模型和产品行为，而非管理 GPU 基础设施或在系统间移动数据。
Q&A
TinyFish 如何利用 Databricks 进行模型后训练？
TinyFish 使用 Databricks 的 AI Runtime 提供托管 GPU 基础设施，进行监督微调，并正在转向直接偏好优化（DPO）。研究人员无需自行运营独立的训练平台。
TinyFish 如何评估其网络原生模型？
TinyFish 通过 MLflow 评估整个智能体是否成功完成任务，而非仅评估单个模型响应。内部基准显示，在 2178 项任务中成功完成 1691 项，任务成功率为 77.6%。
TinyFish 的网络原生模型在生产中的表现如何？
在最近 15 天内，TinyFish 记录了 294,781 次涉及该模型的智能体运行，覆盖 640 万个工具步骤。模型服务成本约为每次运行 0.088 美元，每个工具步骤 0.0040 美元。
TinyFish 为什么选择 Databricks 来构建模型开发生命周期？
Databricks 提供了统一的平台，集成了 AI Runtime 的 GPU 训练、MLflow 的评估和 Model Serving 的生产部署，避免了为每个阶段构建独立系统，让团队能更专注于模型和产品改进。
TinyFish 的网络原生模型与通用基础模型有何不同？
通用基础模型仍在 TinyFish 的智能体架构中扮演重要角色，但网络原生模型是专门针对网络智能体任务优化的，使 TinyFish 能够针对产品实际需要的任务进行开发和评估，而不完全依赖外部基础模型 API。
TinyFish 如何管理外部基础模型的访问？
TinyFish 通过 Unity Gateway 集中管理外部基础模型的访问，实现统一的成本跟踪、密钥管理和治理，随着智能体栈的扩展，提供更一致的模型流量管理方式。
