FactSet 如何借助 Databricks AI Runtime 将模型训练和部署时间从数天缩短至数小时
内容提要
FactSet 的 Text-to-Formula 系统将自然语言转换为 FactSet 查询语言，最初依赖 RAG，但复杂查询效果不佳。团队改用微调开源模型，每两到三周重新训练一次。借助 Databricks AI Runtime 的无服务器 GPU，无需配置基础设施，训练部署周期从数天缩短至数小时，并保持数据治理与 MLflow 实验追踪。
延伸解读
从RAG到微调：质量瓶颈的突破
FactSet的Text-to-Formula系统最初依赖检索增强生成（RAG），但随着查询复杂化，RAG在准确性和延迟上遇到瓶颈。团队转向微调开源模型，让模型学习FQL的结构和模式，而非仅靠推理时检索。这一转变使端到端延迟降低约60%，并提升了复杂查询的处理质量。
高频重训对基础设施的挑战
FactSet每两到三周重新训练一次模型，以纳入新数据。这种频率下，手动配置GPU环境会显著拖慢开发周期。不同模型、提示长度和输出特性需要不同的计算配置，固定GPU设置难以适应快速实验。因此，无服务器GPU成为支撑高频迭代的关键。
无服务器GPU与治理工作流的整合
借助Databricks AI Runtime，FactSet在无服务器GPU上运行微调，无需预先配置底层环境。训练工作流与数据、实验、模型管理和治理同在Databricks平台，使用MLflow追踪实验，数据保持在Lakehouse治理内。这使设置、训练和部署周期从数天缩短至数小时。
保持模型选择灵活性的意义
开源模型迭代迅速，当前平衡质量、延迟和成本的模型可能半年后就不再最优。FactSet将模型选择视为持续评估的过程，而非永久决定。通过可复用的微调管道，团队能快速测试新模型，并将工程精力转向模型选择、训练方法和效果验证，而非基础设施准备。
Q&A
FactSet 的 Text-to-Formula 系统是做什么的？
FactSet 的 Text-to-Formula（TTF）系统将投资专业人士的自然语言请求转换为正确的 FactSet 查询语言（FQL）公式。
为什么 FactSet 从 RAG 转向微调开源模型？
最初 TTF 基于 RAG，但随着使用量增长，查询变得更专业、公式更复杂，RAG 方法遇到了质量瓶颈。FactSet 开始将微调开源模型纳入其复合 AI 架构，让团队能够基于 FQL 的结构和模式训练模型，而不是在推理时主要依赖检索。
FactSet 多久重新训练一次 TTF 模型？
FactSet 团队大约每两到三周微调一次模型。
Databricks AI Runtime 如何帮助 FactSet 缩短模型训练和部署时间？
Databricks AI Runtime 提供无服务器 GPU 基础设施，工程师可以根据特定训练运行的需求选择计算资源，而无需预先配置底层 GPU 环境。这使 FactSet 能够将设置、训练和部署自定义 TTF 模型的时间从数天缩短到数小时。
FactSet 如何确保模型训练过程中的数据治理和实验追踪？
TTF 的训练工作流与已在 Databricks 上运行的数据、实验、模型管理和治理并存。FactSet 使用 MLflow 跟踪模型开发和实验，同时底层数据在现有的 Lakehouse 环境中受到治理。使用 AI Runtime 运行微调可将 GPU 训练保留在该工作流内，工程师可以使用受治理的数据、训练新模型、跟踪生成的工件并走向部署，而无需维护单独的 GPU 堆栈。
FactSet 的 TTF 系统未来有哪些发展方向？
TTF 正变得更加专业化。随着 FactSet 积累更多数据，团队正在探索针对查询分解、组件提取和库识别等任务的额外微调模型。这创造了更多机会为工作流的每个部分使用最适合的模型，但也使得快速、可重复的训练变得更加重要。
