FactSet如何通过Databricks和MLflow实施企业生成式AI平台
内容提要
FactSet选择Databricks作为其AI框架，通过将AI整合到其平台中，旨在提升客户工作流程和体验。通过利用Databricks Mosaic AI和MLflow，FactSet在数据准备和开发方面提高了效率，实现了更好的治理和血统追踪，并简化了模型服务。FactSet在代码生成和文本转公式等项目中成功实施了Databricks，从而提高了性能和准确性。Databricks的采用使FactSet能够普及先进的AI工作流程，并为不同团队和业务部门提供模型选择的能力。
延伸解读
从碎片化到标准化：FactSet的GenAI平台演进
FactSet早期GenAI采用面临工具碎片化、协作障碍和重复开发等问题。2023年底，FactSet选择Databricks作为企业ML/AI平台，标准化LLM/AI应用开发。这一转变解决了数据孤岛、治理模型多样性和缺乏数据血统等挑战，为后续规模化应用奠定基础。
治理与血统：Unity Catalog的关键作用
Unity Catalog帮助FactSet解决了数据孤岛、治理模型多样性和缺乏数据血统的问题。通过层次化目录和细粒度治理，实现了数据、模型等资产的隔离和审计，使应用所有者能更好地理解数据生命周期和下游查询模式，为GenAI应用提供可解释性。
性能提升：微调开源模型降低延迟
FactSet在Mercury代码生成组件中，通过微调meta-llama-3-70b和DBRX等开源模型，将平均用户请求延迟降低超过70%。在文本转公式项目中，通过微调模型将端到端延迟降低约60%，同时保持高准确性。这些案例展示了开源模型微调在性能和成本上的优势。
模型选择与成本优化：平衡商业与开源
FactSet的技术目标是支持模型选择，采用适合工作的模型。通过Databricks Mosaic AI，FactSet能够服务多种模型，包括商业模型和开源模型。成本分析显示，微调开源模型可显著降低推理成本，如Transcript Chat产品的年度成本分析所示。这使团队能在准确性、性能和成本间取得平衡。
Q&A
FactSet为什么选择Databricks作为其AI框架？
FactSet选择Databricks是为了提升客户工作流程和体验，并通过整合AI来提高数据准备和开发效率。
FactSet的Mercury计划有什么目标？
Mercury计划旨在通过定制的大型语言模型提升用户体验，支持新用户和现有用户。
Databricks Mosaic AI如何提高FactSet的工作效率？
Databricks Mosaic AI通过简化数据准备和模型服务，提升了开发效率和治理能力。
FactSet在早期GenAI采用中面临哪些挑战？
早期GenAI采用中，FactSet面临缺乏标准化LLM开发平台、协作障碍和重复工作等挑战。
Unity Catalog在FactSet的AI平台中起什么作用？
Unity Catalog解决了数据孤岛和治理模型多样性的问题，提供了数据和模型的层级管理和审计能力。
FactSet如何通过Databricks实现模型选择的能力？
FactSet通过在Databricks上标准化LLM/AI应用的开发，使不同团队能够选择适合工作的模型。
