Databricks
·
推出具备新LLMOps功能的MLflow 2.7
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
MLflow 2.7更新支持大型语言模型的快速工程。新的快速工程UI允许业务利益相关者尝试不同的基础模型、参数和提示，以评估LLM项目的可行性。MLflow还添加了更多指标来帮助识别最佳的模型候选人。MLflow的快速工程UI与任何MLflow AI Gateway路由一起使用，允许组织集中管理和政策。用户可以尝试MLflow进行LLM开发。
🎯
关键要点
- MLflow 2.7更新支持大型语言模型的快速工程。
- 新的快速工程UI允许业务利益相关者尝试不同的基础模型、参数和提示。
- 用户可以通过交互式提示工程工具评估LLM项目的可行性。
- 可以自动跟踪提示工程实验，构建评估数据集并识别最佳模型候选人。
- MLflow评估API增加了更多指标，如毒性和困惑度，以帮助识别最佳模型。
- MLflow的快速工程UI与任何MLflow AI Gateway路由一起使用，集中管理和政策。
- AI Gateway路由支持OpenAI、Cohere、Anthropic和Databricks模型服务端点。
- 组织可以快速评估和实验开源模型，如MosaicML的Llama2-70b-chat。
- MLflow致力于支持和标准化LLM开发的常见工作流程。
➡️
