Databricks
·
以95%的更低成本构建高质量的领域特定代理
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
高质量的GenAI代理需要持续评估，但大规模测试成本可能过高。Databricks的MLflow推出基于令牌的定价模型，降低评估成本约95%。新模型支持用户使用自定义模型进行评估，并提供透明的费用计算。同时，MLflow开源了行业特定的评估提示，提升评估效率。
🎯
关键要点
- 高质量的GenAI代理需要持续评估，但大规模测试成本可能过高。
- Databricks的MLflow推出基于令牌的定价模型，降低评估成本约95%。
- 新模型支持用户使用自定义模型进行评估，并提供透明的费用计算。
- MLflow的预定义评估工具自动评估正确性、可靠性、相关性、安全性和检索能力。
- 基于令牌的定价模型为每百万输入令牌收费0.15美元，每百万输出令牌收费0.60美元。
- MLflow开源了行业特定的评估提示，提升评估效率，适用于金融、医疗和技术文档等领域。
- 用户可以使用经过验证的评估提示，或根据特定用例进行调整。
- 用户可以将自己的模型（如OpenAI或Anthropic）集成到评估中，无需额外费用，只需支付模型使用费。
❓
延伸问答
MLflow的基于令牌的定价模型如何降低评估成本？
MLflow的基于令牌的定价模型将评估成本降低约95%，用户按每百万输入令牌0.15美元和每百万输出令牌0.60美元收费。
MLflow提供哪些自动评估指标？
MLflow自动评估的指标包括正确性、可靠性、相关性、安全性和检索能力。
用户如何使用自定义模型进行评估？
用户可以将自己的模型（如OpenAI或Anthropic）集成到评估中，只需支付模型使用费，无需额外费用。
MLflow开源的评估提示有什么优势？
MLflow开源的评估提示经过行业特定的优化，适用于金融、医疗和技术文档等领域，提升了评估效率。
MLflow的评估工具如何提高评估效率？
MLflow的预定义评估工具自动评估多个指标，减少了人工干预和重复工作，提高了评估效率。
MLflow的定价模型与传统模型相比有什么不同？
与传统模型的固定收费不同，MLflow的定价模型基于令牌使用量，提供了更大的灵活性和透明度。
➡️
