Databricks
·
以95%的更低成本构建高质量的领域特定代理
内容提要
高质量的GenAI代理需要持续评估，但大规模测试成本可能过高。Databricks的MLflow推出基于令牌的定价模型，降低评估成本约95%。新模型支持用户使用自定义模型进行评估，并提供透明的费用计算。同时，MLflow开源了行业特定的评估提示，提升评估效率。
关键要点
-
高质量的GenAI代理需要持续评估，但大规模测试成本可能过高。
-
Databricks的MLflow推出基于令牌的定价模型，降低评估成本约95%。
-
新模型支持用户使用自定义模型进行评估，并提供透明的费用计算。
-
MLflow的预定义评估工具自动评估正确性、可靠性、相关性、安全性和检索能力。
-
基于令牌的定价模型为每百万输入令牌收费0.15美元，每百万输出令牌收费0.60美元。
-
MLflow开源了行业特定的评估提示，提升评估效率，适用于金融、医疗和技术文档等领域。
-
用户可以使用经过验证的评估提示，或根据特定用例进行调整。
-
用户可以将自己的模型（如OpenAI或Anthropic）集成到评估中，无需额外费用，只需支付模型使用费。
延伸解读
降低评估成本的意义
MLflow推出的基于令牌的定价模型使得高质量GenAI代理的评估成本降低约95%。这一变化不仅减轻了企业在大规模测试中的经济负担，还使得更多公司能够进行频繁的评估，从而提高代理的性能和可靠性。
开源评估提示的优势
MLflow开源的行业特定评估提示为用户提供了经过验证的工具，帮助他们在金融、医疗等领域快速进行有效评估。这种共享资源可以减少重复劳动，提升团队的工作效率，尤其是在需要针对特定领域进行调整时。
集成自定义模型的灵活性
MLflow允许用户将自己的模型集成到评估中，这为企业提供了更大的灵活性。用户可以根据自身需求选择最适合的模型进行评估，而无需承担额外的费用，这有助于企业在保持成本效益的同时，提升评估的准确性和相关性。
延伸问答
MLflow的基于令牌的定价模型如何降低评估成本？
MLflow的基于令牌的定价模型将评估成本降低约95%，用户按每百万输入令牌0.15美元和每百万输出令牌0.60美元收费。
MLflow提供哪些自动评估指标？
MLflow自动评估的指标包括正确性、可靠性、相关性、安全性和检索能力。
用户如何使用自定义模型进行评估？
用户可以将自己的模型（如OpenAI或Anthropic）集成到评估中，只需支付模型使用费，无需额外费用。
MLflow开源的评估提示有什么优势？
MLflow开源的评估提示经过行业特定的优化，适用于金融、医疗和技术文档等领域，提升了评估效率。
MLflow的评估工具如何提高评估效率？
MLflow的预定义评估工具自动评估多个指标，减少了人工干预和重复工作，提高了评估效率。
MLflow的定价模型与传统模型相比有什么不同？
与传统模型的固定收费不同，MLflow的定价模型基于令牌使用量，提供了更大的灵活性和透明度。
