Databricks
·
通过自动化提示优化构建最先进的企业代理，成本降低90倍
内容提要
Databricks Agent Bricks是一个企业AI代理构建与优化的平台。通过自动化提示优化技术，gpt-oss-120b模型在信息提取任务中超越了Claude Opus 4.1，且服务成本低90倍。此外，该技术还提升了其他专有模型的性能，提供了优于监督微调的质量-成本平衡，适合企业应用。
关键要点
-
Databricks Agent Bricks是一个企业AI代理构建与优化的平台。
-
gpt-oss-120b模型在信息提取任务中超越了Claude Opus 4.1，且服务成本低90倍。
-
自动化提示优化技术提升了其他专有模型的性能，提供了优于监督微调的质量-成本平衡。
-
信息提取（IE）是Agent Bricks的核心功能，将非结构化源转换为结构化记录。
-
IE Bench是一个全面的评估套件，涵盖多个真实企业领域，反映复杂的现实挑战。
-
gpt-oss-120b是IE Bench上表现最好的开源模型，超越了之前的开源性能。
-
gpt-oss-120b的服务成本仅为gpt-5的10%，Claude Sonnet 4的20%和Claude Opus 4.1的90%。
-
自动化提示优化通过结构化搜索和反馈信号来提高模型性能。
-
使用Claude Sonnet 4作为优化器时，gpt-oss-120b的性能显著提升。
-
GEPA优化的gpt-oss-120b超越了Claude Opus 4.1的基线性能。
-
自动化提示优化在所有模型的基线性能中提供了显著的性能提升。
-
与监督微调（SFT）相比，GEPA优化提供了更优的质量-成本权衡。
-
在大规模请求下，优化的成本相对较低，长期成本分析显示gpt-oss-120b的生命周期成本最低。
-
Agent Bricks的核心原则是帮助企业构建能够准确推理的数据代理，达到领域特定任务的最佳质量和成本效率。
延伸解读
自动化提示优化的优势
自动化提示优化技术通过结构化搜索和反馈信号，显著提升了模型性能。这种方法不仅提高了开源模型gpt-oss-120b的表现，使其超越了多款专有模型，还降低了服务成本。这一技术的应用，尤其适合需要高效信息提取的企业场景，能够在保证质量的同时，降低运营开支。
信息提取的挑战与解决方案
信息提取（IE）在企业应用中面临诸多挑战，如文档复杂性和标签不一致性。为应对这些问题，Databricks开发了IE Bench评估套件，旨在真实反映企业在信息提取中的困难。通过优化模型性能，企业能够更有效地将非结构化数据转化为结构化记录，提升工作效率。
与监督微调的比较
与传统的监督微调（SFT）相比，自动化提示优化提供了更优的质量-成本平衡。研究表明，GEPA优化不仅在性能上与SFT相当，甚至在某些情况下超越了SFT，同时降低了服务成本。这使得企业在选择优化方案时，能够更灵活地考虑成本与性能的权衡。
延伸问答
Databricks Agent Bricks的主要功能是什么？
Databricks Agent Bricks是一个企业AI代理构建与优化的平台，专注于信息提取和优化企业工作流程。
gpt-oss-120b模型在信息提取任务中的表现如何？
gpt-oss-120b模型在信息提取任务中超越了Claude Opus 4.1，并且服务成本低90倍。
自动化提示优化技术的优势是什么？
自动化提示优化技术通过结构化搜索和反馈信号提高模型性能，提供优于监督微调的质量-成本平衡。
信息提取（IE）在企业中的重要性是什么？
信息提取将非结构化源转换为结构化记录，对于处理复杂文档和提高数据利用效率至关重要。
与监督微调相比，GEPA优化的成本效益如何？
GEPA优化提供了更优的质量-成本权衡，性能与监督微调相当，但服务成本降低了20%。
如何评估AI代理的性能？
通过IE Bench评估套件，涵盖多个真实企业领域，反映复杂的现实挑战，提供可靠的性能测量。
