领域智能基准测试

大型语言模型快速发展，但现有学术基准无法全面评估其在特定领域的表现。

企业需要针对特定任务的评估，以选择合适的模型。

开发了领域智能基准套件（DIBS），专注于数据提取、工具使用和代理工作流等常见用例。

评估结果显示，学术基准与企业任务的表现存在显著差异，强调了领域特定测试的重要性。

模型在学术基准上的排名不一定与行业任务的排名相符，存在显著的性能差异。

开发者应根据具体需求选择模型，没有单一最佳模型。

DIBS专注于数据提取、工具使用和代理工作流三个常见企业用例。

评估了十四个流行模型在DIBS和三项学术基准上的表现。

学术基准可能掩盖企业性能差距，导致模型选择不当。

结构化数据提取（Text2JSON）任务存在显著的改进空间。

没有单一模型在所有任务中表现优异，模型选择应基于任务需求。

开源模型在某些高频企业用例中表现良好，但仍需改进。

在功能调用任务中，高质量的检索可能比更大的上下文窗口更有价值。

继续投资于更全面的企业基准测试系统，以满足客户需求。