Genie结合Genie Ontology：准确率提升1.6倍，Token用量不到一半
内容提要
Databricks与Turing合作开发企业数据智能体基准，在真实Databricks工作区对比Genie与两个前沿智能体。Genie借助Genie Ontology理解企业业务知识，正确率达91%，另两者仅45%和58%；速度分别快4倍和3倍，token用量不到一半。该基准包含笔记本、仪表板、SQL查询等企业知识资产，更贴近真实场景，表明上下文对企业数据智能体至关重要。
延伸解读
基准设计更贴近真实企业环境
该基准不仅包含数据表，还纳入了笔记本、仪表板、保存的SQL查询、文档等分析资产，模拟了真实企业数据团队的工作环境。这些资产承载了业务定义、计算规则等关键上下文，而仅靠表结构无法获得。因此，该基准能更真实地评估智能体发现和利用分散知识的能力，而非仅测试表查询。
上下文层是性能差距的关键
Genie借助Genie Ontology自动提取并组织企业知识，在回答问题时提供相关上下文。对比中，Genie正确率达91%，而两个前沿智能体仅45%和58%，且Genie速度快3-4倍、token用量不到一半。这表明在复杂企业任务中，模型本身能力趋同，能否高效获取正确上下文成为决定因素。
历史业务规则示例揭示难点
基准中一个任务要求找出某历史规划费率。表中当前值反映的是新假设，而正确值记录在构建表的笔记本中。Genie Ontology检索到该笔记本并返回正确历史费率，其他智能体则未能区分。这说明企业问题常需理解数据背后的业务规则和历史变更，仅靠表数据容易出错。
适用条件与局限性
该基准针对已积累工作区知识、数据受Unity Catalog治理的Databricks部署。对于新建部署或问题可直接从表结构回答的场景，智能体间差异可能较小。因此，Genie的优势在知识密集、资产丰富的环境中更明显，读者需结合自身数据成熟度评估其适用性。
Q&A
Genie在Databricks企业数据智能体基准测试中的准确率是多少？与其他前沿智能体相比如何？
Genie的准确率达到91%，而前沿智能体A和B分别只有45%和58%。Genie的准确率显著更高，比Agent A高46个百分点，比Agent B高33个百分点。
Genie在速度和Token用量方面相比其他智能体有什么优势？
Genie的速度比Agent A快4倍，比Agent B快3倍；同时Token用量不到其他智能体的一半。这得益于Genie Ontology能更高效地识别和推理相关企业上下文。
这个企业数据智能体基准测试与以往的数据智能体基准有什么不同？
以往基准通常只包含表格和构建表格的管道代码，而该基准还包含了笔记本、仪表板、保存的SQL查询、文档等分析资产，这些资产捕获了企业知识、业务定义和计算规则，更贴近真实企业场景。
Genie Ontology是什么？它如何帮助Genie提升性能？
Genie Ontology是企业上下文层，为每个AI智能体提供对业务的共享理解。它自动提取并组织企业知识，为Genie提供相关上下文，使其能高效推理并正确回答业务问题。
基准测试中的任务示例如何体现企业上下文的重要性？
例如，一个任务要求找出Calderwick Energy历史商业规划费率。表格中显示0.31便士/千瓦时，但构建该表的笔记本中记录了历史费率0.52便士/千瓦时。Genie通过Genie Ontology找到该笔记本并返回正确历史费率，而其他智能体仅返回表格中的当前值。
在哪些情况下Genie与其他智能体的性能差异可能较小？
在新部署且尚未积累工作区知识的环境中，或者当问题可以直接从表格和模式中回答时，智能体之间的差异可能较小。这解释了为何其他现有基准显示较小差异。
