内容提要
文章探讨如何让Genie One正确理解企业业务定义。同一“赔付率”在财务、承保、准备金部门定义不同,答案各异却都正确。实验构建四个Genie代理,仅用表准确率64%,加入精选代理或治理层各达83%,二者结合升至93–95%。治理层通过Metric Views和Pages统一关键定义,减少对无关页面的依赖,并抵御误导性文档。结论:应保留精选代理并在其下增设治理层,集中管理定义,同时定期通过Genie One测试。
延伸解读
治理层与精选代理的分工
实验显示,仅用表准确率为64%,加入精选代理或治理层各达83%,但两者擅长的领域不同:精选代理提升文档类回答,治理层提升业务定义类回答。二者结合后准确率升至93–95%。这说明企业不应只依赖代理或只建治理层,而应保留精选代理,并在其下增设治理层,让定义和文档各司其职。
路由不确定性下的设计原则
Genie One 可能直接回答,也可能路由到代理,且路由比例在两次运行中从74%波动到19%。没有治理层时,路由决定答案对错;有了治理层,无论走哪条路径,定义都一致。因此,关键是把每个定义放在所有路径都能访问的位置,并通过 Genie One 多次测试,而不是假设路由会稳定。
集中定义与代理维护的平衡
将定义移入 Metric Views 和 Pages 后,修改承保赔付率定义只需更新一处,12个相关问题全部使用新定义。但代理内部仍保留旧公式,直接询问代理时92%的回答仍用旧定义。这说明集中化减少重复,但代理中残留的逻辑仍需单独维护,不能完全放任。
文档与数据限制的可见性
没有代理时,文档类问题准确率下降,因为 PDF 仅通过代理内容搜索提供;同时 Genie One 会预测2027年赔付率,尽管表描述和代理指令已说明数据不覆盖该年份,但 Metric Views 上没有此限制。这提示治理层不仅要统一定义,还应承载数据可用性等约束,避免 Genie One 在直接回答时忽略限制。
Q&A
为什么同一个“赔付率”在不同部门会得到不同但都正确的答案?
因为各部门使用不同的业务定义:财务按日历年净再保险跟踪,承保按保单年度毛再保险且剔除巨灾,准备金则用事故年最终赔付率。这些定义各自适用于不同目的,所以答案不同但都正确。
Genie One 仅使用表、仅使用精选代理或仅使用治理层时准确率分别是多少?
仅使用表时准确率为64%;仅使用精选代理或仅使用治理层时各达到83%;两者结合后准确率升至93–95%。
治理层是如何帮助 Genie One 提高定义类问题准确率的?
治理层通过 Unity Catalog 中的认证 Metric Views 和 Pages 提供权威定义,并组织在 Domain/Subdomain 下。这减少了 Genie One 对其他项目 Pages 的依赖(从49%降至11%),使所有定义问题都回答正确。
在实验中,植入的误导性文档对 Genie One 的答案有影响吗?
没有影响。没有任何配置下的答案报告了注入的供应商通讯中55%的赔付率,也没有使用储备委员会纪要草稿中的数字。治理层帮助抵御了误导性文档。
当业务定义需要更新时,有治理层和没有治理层的工作量有何不同?
有治理层时,只需更新对应的 Metric View 和 Page,所有通过 Genie One 的答案都会使用新定义,且不影响其他定义。没有治理层时,需要在多个代理的指令中查找并修改公式(例如七个地方),工作量大且容易遗漏。
Genie One 在回答问题时,是如何决定使用治理层还是路由到代理的?
Genie One 可以自主选择使用治理层的 Metric Views、Pages 等,或将问题路由到相关代理。如果找不到合适匹配,它会搜索工作区,根据常用表或历史对话推断数据。路由不是确定性的,但有治理层时,无论直接回答还是路由,都能得到一致的正确结果。
在零售业的重复实验中,治理层对准确率有何影响?
在零售实验中,仅使用精选代理时整体准确率约一半,定义准确率仅31%。加入治理层后,定义准确率跃升至100%,整体准确率提高到82%。