内容提要
Databricks的资金工程团队通过引入运营主管和实施策略,实现了运营效率翻倍。他们减少了运营成本、缓解时间、解决时间、监控差距、事件量和待修复项目。团队从混乱状态转变为精简状态,警报减少,有更多时间用于项目。他们还通过主动监控和噪声减少提高了效率。团队注重精确性和实用性,专注于高投资回报率的任务。他们在转型中培养了耐力和一致性,并利用集体努力实现卓越运营。他们还开发了工具以提升运营实践,并促进了持续改进的文化。
延伸解读
Ops Czar:从共同责任到单一所有权
Databricks资金团队引入Ops Czar角色,将运营责任从分散的共享模式转变为单一所有权点。这一改变消除了低效,使团队能专注于高投资回报率任务,并敢于承担风险。Ops Czar作为变革推动者,成功将团队文化从受害者心态转变为赋权所有权,为后续效率提升奠定基础。
低质量警报与无警报同样有害
团队发现,频繁的噪声警报会消耗工程师有限的注意力和工作时间,导致上下文切换,削弱处理严重事件的能力。他们果断消除了数百个低质量警报,认为其危害等同于没有警报。释放出的资源被重新用于关闭监控缺口、偿还技术债务和改进工具,从而显著提升了运营健康度。
务实度量:KTLO成本的简化追踪
精确量化工程师在运营任务上的时间(KTLO成本)成本高昂。团队采用务实方法:每人每周花一分钟记录运营任务天数估计。虽然不精确,但20人三个月的数据聚合后提供了有价值洞察,例如揭示了KTLO成本与噪声警报比例之间的强相关性,指导了降噪决策。
集体努力与持续改进的文化
团队通过改进值班交接流程,确保问题持续跟踪,并鼓励每位成员每周至少完成一项减少噪声、弥补监控缺口或改进手册的任务。每周运营回顾会表彰贡献,展示指标改善,强化了集体所有权。这种文化转变使值班工作变得更有意义,并最终推动了跨团队的统一运营健康仪表板建设。
Q&A
Databricks资金团队如何提高运营效率?
通过引入运营主管和实施策略,Databricks资金团队实现了运营效率翻倍,减少了运营成本和时间。
引入运营主管对团队文化有什么影响?
引入运营主管改变了团队文化,从受害者心态转变为赋权所有权,增强了团队的责任感。
Databricks资金团队在减少运营成本方面取得了哪些具体成果?
团队成功减少了50%的总运营成本,57%的缓解时间,28%的解决时间,以及64%的事件量。
团队如何处理监控噪声以提高效率?
团队通过消除低质量警报和主动监控,减少了噪声,提高了响应能力和效率。
在转型过程中,团队如何培养耐力和一致性?
团队通过强调集体努力和共同成功,培养了耐力和一致性,确保每个成员都参与到持续改进中。
Databricks资金团队开发了哪些工具来提升运营实践?
团队开发了生成式AI推荐系统和事件回放可视化工具,以提升监控和事件管理的效率。