从持续救火到创新:Databricks资金团队如何在一年内将运营负担减半!

从持续救火到创新:Databricks资金团队如何在一年内将运营负担减半!

💡 原文英文,约1900词,阅读约需7分钟。
📝

内容提要

Databricks的资金工程团队通过引入运营主管和实施策略,实现了运营效率翻倍。他们减少了运营成本、缓解时间、解决时间、监控差距、事件量和待修复项目。团队从混乱状态转变为精简状态,警报减少,有更多时间用于项目。他们还通过主动监控和噪声减少提高了效率。团队注重精确性和实用性,专注于高投资回报率的任务。他们在转型中培养了耐力和一致性,并利用集体努力实现卓越运营。他们还开发了工具以提升运营实践,并促进了持续改进的文化。

🔎

延伸解读

Ops Czar:从共同责任到单一所有权

Databricks资金团队引入Ops Czar角色,将运营责任从分散的共享模式转变为单一所有权点。这一改变消除了低效,使团队能专注于高投资回报率任务,并敢于承担风险。Ops Czar作为变革推动者,成功将团队文化从受害者心态转变为赋权所有权,为后续效率提升奠定基础。

低质量警报与无警报同样有害

团队发现,频繁的噪声警报会消耗工程师有限的注意力和工作时间,导致上下文切换,削弱处理严重事件的能力。他们果断消除了数百个低质量警报,认为其危害等同于没有警报。释放出的资源被重新用于关闭监控缺口、偿还技术债务和改进工具,从而显著提升了运营健康度。

务实度量:KTLO成本的简化追踪

精确量化工程师在运营任务上的时间(KTLO成本)成本高昂。团队采用务实方法:每人每周花一分钟记录运营任务天数估计。虽然不精确,但20人三个月的数据聚合后提供了有价值洞察,例如揭示了KTLO成本与噪声警报比例之间的强相关性,指导了降噪决策。

集体努力与持续改进的文化

团队通过改进值班交接流程,确保问题持续跟踪,并鼓励每位成员每周至少完成一项减少噪声、弥补监控缺口或改进手册的任务。每周运营回顾会表彰贡献,展示指标改善,强化了集体所有权。这种文化转变使值班工作变得更有意义,并最终推动了跨团队的统一运营健康仪表板建设。

❓

Q&A

Databricks资金团队如何提高运营效率?

通过引入运营主管和实施策略,Databricks资金团队实现了运营效率翻倍,减少了运营成本和时间。

引入运营主管对团队文化有什么影响?

引入运营主管改变了团队文化,从受害者心态转变为赋权所有权,增强了团队的责任感。

Databricks资金团队在减少运营成本方面取得了哪些具体成果?

团队成功减少了50%的总运营成本,57%的缓解时间,28%的解决时间,以及64%的事件量。

团队如何处理监控噪声以提高效率?

团队通过消除低质量警报和主动监控,减少了噪声,提高了响应能力和效率。

在转型过程中,团队如何培养耐力和一致性?

团队通过强调集体努力和共同成功,培养了耐力和一致性,确保每个成员都参与到持续改进中。

Databricks资金团队开发了哪些工具来提升运营实践?

团队开发了生成式AI推荐系统和事件回放可视化工具,以提升监控和事件管理的效率。

🏷️

标签

➡️

继续阅读