我们如何在内部构建实验

我们如何在内部构建实验

💡 原文英文,约1100词,阅读约需4分钟。
📝

内容提要

Canva的实验分析平台经历了显著变革,旨在提升数据科学家的工作效率和用户体验。最初的Python包用于标准化实验结果计算,后开发了Django网页应用以实时共享分析结果。为提高可靠性,实验分析框架被专门工程团队重写并整合进Feature Control,采用AWS lambda和API,简化用户操作。未来,Canva将继续优化实验流程,确保用户轻松进行实验分析。

🔎

延伸解读

从Python包到集成平台:实验分析工具的演进动因

Canva的实验分析最初是一个Python包,用于标准化指标计算和结果解读,但共享结果依赖截图和手动重处理,效率低下。随后开发的Django网页应用实现了每日更新和结果共享,却因中国区独立部署导致跨区域实验需访问两个应用,信任度下降。这些痛点推动框架被重写并整合进Feature Control,由专门工程团队维护,以提升可靠性和可访问性。

技术架构升级:AWS Lambda与标准化服务

重写后的系统将统计模型打包为Python库,部署在AWS Lambda上,既便于数据科学家更新生产模型,又通过API支持平台外的临时分析。新架构采用与Canva产品服务相同的语言和基础设施(JavaScript、Java、MySQL),并配备告警和值班制度,确保低停机时间。这种标准化提升了系统的可靠性和可维护性。

降低使用门槛:教育项目与点选式界面

为让非技术用户也能进行实验分析,Canva推出了教育项目,涵盖统计模型、决策和调试等理论与实践,使团队Slack频道的帮助请求下降超过50%。同时,重新设计了用户界面,采用点选式操作替代易错且难以编写的SQL片段,确保所有指标一致、正确且统计有效。这些措施共同推动了实验分析的民主化。

未来方向:整合工作流与提升可学习性

Canva计划继续优化实验流程,重点包括简化目前分散的实验设置与分析工作流,以及进一步提升平台内实验结果的可学习性。这些举措旨在让每位员工都能轻松进行实验分析,巩固数据驱动决策的文化。实验分析平台已成为Canva数据栈的核心工具,未来将更注重端到端的用户体验。

❓

Q&A

Canva的实验分析平台经历了哪些重要变革?

Canva的实验分析平台经历了从Python包到Django网页应用的转变,并由专门的工程团队重写,整合进Feature Control,采用AWS lambda和API,提升了用户体验和可靠性。

Canva是如何解决实验结果共享困难的?

Canva开发了一个Django网页应用,提供实时更新和结果共享的界面,解决了通过Slack或Confluence共享结果的繁琐问题。

Canva的实验分析框架是如何提高用户操作的?

新系统通过采用点选式操作界面,简化了用户创建实验分析组件的流程,使非技术用户也能轻松使用。

Canva在实验分析中如何支持数据科学家的增长?

Canva的实验分析平台经过改进,支持数据科学家的数量增长,并成为数据堆栈中的核心工具,提升了工作效率。

Canva如何确保实验分析的可靠性和可访问性?

通过将实验分析框架交给专门的工程团队重写,并整合进Feature Control,Canva确保了实验分析的可靠性和可访问性。

Canva推出的教育项目有什么作用?

教育项目帮助员工理解实验的理论和实践,减少了技术支持请求,提升了员工自助解决数据问题的能力。

🏷️

标签

➡️

继续阅读