近期国外大科技公司工程文摘

💡 原文中文,约2500字,阅读约需6分钟。
📝

内容提要

近期国外大科技公司发布了一系列重要的工程文摘,包括Meta发布的最有能力的公开大模型介绍,Netflix的视频编码Cosmos微服务,Doordash的产品知识图谱构建经验,Booking在Google Cloud上采用Airflow的经验教训,以及Canva的内容使用计数服务、ASOS的推荐转型和Expedia的系统设计中代码级可扩展性的本质。

🔎

延伸解读

大模型落地的两种路径

Meta的Llama 3强调模型能力与多平台部署,而DoorDash则用大模型从非结构化SKU数据中提取产品属性,改善购物体验。两者展示了当前大模型应用的两个方向:一是追求通用能力与广泛可用性,二是针对垂直场景做数据标准化与知识构建。读者可关注后者如何将模型能力转化为具体业务价值。

架构演进中的务实取舍

Canva的内容计数服务从MySQL起步,尝试迁移到DynamoDB后决定不继续,最终转向OLAP数据库。Booking在迁移Airflow到GCP时,通过本地环境模拟生产、调整celery参数、用Dataproc处理重任务来平衡性能与成本。这些案例说明,架构决策往往不是追求最新技术,而是基于实际约束的持续调整。

推荐系统与搜索的工程创新

ASOS将Transformer用于时尚推荐,利用自注意力和位置意识捕捉客户风格与交互顺序,评估指标提升20%。Netflix在联合图中实现反向搜索,用Elasticsearch的percolator字段支持电影分类和工作流分配。两者都体现了将成熟技术(Transformer、Elasticsearch)创造性地应用于新问题,从而提升系统效果。

代码级可扩展性不容忽视

Expedia的文章指出,代码库的复杂性真正决定系统的适应性、可扩展性和可持续性。即使高层设计出色,如果底层代码缺乏可扩展性,系统也难以适应新用例。这提醒工程团队,在关注架构趋势的同时,必须重视代码质量与可维护性,因为它们是系统长期演进的基础。

❓

Q&A

Meta发布的Llama 3模型有什么特点?

Llama 3是Meta发布的最有能力的公开大模型,具有8B和70B参数,支持在多个主要平台上部署。

Canva是如何构建内容使用计数服务的?

Canva通过引入OLAP数据库和演变架构,构建了可扩展的内容使用计数服务,并面临数据迁移和架构变更的挑战。

Netflix的Cosmos微服务有哪些层次结构?

Netflix的Cosmos微服务分为API层、工作流层和计算层,强调短发布周期和自动化部署。

DoorDash如何利用大型语言模型改善客户体验?

DoorDash使用大型语言模型从非结构化数据中提取产品属性,标准化和丰富零售目录,从而改善客户购物体验。

ASOS的推荐系统是如何利用Transformer技术的?

ASOS的推荐系统应用Transformer技术,通过自我注意力和位置意识捕捉客户风格和互动,提升推荐性能。

Expedia在系统设计中强调了什么?

Expedia强调代码库的复杂性决定了系统的适应性、可扩展性和可持续性,设计与代码的和谐结合至关重要。

🏷️

标签

➡️

继续阅读