ByteByteGo Newsletter
·
Uber Eats如何去重数亿产品图像
内容提要
Uber Eats通过重新设计图像处理管道，采用内容可寻址缓存，减少冗余处理和存储成本。新系统利用图像哈希识别内容，支持在稳定URL下更新图像，从而提高处理效率和可靠性。
关键要点
-
Uber Eats通过重新设计图像处理管道，采用内容可寻址缓存，减少冗余处理和存储成本。
-
新系统利用图像哈希识别内容，支持在稳定URL下更新图像，提高处理效率和可靠性。
-
旧系统假设新URL对应新图像，未能识别相同图像的不同URL，导致冗余下载和处理。
-
新图像管道通过内容地址缓存，使用图像字节的加密哈希来识别图像，避免重复处理。
-
系统维护三种逻辑映射，分别处理内容识别、链接处理输出和跟踪原始资产。
-
每个图像转换请求包含处理规范，定义图像处理方式，支持快速查找和缓存。
-
新管道使用HTTP Last-Modified头部检测图像更新，避免无效的重复处理。
-
新系统在高负载下仍能快速响应，99%以上请求无需重新处理图像，显著提高性能和效率。
-
新架构在两个月内推出，支持Uber Eats的高流量数据路径，展示了核心系统改进的潜力。
延伸解读
新图像处理管道的优势
Uber Eats的新图像处理管道通过内容可寻址缓存显著提高了处理效率。该系统利用图像哈希识别内容，避免了冗余下载和处理，确保99%以上的请求无需重新处理图像。这种高效的处理方式不仅降低了存储和计算成本，还提升了用户体验，尤其在高负载情况下依然能快速响应。
旧系统的局限性
旧的图像处理系统假设每个新URL对应新图像，未能识别相同图像的不同URL，导致重复下载和处理。这种设计不仅浪费了网络带宽，还增加了计算和存储成本，影响了整体性能。了解这些局限性有助于更好地理解新系统的必要性和优势。
图像更新的处理方式
新系统通过HTTP Last-Modified头部检测图像更新，解决了旧系统无法识别URL不变时内容更新的问题。这一机制确保商家可以在保持稳定URL的同时，及时更新内容，避免了过时数据的展示。这种灵活性对于商家和用户都具有重要意义。
延伸问答
Uber Eats是如何减少图像处理冗余的？
Uber Eats通过重新设计图像处理管道，采用内容可寻址缓存和图像哈希识别，避免重复处理和存储。
新系统如何处理相同图像的不同URL？
新系统通过图像的加密哈希识别内容，确保相同图像即使在不同URL下也不会重复处理。
Uber Eats的新图像管道有哪些主要优势？
新图像管道提高了处理效率，减少了存储和CDN成本，99%以上请求无需重新处理图像。
如何检测图像在相同URL下的更新？
新系统使用HTTP Last-Modified头部检测图像更新，通过比较时间戳来决定是否重新下载图像。
Uber Eats的图像处理系统如何应对高负载？
新系统在高负载下仍能快速响应，保持低延迟，确保高效处理大量请求。
新图像管道的推出时间是多久？
新架构在两个月内推出，支持Uber Eats的高流量数据路径。
