DEV Community
·
一个针对100万部电影和1000万个流媒体链接的数据处理管道
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
作者于2023年2月创建了一个聚合电影和电视节目评分的网站，经过多次优化，最终使用windmill.dev构建了高效的数据处理管道。该系统从多个来源抓取数据，确保信息及时更新，并实现复杂的数据分类和查询功能。
🎯
关键要点
- 作者于2023年2月创建了一个聚合电影和电视节目评分的网站，旨在将所有评分和流媒体信息集中在一个页面上。
- 在2023年3月，作者构建了一个初步版本，但加载速度较慢，显示评分需要10秒。
- 到2023年10月，作者意识到需要在本地存储数据，并发现了windmill.dev，显著提升了数据处理效率。
- 该系统从多个来源抓取数据，确保信息及时更新，并实现复杂的数据分类和查询功能。
- 数据处理管道包括多个步骤，如从TMDB获取最新数据、抓取IMDb、Metacritic和Rotten Tomatoes的评分等。
- 使用优先队列来选择下一个处理的电影或电视节目，确保每个标题至少处理一次。
- 作者强调了抓取数据的法律问题，确保遵循相关条款并避免盈利使用抓取的数据。
- Windmill使用工作者分配代码执行，提升了处理效率，目前有12个工作者在运行。
- GoodWatch网站目前需要约100GB的持久数据存储，处理大量数据流。
- DNA项目允许通过其他属性对电影和节目进行分类，提供更丰富的搜索和过滤功能。
- 数据管道的工作流程包括每天更新MongoDB集合、持续抓取数据并写入Postgres。
- 作者面临的挑战包括处理速度慢和内存消耗过高，正在不断优化数据处理流程。
- Windmill被认为是开发者工具箱中的重要资产，提升了生产力，简化了任务自动化。
❓
延伸问答
GoodWatch网站的主要功能是什么？
GoodWatch网站聚合了电影和电视节目的评分及流媒体信息，用户可以在一个页面上查看所有相关数据。
作者是如何提升数据处理效率的？
作者通过使用windmill.dev构建数据处理管道，显著提升了数据处理效率，并实现了更快的数据抓取和分类。
数据处理管道的工作流程是怎样的？
数据处理管道包括从TMDB获取数据、抓取IMDb、Metacritic和Rotten Tomatoes的评分，并将数据存储到MongoDB和Postgres中。
抓取数据时需要注意哪些法律问题？
抓取数据的行为通常是合法的，但使用抓取的数据盈利可能违反相关条款，因此需要谨慎处理并遵循法律规定。
GoodWatch网站目前需要多少数据存储？
GoodWatch网站目前需要约100GB的持久数据存储，包括原始数据、处理后的关系数据和向量数据。
Windmill在数据处理中的作用是什么？
Windmill用于分配代码执行，提升了数据处理的效率，并支持任务的自动化和错误处理。
🏷️
标签
➡️
