DEV Community
·
一个针对100万部电影和1000万个流媒体链接的数据处理管道
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
作者于2023年2月创建了一个聚合电影和电视节目评分的网站，经过多次优化，最终使用windmill.dev构建了高效的数据处理管道。该系统从多个来源抓取数据，确保信息及时更新，并实现复杂的数据分类和查询功能。
🎯
关键要点
- 作者于2023年2月创建了一个聚合电影和电视节目评分的网站，旨在将所有评分和流媒体信息集中在一个页面上。
- 在2023年3月，作者构建了一个初步版本，但加载速度较慢，显示评分需要10秒。
- 到2023年10月，作者意识到需要在本地存储数据，并发现了windmill.dev，显著提升了数据处理效率。
- 该系统从多个来源抓取数据，确保信息及时更新，并实现复杂的数据分类和查询功能。
- 数据处理管道包括多个步骤，如从TMDB获取最新数据、抓取IMDb、Metacritic和Rotten Tomatoes的评分等。
- 使用优先队列来选择下一个处理的电影或电视节目，确保每个标题至少处理一次。
- 作者强调了抓取数据的法律问题，确保遵循相关条款并避免盈利使用抓取的数据。
- Windmill使用工作者分配代码执行，提升了处理效率，目前有12个工作者在运行。
- GoodWatch网站目前需要约100GB的持久数据存储，处理大量数据流。
- DNA项目允许通过其他属性对电影和节目进行分类，提供更丰富的搜索和过滤功能。
- 数据管道的工作流程包括每天更新MongoDB集合、持续抓取数据并写入Postgres。
- 作者面临的挑战包括处理速度慢和内存消耗过高，正在不断优化数据处理流程。
- Windmill被认为是开发者工具箱中的重要资产，提升了生产力，简化了任务自动化。
🏷️
标签
➡️
