Ying’s Blog
·
实时和离线
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
文章讨论了离线数据处理的时间边界和调度问题，提出了离线数仓任务的模型和任务调度系统。还讨论了微批处理和流处理的模型变化，以及T+1和流处理任务的调度要求和差异。最后，提出了一套统一开发和管理任务的平台。
🎯
关键要点
-
时间分为处理时间和事件时间，离线数据处理通常选择事件时间。
-
T+1 数据处理模型通过合并增量数据生成全量表或拉链表。
-
任务调度系统在离线数仓任务中起到关键作用，支持任务的依赖检查和执行。
-
微批处理时间间隔更小，需优化数据处理以避免无用计算和存储。
-
Micro Batch 模型关注变化数据的产出，需支持 upsert 的存储系统。
-
流处理模型与微批处理相比，SQL 语义和处理方式有显著变化。
-
调度系统对离线任务至关重要，流处理任务的调度概念更轻。
-
调度的稳定性和准确性对批处理和流处理任务都很重要。
-
统一的开发和管理平台可以提高任务管理的效率和一致性。
-
K8S 提供多种资源对象，支持一次性和长时间运行任务的统一管理。
❓
延伸问答
离线数据处理中的时间边界是如何定义的？
离线数据处理中的时间分为处理时间和事件时间，通常选择事件时间进行处理。
T+1 数据处理模型的主要功能是什么？
T+1 数据处理模型通过合并增量数据生成全量表或拉链表，确保数据的完整性。
微批处理与流处理的主要区别是什么？
微批处理关注短时间内的数据变化，而流处理则实时处理数据流，模型和 SQL 语义有显著变化。
任务调度系统在离线数仓任务中起什么作用？
任务调度系统在离线数仓任务中负责任务的依赖检查和执行，确保任务按顺序完成。
使用事件时间处理数据有什么好处？
使用事件时间可以清晰地标识当前批次处理完成的时间，确保数据处理的时效性。
K8S 在任务管理中提供了哪些支持？
K8S 提供多种资源对象，如 Job、Crontab 和 Deployment，支持一次性和长时间运行任务的统一管理。
🏷️
