实时和离线
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
文章讨论了离线数据处理的时间边界和调度问题，提出了离线数仓任务的模型和任务调度系统。还讨论了微批处理和流处理的模型变化，以及T+1和流处理任务的调度要求和差异。最后，提出了一套统一开发和管理任务的平台。
❓
Q&A
离线数据处理中的时间边界是如何定义的？
离线数据处理中的时间分为处理时间和事件时间，通常选择事件时间进行处理。
T+1 数据处理模型的主要功能是什么？
T+1 数据处理模型通过合并增量数据生成全量表或拉链表，确保数据的完整性。
微批处理与流处理的主要区别是什么？
微批处理关注短时间内的数据变化，而流处理则实时处理数据流，模型和 SQL 语义有显著变化。
任务调度系统在离线数仓任务中起什么作用？
任务调度系统在离线数仓任务中负责任务的依赖检查和执行，确保任务按顺序完成。
使用事件时间处理数据有什么好处？
使用事件时间可以清晰地标识当前批次处理完成的时间，确保数据处理的时效性。
K8S 在任务管理中提供了哪些支持？
K8S 提供多种资源对象，如 Job、Crontab 和 Deployment，支持一次性和长时间运行任务的统一管理。
🏷️
