3. DDIA-派生数据-笔记
原文中文，约3800字，阅读约需9分钟。
📝
内容提要
本文总结了批处理系统和流处理系统的特点和问题，包括UNIX工具、MapReduce与分布式文件系统的使用，流处理系统处理无界数据时需要考虑乱序和背压等问题，还介绍了数据库与流CDC的技术。未来的数据系统需要关注数据集成、分拆数据库和端到端的正确性。作者强调了对隐私的尊重和保护。
❓
Q&A
批处理系统和流处理系统有什么主要区别？
批处理系统假定基于有界的数据集，而流处理系统则面向有界和无界的数据集。
MapReduce的优缺点是什么？
MapReduce的优点是无需对输入数据做假设，缺点是排序和合并操作可能非常昂贵。
流处理系统如何处理乱序和背压问题？
流处理系统需要通过特定的算法处理乱序，并采用背压机制来控制生产者的消息发送速度。
什么是CDC技术，它的作用是什么？
CDC技术用于捕获数据库变更记录并将其转化为数据流，便于实时数据处理。
如何确保数据系统的端到端正确性？
可以通过幂等性和唯一标识符来实现端到端的正确性，避免重复执行问题。
在数据系统设计中，如何处理用户隐私问题？
在技术设计中应尊重用户隐私，确保数据的道德和法律合规性。
🏷️
