Ying’s Blog
·
1. DDIA-数据系统基础-笔记
💡
原文中文，约7500字，阅读约需18分钟。
📝
内容提要
本文讨论了数据系统基础的可靠性、可扩展性、可维护性、数据模型与查询语言、数据存储与检索、数据编码与演化等方面。介绍了经典的数据结构和索引结构，以及不同的数据存储和查询方式。同时还涉及了数据编码和数据交流的相关概念。
🎯
关键要点
- 数据系统基础包括可靠性、可扩展性、可维护性等方面。
- 可靠性面临硬件故障、网络问题等挑战，需要规范的上线流程和监控系统。
- 可扩展性设计需考虑实际压力和用户行为，推拉模型各有优缺点。
- 数据模型包括关系模型和文档模型，适应不同的数据存储需求。
- SQL和NoSQL各有优势，NoSQL标签最初是为了吸引关注。
- 数据存储结构如LSM-Tree和B-Tree各有特点，适用于不同场景。
- OLTP和OLAP分别用于后端交互和业务分析，数据仓库应运而生。
- 列式存储提高了读取效率，适合大数据分析。
- 数据编码格式用于序列化和反序列化，JSON/XML适合可读性，Thrift/Protobuf适合性能。
- 数据交流方式包括数据库、REST、RPC和消息传递，各有优缺点。
❓
延伸问答
数据系统的可靠性面临哪些挑战？
数据系统的可靠性面临硬件故障、网络问题等挑战，需要规范的上线流程和监控系统来保证。
可扩展性在数据系统设计中如何考虑？
可扩展性设计需考虑实际压力和用户行为，推拉模型各有优缺点，需根据具体场景选择合适方案。
关系模型和文档模型有什么区别？
关系模型使用多个表表示一对多关系，支持join，而文档模型天然表达一对多关系，读取方便但更新复杂。
SQL和NoSQL各自的优势是什么？
SQL适合复杂查询和数据一致性，而NoSQL在扩展性和高写入吞吐量方面表现更好，适合大数据场景。
OLTP和OLAP的主要区别是什么？
OLTP主要用于实时交易处理，数据量小且随机访问，而OLAP用于批量数据分析，处理大量记录并进行汇总。
数据编码格式的选择对性能有什么影响？
数据编码格式影响序列化和反序列化的效率，文本格式可读性好但体积大，二进制格式如Thrift/Protobuf性能更高。
➡️
