Sekyoro的博客小屋
·
从零开始大数据
💡
原文中文，约36300字，阅读约需87分钟。
📝
内容提要
大数据技术通过采集、存储和分析海量数据，广泛应用于推荐系统、金融和医疗等领域。其特点包括数据量大、处理速度快、多样性、低价值密度和真实性。大数据技术起源于Google的GFS、MapReduce和BigTable，随后Hadoop和Spark等框架的出现推动了大数据生态的发展。
🎯
关键要点
- 大数据技术通过采集、存储和分析海量数据，广泛应用于推荐系统、金融和医疗等领域。
- 大数据的5V特征包括：数据量大（Volume）、处理速度快（Velocity）、多样性（Variety）、低价值密度（Value）和真实性（Veracity）。
- 大数据技术起源于Google的GFS、MapReduce和BigTable，Hadoop和Spark等框架推动了大数据生态的发展。
- Hadoop包括HDFS和MapReduce，支持大规模数据存储和计算。
- MapReduce的操作流程包括输入分片、映射、混洗与排序、归约和输出结果。
- Spark通过内存计算和DAG优化，提升了大数据处理的效率，逐渐替代MapReduce。
- Flink是一个开源的分布式流处理引擎，支持实时和离线数据流处理。
- HDFS通过数据块存储和冗余备份实现大容量、高速、可靠的数据存储。
- NoSQL数据库如HBase为海量数据存储提供了灵活的解决方案。
- 流式计算框架如Storm和Spark Streaming用于实时数据处理。
- Zookeeper提供分布式系统的数据一致性服务，确保多台服务器的数据状态一致。
- 推荐算法如基于用户的协同过滤和基于商品的协同过滤用于个性化推荐。
- 互联网运营数据指标包括新增用户数、用户留存率、活跃用户数、转化率等。
- A/B测试和灰度发布是优化产品特性和用户体验的重要手段。
❓
延伸问答
大数据的5V特征是什么？
大数据的5V特征包括：数据量大（Volume）、处理速度快（Velocity）、多样性（Variety）、低价值密度（Value）和真实性（Veracity）。
Hadoop和Spark的主要区别是什么？
Hadoop主要使用磁盘存储数据，处理速度较慢，而Spark优先使用内存进行数据处理，速度更快且支持更复杂的计算任务。
MapReduce的操作流程是怎样的？
MapReduce的操作流程包括五个阶段：输入分片、映射、混洗与排序、归约和输出结果。
什么是流式计算，常用的框架有哪些？
流式计算是对实时产生的数据进行即时处理，常用的框架包括Storm、Spark Streaming和Flink。
大数据技术的起源是什么？
大数据技术起源于Google的GFS、MapReduce和BigTable三篇论文，这些技术奠定了大数据处理的基础。
如何保证分布式系统中的数据一致性？
分布式系统中的数据一致性可以通过Zookeeper等工具实现，Zookeeper使用ZAB算法确保多台服务器的数据状态一致。
➡️
