小令童鞋
·
【Hadoop】HDFS 详解
💡
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
HDFS采用master/slave架构，由Namenode和Datanodes组成。文件一次性写入，副本系数为3，存放策略为本地机架、同一机架、不同机架。Secondary NameNode用于处理Namenode的元数据备份。
🎯
关键要点
- HDFS采用master/slave架构，由Namenode和Datanodes组成。
- Namenode负责管理文件系统的名字空间和客户端对文件的访问。
- Datanode负责管理其所在节点上的存储，并处理文件系统客户端的读写请求。
- HDFS中的文件一次性写入，且只能有一个写入者。
- Namenode使用EditLog记录对文件系统元数据的修改，并在内存中保存文件系统的名字空间和数据块映射。
- Datanode将HDFS数据以文件形式存储在本地文件系统中，并生成块状态报告。
- HDFS的副本系数通常为3，副本存放策略为本地机架、同一机架和不同机架。
- 这种副本存放策略提高了写操作的效率，并不影响数据的可靠性和可用性。
- HDFS尽量让读取程序读取离其最近的副本，以降低带宽消耗和读取延时。
➡️
