博客园 - 乂墨EMO
·
HDFS原理 - 乂墨EMO
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
HDFS由NameNode和DataNode组成。NameNode管理元数据，如文件路径和数据块ID，数据存储在内存和硬盘中。DataNode负责存储数据块，并定期向NameNode报告状态。文件以块为单位存储，默认块大小为128M。系统通过心跳机制监控DataNode状态，确保数据安全和完整性。
🎯
关键要点
-
HDFS由NameNode和DataNode组成，NameNode负责管理元数据，包括文件路径名、数据块ID和存储位置。
-
元数据存储在内存和硬盘中，内存中的数据加速读取，fsimage和edits文件用于持久化和恢复元数据。
-
DataNode负责存储数据块，并定期向NameNode报告状态，心跳机制用于监控DataNode的可用性。
-
文件以块为单位存储，默认块大小为128M，块的存储效率与数据大小有关。
-
当DataNode未在规定时间内上报心跳，NameNode将认为该节点不可用，并进入安全模式，限制写入操作。
-
HDFS不支持文件的在线寻址，修改一个块会影响后续所有块，导致效率低下。
❓
延伸问答
HDFS的主要组成部分是什么？
HDFS由NameNode和DataNode组成。
NameNode的主要功能是什么？
NameNode负责管理元数据，包括文件路径名、数据块ID和存储位置。
DataNode如何与NameNode进行通信？
DataNode定期向NameNode报告状态，通过心跳机制进行通信。
HDFS中数据是如何存储的？
HDFS将文件以块为单位存储，默认块大小为128M。
如果DataNode未及时上报状态，会发生什么？
如果DataNode超过10分钟未上报心跳，NameNode将认为该节点不可用，并进入安全模式。
HDFS是否支持文件的在线寻址？
HDFS不支持文件的在线寻址，修改一个块会影响后续所有块，导致效率低下。
➡️
