HDFS架构理解思维导图
架构组成，工作流程，检测恢复内容讲解
树图思维导图提供 HDFS架构理解 在线思维导图免费制作，点击“编辑”按钮，可对 HDFS架构理解 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：1956b8afbfa19f514e9bbf67ec2f8750
思维导图大纲
HDFS架构理解思维导图模板大纲
HDFS概述
定义
HDFS（HadoopDistributedFileSystem）是Hadoop的分布式文件系统模块，用于存储大规模数据。
HDFS架构组成
架构层次
HDFS主要由三部分组成：客户端、NameNode和DataNode。
客户端
访问HDFS的接口，提供与HDFS交互的命令行和编程接口。
NameNode
存储HDFS文件系统的元数据（metadata）。
管理文件系统的命名空间，维护文件和目录的元数据。
DataNode
存储实际的数据块（Block）。
负责数据的存储和检索。
HDFS的工作流程
文件上传
客户端向NameNode发送文件上传请求。
NameNode为文件分配存储位置并返回DataNode地址给客户端。
文件读取
客户端向NameNode请求文件数据块位置信息。
NameNode返回文件数据块位置信息给客户端。
客户端从DataNode读取数据块。
namenode故障检测与恢复
故障模拟
集群状态检查:在模拟故障前，确保HDFS集群处于正常运行状态。
杀死NameNode进程:通过ips命令找到NameNode的进程号，并使用kill -9命令强制终止
删除元数据:模拟NameNode元数据丢失的情况，手动删除元数据存储目录下的所有文件。
故障诊断
观察故障现象:刷新HDFS主页面，发现无法连接NameNode.
查看日志:登录到NameNode所在的虚拟机(Hadoop10)，查看NameNode的日志文件，找到故障的具体原因(如元数据丢失)。
设计方案
确定SecondaryNameNode位置(Hadoop12):通过查看hdfs-site.xml配置文件，确定SecondaryNameNode所在的节点设备,
备份元数据恢复:首先找到SecondaryNameNode备份的元数据目录，然后使用scp命令将其复制到NameNode的元数据存储目录。
验证故障已修复:重新启动NameNode，刷新HDFS主页面检查NameNode是否成功启动。
安全模式
在HDFS中上传文件，一个块128MB，每个块都有三个副本，当块缺失是就会触发安全模式(文件系统主要接受读数据请求，而不接受删除、修改等变更请求)方案一：需要手动关闭安全模式hdfs dfsadmin -safemode leave2.删除上传的文件。
方案二：恢复缺失的块文件
Namenode多次格式化
1.查看日志:报错信息
2.确定故障出现原因
-:DataNode 的 clusteriD 都是一致的,NameNode 与其不一致;
二:是NameNode 与某个 DataNode 的clusterID 一致，某个或某些不一致
3.排除故障
分别查看NameNode和DataNode的clusterlD，发现NameNode的clusterlD与其他DataNode的clusterlD不一致。
4.故障清除
-:删除dfs.namenode.dir和dfs.datanode.dir所指目录里的文件，以及logs日志文件和tmp缓存文件。
二:重新初始化
5.验证故障已修复
思维导图模板大纲
相关思维导图模板
树图思维导图提供 XFACEKIT模型训练 在线思维导图免费制作，点击“编辑”按钮，可对 XFACEKIT模型训练 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：6cddb43d04a4840f6caafa073e334236
树图思维导图提供 （视觉）表象能力 在线思维导图免费制作，点击“编辑”按钮，可对 （视觉）表象能力 进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：2fbcf3eff9ef20734ebc4a97c875ffdb
沪公网安备 31011502019485号
上海工商