柚子快报激活码778899分享：大数据面试题第一期*4
题1、HDFS存储机制
（1）客户端向namenode请求上传文件 ，namenode检查目标文件是否已存在 ，父目录是否存在。 （2）namenode返回是否可以上传。 （3）客户端请求第一个 block上传到哪几个datanode服务器上。 （4）namenode返回3个datanode节点 ，分别为dn1、dn2、dn3。 （5）客户端请求dn1上传数据 ，dn1收到请求会继续调用dn2 ，然后dn2调用dn3 ，将这个通信管道建立完成。 （6）dn1、dn2、dn3逐级应答客户端 （7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位 ，dn1 收到一个packet就会传 给dn2 ，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。 （8）当一个block传输完成之后 ，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）
题2、SecondaryNameNode 工作机制
第一阶段 ：namenode启动 （1）第一次启动namenode格式化后 ，创建fsimage和edits文件。如果不是第一次启动 ，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求。 （3）namenode记录操作日志 ，更新滚动日志。 （4）namenode在内存中对数据进行增删改查。 第二阶段 ：Secondary NameNode工作 （1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。 （2）Secondary NameNode请求执行checkpoint。 （3）namenode滚动正在写的edits日志 。 （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。 （5）Secondary NameNode加载编辑日志和镜像文件到内存 ，并合并。 （6）生成新的镜像文件fsimage.chkpoint。 （7）拷贝fsimage.chkpoint到namenode。 （8）namenode将fsimage.chkpoint重新命名成fsimage。
题3、NameNode与SecondaryNameNode区别与联系
一、区别： （1）NameNode负责管理整个文件系统的元数据 ，以及每一个路径（文件）所对应的数据块信息。 （2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。 二、联系： （1）SecondaryNameNode中保存了一份和namenode一致的镜像文件(fsimage)和编辑日志(edits)。 （2）在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。
题4、服役新数据节点和退役旧节点步骤
一、节点上线操作： （1）当要新上线数据节点的时候 ，需要把数据节点的名字追加在 dfs.hosts 文件中，关闭新增节点的防火墙 （2）在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname （3）在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname （4）在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作 （5）在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname （6）在其他节点上执行刷新操作 ：hdfs dfsadmin -refreshNodes （7）在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加到 slaves 文件中 （8）启动 DataNode 节点 （9）查看 NameNode 的监控页面看是否有新增加的节点 二、节点下线操作： （1）修改/conf/hdfs-site.xml 文件 （2）确定需要下线的机器 ，dfs.osts.exclude 文件中配置好需要下架的机器 ，这个是阻止下架的机器去连接 NameNode。 （3）配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。 （4）当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集群上连接的节点，正在 执行 Decommission， 会显示：Decommission Status : Decommission in progress 执行完毕后 ，会显示：Decommission Status : Decommissioned （5）机器下线完毕 ，将他们从excludes 文件中移除。
柚子快报激活码778899分享：大数据面试题第一期*4
精彩文章
发表评论