前言：Hadoop设计之初，在架构设计和应用性能方面存在很多不如人意的地方，如HDFS和YARN集群的主节点只能有一个，如果主节点宕机无法使用，那么将导致HDFS或YARN集群无法使用，针对上述问题，Hadoop在后续的版本更新中做出了改进和完善，用户可以为HDFS和YARN集群添加备用的主节点，这样即使主节点宕机无法使用，备用的主节点也可以代替原有的主节点来维持HDFS和YARN集群能够正常运行，这就是所谓的Hadoop高可用集群。
目录
1. 改进与提升 2. YARN资源管理框架 2.1 YARN体系结构 2.2 YARN工作流程
3. HDFS的高可用 3.1 HDFS的高可用架构
4. 课后习题
1. 改进与提升
组件Hadoop1.0局限和不足Hadoop2.0的改进HDFSNameNode存在单点故障风险HDFS引入了高可用机制MapReduceJobTracker存在单点故障风险，且内存扩展受限引入了一个资源管理调度框架YARN
2. YARN资源管理框架
2.1 YARN体系结构
YARN（Yet Another Resource Negotiator，另一种资源协调者）是一个通用的资源管理系统和调度平台，它的基本设计思想是将MRv1（Hadoop1.0中MapReduce）中的JobTracker拆分为两个独立任务，这两个任务分别是全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。
ResourceManager是一个全局的资源管理系统，它负责的是整个Yarn集群资源的监控、分配和管理工作。其内部包含了两个组件，分别是调度器（Scheduler）和应用程序管理器（Application Manager）。NodeManager是每个节点上的资源和任务管理器，一方面，它会定时向ResourceManager汇报所在节点资源使用情况；另一方面，它会接收并处理来自ApplicationMaster容器（Container）启动、停止等各种请求。用户提交的每个应用程序都包含一个ApplicationMaster，它负责协调来自ResourceManager的资源，把获得的资源进一步分配给内部的各个任务，从而实现“二次分配”。
2.2 YARN工作流程
YARN的底层工作流程是由核心组件互相协调管理，它们各尽其职，为Hadoop资源调度提供服务，其工作流程图如下所示。
用户通过客户端Client向YARN提交应用程序Applicastion。YARN中的ResourceManager接收到客户端请求后，其内部的调度器会为应用程序分配一个容器运行本次程序对应的ApplicationMaster。ApplicationMaster被创建后，首先向ResourceManager注册信息，用户通过ResourceManager查看应用程序的运行状态。ApplicationMaster采用轮询方式通过RPC协议向ResourceManager申请资源。ResourceManager向提出申请的ApplicationMaster分配资源。NodeManager为任务设置好运行环境后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。各任务通过RPC协议向ApplicationMaster汇报自己的运行状态，从而在任务失败时，ApplicationMaster可重新启动任务。应用运行结束后，ApplicationMaster向ResourceManager注销并关闭自己。
3. HDFS的高可用
3.1 HDFS的高可用架构
在HDFS分布式文件系统中，NameNode是系统核心节点，存储各类元数据信息，并负责管理文件系统的命名空间和客户端对文件的访问。若NameNode发生故障，会导致整个Hadoop集群不可用，即单点故障问题。为了解决单点故障，Hadoop2.0中HDFS中增加了对高可用的支持。
在高可用HDFS中，通常有两台或两台以上机器充当NameNode，无论何时，都要保证至少有一台处于活动（Active）状态，一台处于备用（Standby）状态。Zookeeper为HDFS集群提供自动故障转移的服务，给每个NameNode都分配一个故障恢复控制器（简称ZKFC），用于监控NameNode状态。若NameNode发生故障，Zookeeper通知备用NameNode启动，使其成为活动状态处理客户端请求，从而实现高可用。
4. 课后习题
判断题： 1、ResourceManager负责监控ApplicationMaster，并在ApplicationMaster运行失败的时候重启它，因此ResouceManager负责ApplicationMaster内部任务的容错。 2、NodeManager是每个节点上的资源和任务管理器。 3、Hadoop HA是集群中启动两台或两台以上机器充当NameNode，避免一台NameNode节点发生故障导致整个集群不可用的情况。 4、Hadoop HA是两台NameNode同时执行NameNode角色的工作。 5、在Hadoop HA中，Zookeeper集群为每个NameNode都分配了一个故障恢复控制器，该控制器用于监控NameNode的健康状态。
答案（AI解析）： 1、错误。ResourceManager负责监控 ApplicationMaster，并在 ApplicationMaster 运行失败的时候重启，大大提高集群的拓展性。ResourceManager不负责 ApplicationMaster 内部任务的容错，任务的容错由 ApplicationMaster 完成，总体来说，ApplicationMaster 的主要功能是资源的调度、监控与容错。 2、正确。NodeManager是每个节点上的资源管理器和任务管理器，它负责管理容器、资源使用和任务执行等功能。 3、正确。Hadoop HA通过启动两台或更多的机器作为NameNode，实现了高可用性，防止单点故障导致整个集群不可用。 4、错误。在Hadoop HA中，只有一个Active NameNode在执行NameNode角色的工作，其他的NameNode处于Standby状态。当Active NameNode发生故障时，Standby NameNode将接管其角色。 5、正确。在Hadoop HA中，Zookeeper集群确实为每个NameNode都分配了一个故障恢复控制器，用于监控NameNode的健康状态。
选择题：下列选项描述错误的是？ A、Hadoop HA即集群中包含Secondary NameNode作为备份节点存在。 B、ResourceManager负责的是整个Yarn集群资源的监控、分配和管理工作 C、NodeManager负责定时的向ResourceManager汇报所在节点的资源使用情况以及接收并处理来自ApplicationMaster的启动停止容器（Container）的各种请求。 D、初次启动Hadoop HA集群时，需要将格式化文件系统后的目录拷贝至另外一台NameNode节点上。
答案： 选A，Secondary NameNode名字给人感觉像是NameNode的备份，实际不是，是属于Standby备用状态。
简答题：简述Hadoop HA集群的启动步骤 答： （1）启动集群各个节点的Zookeeper服务； （2）启动集群各个节点监控NameNode的管理日志的JournalNode； （3）在node-01节点格式化NameNode，并将格式化后的目录拷贝到node-02中； （4）在node-01节点上格式化ZKFC； （5）在node-01节点上启动HDFS； （6）在node-01节点上启动YARN。
OK，以上就是本期知识点“Hadoop高可用集群”的知识啦~~ ，感谢友友们的阅读。后续还会继续更新，欢迎持续关注哟~ 如果有错误❌，欢迎批评指正呀~让我们一起相互进步 如果觉得收获满满，可以点点赞支持一下哟~
❗ 转载请注明出处 作者：HinsCoder 博客链接： 作者博客主页
推荐阅读
发表评论