192.168.1.51 node-0001 192.168.1.52 node-0002 192.168.1.53 node-0003 2)安装java环境，在node-0001，node-0002，node-0003上面操作（以node-0001为例） [root@node-0001 ~]# yum -y install java-1.8.0-openjdk-devel 3)布置SSH信任关系 [root@hadoop1 ~]# vim /etc/ssh/ssh_config //第一次登陆不需要输入yes Host * GSSAPIAuthentication yes StrictHostKeyChecking no [root@hadoop1 .ssh]# ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: SHA256:Ucl8OCezw92aArY5+zPtOrJ9ol1ojRE3EAZ1mgndYQM root@hadoop1 The key’s randomart image is: ±–[RSA 2048]----+ | oE=. | | +XB+. | | …=Oo. | | o.+o… | | .S+… o | | + .=o | | o+oo | | o+=.o | | o==O. | ±—[SHA256]-----+ [root@hadoop1 .ssh]# for i in hadoop1 node-{0001…0003};do ssh-copy-id -i /root/.ssh/id_ras.pub ${i} done //部署公钥给hadoop1，node-0001，node-0002，node-0003

4）测试信任关系

[root@hadoop1 .ssh]# ssh node-0001 Last login: Fri Sep 7 16:52:00 2018 from 192.168.1.60 [root@node-0001 ~]# exit logout Connection to node-0001 closed. [root@hadoop1 .ssh]# ssh node-0002 Last login: Fri Sep 7 16:52:05 2018 from 192.168.1.60 [root@node-0002 ~]# exit logout Connection to node-0002 closed. [root@hadoop1 .ssh]# ssh node-0003

#### HDFS配置文件 查官方手册

* 环境配置文件：hadoop-env.sh

* 核心配置文件：core-site.xml

* HDFS配置文件：hdfs-site.xml

* 节点配置文件：slaves

1）修改slaves文件

[root@hadoop1 ~]# cd /usr/local/hadoop/etc/hadoop [root@hadoop1 hadoop]# vim slaves node-0001 node-0002 node-0003

2）hadoop的核心配置文件core-site

[root@hadoop1 hadoop]# vim core-site.xml fs.defaultFS hdfs://hadoop1:9000 hadoop.tmp.dir /var/hadoop [root@hadoop1 hadoop]# mkdir /var/hadoop //hadoop的数据根目录

3）配置hdfs-site文件

[root@hadoop1 hadoop]# vim hdfs-site.xml dfs.namenode.http-address hadoop1:50070 # 主机名:端口号 查手册 dfs.namenode.secondary.http-address hadoop1:50090 dfs.replication 2 # 副本数量

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/727fe9d3570a480d98ae2918d919471e.png#pic_center)

#### 配置Hadoop集群

启动集群（以下操作仅在hadoop1上执行）

[root@hadoop1 ~]# for i in node-{0001…0001};do rsync -aXSH --delete /usr/local/hadoop ${i}:/usr/local/ done [root@hadoop1 ~]# mkdir /var/hadoop [root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs namenode -format [root@hadoop1 ~]# /usr/local/hadoop/sbin/start-dfs.sh

验证集群配置

[root@hadoop1 ~]# for i in hadoop1 node-{0001…0003};do echo ${i}; ssh ${i} jps; echo -e “\n”; done [root@hadoop1 ~]# /usr/local/hadoop/bin/hdfs dfsadmin -report

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/aa68d108a6764453842a56c9dba0d429.png#pic_center)

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/3e5104bc9f3141a3bad76be25bfa2a71.png#pic_center)

### 日志与排错

日志文件夹在系统启动时会被自动创建

/usr/local/hadoop/logs

日志名称

* 服务名 - 用户名 - 角色名 - 主机名.out 标准输出

* 服务名 - 用户名 - 角色名 - 主机名.log 日志输出

## mapreduce 分布式离线计算框架

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6f5f07026dc146cab97970de9d0dff51.png#pic_center)

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/40092c323ca841d7b1b3adc9d16e35b1.png#pic_center)

1）配置mapred-site（hadoop1上面操作）

[root@hadoop1 ~]# cd /usr/local/hadoop/etc/hadoop/ [root@hadoop1 ~]# mv mapred-site.xml.template mapred-site.xml [root@hadoop1 ~]# vim mapred-site.xml mapreduce.framework.name yarn

## YARN集群资源管理系统

在之前创建的 4 台虚拟机上部署 Yarn

在虚拟机上安装部署 Yarn

hadoop1 部署 resourcemanager

node(1,2,3) 部署 nodemanager

在之前创建的 4 台虚拟机上部署 Yarn

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4f630e710014415bbaf76cc16096124d.png#pic_center)

![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/319fd17a4b354b9b975d80b95f9b005d.png#pic_center)

### 步骤一：安装与部署hadoop

1）配置yarn-site（hadoop1上面操作）

[root@hadoop1 hadoop]# vim yarn-site.xml

yarn.resourcemanager.hostname hadoop1 yarn.nodemanager.aux-services mapreduce_shuffle

2）同步配置（hadoop1上面操作）

[root@hadoop1 ~]# for i in node-{0001…0003}; do rsync -axXSH --delete /usr/local/hadoop/etc ${i}:/usr/local/hadoop/ done [root@hadoop1 ~]# /usr/local/hadoop/sbin/start-yarn.sh

3）验证配置（hadoop1上面操作）

[root@hadoop1 ~]# for i in hadoop1 node-{0001…0003}; do echo ${i}; ssh ${i} jps; echo -e “\n”;

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取） [外链图片转存中…(img-JSafqKm6-1712946089444)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

文章链接

评论可见，请评论后查看内容，谢谢！！！评论后请刷新页面。