1. 准备java环境

在cmd中输入java -version,建议用8,高版本可能不兼容

2. 下载安装hadoop所需文件

hadoop3.1.0安装包:Apache Hadoop,下载解压

Windows环境安装所需的bin:GitHub - s911415/apache-hadoop-3.1.0-winutils: HADOOP 3.1.0 winutils

3. 下载并解压之后的文件

4. 替换hadoop-3.1.0包中的bin文件夹

打开apache-hadoop-3.1.0-winutils-master包下,发现只有个bin文件夹

用这个bin文件夹,替换掉hadoop-3.1.0包里面的bin文件夹

5. 配置hadoop环境变量

新建系统变量,变量名 HADOOP_HOME ,变量值为对应hadoop的安装路径,我的是 D:\software-pro\hadoop\hadoop-3.1.0

然后编辑Path变量,增加 %HADOOP_HOME%\bin

6. 检查环境变量是否配置成功

输入 hadoop version

7. 配置hadoop的配置文件

进入 D:\software-pro\hadoop\hadoop-3.1.0\etc\hadoop 文件夹

  1. 配置core-site.xml文件

在文档最后增加

fs.defaultFS

hdfs://localhost:9000

hadoop.http.staticuser.user

hadoop

 2. 配置mapred-site.xml

在文档最后增加

mapreduce.framework.name

yarn

3. 配置yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

4. 新建data目录用户后续存放namenode文件夹和datanode文件夹

在安装包里新建data目录

5. 配置hdfs-site.xml

dfs.replication

1

dfs.namenode.name.dir

file:/D:/software-pro/hadoop/hadoop-3.1.0/data/namenode

dfs.datanode.data.dir

file:/D:/software-pro/hadoop/hadoop-3.1.0/data/datanode

dfs.permissions

false

里面两个文件夹dfs.namenode.name.dir,dfs.datanode.data.dir的值,对应上自己的data目录,注意file:开头dfs.permissions是否在HDFS中开启权限检查,默认为true,这里设置成false,确保后续创建文件夹和上传文件有权限

6. 配置hadoop-env.sh

配置jdk路径,注意带上bin

export JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141\bin

注意:如果jdk路径放在Program File路径下,因为中间有空格,需要换成 PROGRA~1

7. 配置hadoop-env.cmd

配置jdk路径

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141

8.启动hadoop服务

进入D:\software-pro\hadoop\hadoop-3.1.0\bin目录,在cmd窗口执行

hdfs namenode -format

双击start-all.cmd

出现4个窗口,注意不要关它

9. 访问页面

打开http://localhost:9870/

10. 问题解决

出现创建文件夹,或者上传文件,权限不足,打开F12,找到接口url上的域名,我这里是 windows10.microdone.cn

最后配置hosts解决

好文阅读

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。