apache linux Hadoop伪分布基本搭建

Linux配置网络

vi /etc/sysconfig/network-scripts/ifcfg-ens33

ONBOOT=yes

BOOTPROTO=static

并增加如下几行字符

IPADDR=192.168.144.137

NETMASK=255.255.255.0

GATEWAY=192.168.144.2

DNS1=192.168.144.2

DNS2=8.8.8.8

上面改成自己的IP

重启网络服务

service network restart

ping baidu.com                   实验网络是否通

yum install -y vim          安装vim

关闭防火墙

systemctl status firewalld # 查看防火墙状态   

systemctl stop firewalld     # 关闭防火墙

systemctl disable firewalld # 取消防火墙自启动

修改主机名称

vim /etc/hostname

hadoop   （自己定义）

修改IP地址映射文件

vim /etc/hosts

192.168.50.130 hadoop    <自己的ip地址> <定义的主机名>

修改windos C盘:\Windows\System32\drivers\etc\hosts 文件映射

192.168.50.130 hadoop          <和上面的ip一样>

创建文件夹

mkdir app software data tools

上传hadoop  jdk  文件到software

解压安装

tar -zxvf jdk-8u361-linux-x64.tar -C ~/app

tar -zxvf hadoop-3.3.1.tar.gz -C ~/app

创建软连接

（在root目录下使用）

ln -s /root/app/jdk-8u361-linux-x64 /root/app/java   

ln -s /root/app/hadoop-3.3.1 /root/app/hadoop

修改系统环境变量文件

vim /etc/profile

# JAVA ENV

export JAVA_HOME=/root/app/java

export PATH=$PATH:$JAVA_HOME/bin

# HADOOP ENV

export HADOOP_HOME=/root/app/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

升级一下  source /etc/profile

vim ~/.bashrc

#JAVA ENV

export JAVA_HOME=/root/app/java

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

#HADOOP ENV

export HADOOP_HOME=/root/app/hadoop

#PATH

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

升级一下

source ~/.bashrc

安装验证

java -version

hadoop version

配置Hadoop文件

（下列配置文件中的”主机名“要改成自己的主机名称）

cd app/hadoop/etc/hadoop   文件路径

vim hadoop-env.sh

export JAVA_HOME=/root/app/java

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vim core-site.xml

                        hadoop.tmp.dir

                        /root/data/tmp

                        fs.defaultFS

                        hdfs://主机名:9000

vim hdfs-site.xml

                dfs.replication

                1

                dfs.namenode.name.dir

                /root/data/dfs/name

                dfs.datanode.data.dir

                /root/data/dfs/data

                dfs.namenode.checkpoint.dir

                /root/data/dfs/namesecondary

                dfs.namenode.secondary.http-address

                主机名:9868

                dfs.permissions

                false

vim mapred-site.xml

                        mapreduce.framework.name

                        yarn

vim yarn-site.xml

                        yarn.resourcemanager.hostname

                        主机名

                        yarn.nodemanager.aux-services

                        mapreduce_shuffle

vim workes

<自己的主机名>                      （完全分布的也是一样）

ssh免密登录 

（可以做完全分布的时候做免密登录，也可以做伪分布的时候做）

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

hdfs namenode -format   格式化集群服务  启动集群服务

然后jps一下看一下几个值六个是正确的

参考文章