二、Hadoop运行模式

1)Hadoop官方网站:http://hadoop.apache.org

2)Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。

伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。

完全分布式模式:多台服务器组成分布式环境。生产环境使用。

2.1 完全分布式运行模式(开发重点)

分析:

1.准备3台虚拟机(关闭防火墙、静态IP、主机名称)

2.安装JDK

3.配置环境变量

4.安装Hadoop

5.配置环境变量

6.配置集群

7.单点启动

8.配置ssh

9.群起并测试集群

2.2.1 虚拟机准备

详见1.1、1.2两节。

2.2.2 编写集群分发脚本xsync

1)scp(secure copy)安全拷贝

scp定义:scp可以实现服务器与服务器之间的

查看原文