1.上传并解压相应的包
2.设置JAVA环境变量
(1)在文件的最后增加如下两行
(2)执行 source 使设置生效
(3)检查 JAVA 是否可用
能够正常显示 Java 版本则说明 JDK 安装并配置成功
实现免密登陆
(1)创建ssh秘钥,输入如下命令,生成公私密钥
(2)将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出
Hadoop环境的安装与配置
(1)修改环境变量最后两行加入以下内容
(2)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的hadoop-env.sh
修改配置文件为jdk的安装路径
(3) 编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的core-site.xml
(4)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的hdfs-site.xml
(5)复制usr/local/src/hadoop-2.7.1/etc/hadoop/下的mapred-site.xml.template并改名位mapred-site.xml
(6)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的mapred-site.xml
(7)编辑usr/local/src/hadoop-2.7.1/etc/hadoop/下的yarn-site.xml
(8)编辑salves
(9)格式化hdfs
(10)启动集群 jps查看,登录网页
安装伪分布式spark
(1)解压复制文件重命名
(2)修改配置文件
(3)进入spark目录的/sbin下启动spark集群,jps查看
(4)启动spark-shell
(5)查看网址
安装伪分布式scala
(1)解压并配置文件
(2)重新加载
(3)启动
好文阅读
发表评论