大数据 Spark和Scala环境安装与部署

Spark和Scala环境安装与部署

一、下载安装包

（1）前往spark和scala官网下载安装包

scala：All Available Versions | The Scala Programming Language (scala-lang.org)

       下载Scala2.12.12版本

spark：Apache Download Mirrors

（2）将安装包导入虚拟机使用xshell或拖拽，这里建议导到opt目录下

二、进行scala的安装配置

1.解压安装包   

tar -zxvf /opt/scala-2.12.12.tgz -C /opt/

2.配置scala环境变量

vim /etc/profile

#SCALA

export SCALA_HOME=/opt/scala-2.12.12

export PATH=$PATH:${SCALA_HOME}/bin

图中SCALA_HOME是Scala的安装路径

3.然后source /etc/profile使环境变量生效，接着scala -version查看是否安装成功，出现画线版本号即为成功

三、进行spark安装配置

1.解压安装spark安装包

tar -zxvf / export/ software/ spark-3.1.1-bin-hadoop3.2.tgz

2.spark-1.1-bin-hadoop3.2文件名字太长，改名字为spark方便后续操作

mv spark-1.1-bin-hadoop3.2 spark

3.配置环境变量  vim /etc/profile

#SPARK

export SPARK_HOME=/opt/spark

export PATH=$PATH:${SPARK_HOME}/bin

export PATH=$PATH:${SPARK_HOME}/sbin

这里 SPARK_HOME是spark的安装路径

4.source /etc/profile使环境生效

5.修改配置文件  进入spark里的conf目录备份文件

cd /opt/spark/conf

cp spark-env.sh.template spark-env.sh

6.修改配置文件  在spark下的conf目录打开env   vim spark-env.sh

export SCALA_HOME=/opt/scala-2.12.12

export JAVA_HOME=/opt/module/java

export SPARK_MASTER_IP=master

export SPARK_WOKER_CORES=2

export SPARK_WOKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

#export SPARK_MASTER_WEBUI_PORT=8080

#export SPARK_MASTER_PORT=7070

7.修改从节点ip

   vi slaves 修改内容为slave1 slave2(我的子机分别为是slave1 slave2

8.分发文件

scp -r /opt/spark / slave1:/opt/

scp -r /opt/spark/ slave2:/opt/

9.分别在slave1 slave2上设置环境变量

#SPARK

export SPARK_HOME=/opt/spark

export PATH=$PATH:${SPARK_HOME}/bin

export PATH=$PATH:${SPARK_HOME}/sbin

10启动集群：spark下sbin目录下：./start-all.sh

查看节点状态 在主节点master上出现Master 在s1上出现Worker在s2上出现Worker

master：

slave1

slave2

查看spark是否安装成功 返回主目录下输入Spark-shell

以上就是操作过程

相关文章