柚子快报激活码778899分享：记录spark本地开发的历程

http://www.51969.com/

本地使用scala开发spark，首先需要安装和配置scala，spark以及hadoop环境。

scala安装

在scala官网下载，https://www.scala-lang.org/download/ 我选择的是scala 2.13版本，下载完成后，scala配置到系统的path中去，配置方法像jdk那种。

spark和hadoop环境安装

下载spark的地址：http://spark.apache.org/downloads.html ，入下图所示，我下载是图中的spark-3.0.3-bin-hadoop2.7.tgz，根据文件名称我们可以知道，下载hadoop必须要hadoop 2.7才可以。 下载hadoop地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/ 。

spark与hadoop下载完毕后，他们两者放到指定目录下解压即可，然后对应的bin配置在path中。

解压spark，我的spark解压的路径为：C:\workspace\spark-3.0.3-bin-hadoop2.7 解压hadoop，解压路径为： C:\workspace\hadoop-2.7.1

然后在系统中的环境变量中配置SPARK_HOME为 在path中添加 %SPARK_HOME%\bin，%SPARK_HOME%\sbin Hadoop也是如此，在环境变量中HADOOP_HOME，然后在path中添加%HADOOP_HOME%\bin即可。

在配置完成后，在cmd中运行spark-shell时会出现没有winutils.exe的错误，根据如下的链接，下载被拷贝到hadoop的bin目录下（我的拷贝到C:\workspace\hadoop-2.7.1\bin目录下了） https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

idea中运行demo程序

pom文件中需要引入如下的依赖

2.3.1

2.7.1

org.apache.spark

spark-sql_2.11

${spark.version}

org.apache.spark

spark-core_2.11

${spark.version}

org.apache.spark

spark-hive_2.11

${spark.version}

org.apache.spark

spark-streaming-kafka-0-10_2.11

${spark.version}

org.apache.spark

spark-streaming_2.11

${spark.version}

org.apache.hadoop

hadoop-common

${hadoop.version}

org.apache.spark

spark-sql-kafka-0-10_2.11

${spark.version}

io.netty

netty-all

4.1.47.Final

org.apache.commons

commons-lang3

3.10

创建项目选择的scala版本要与pom中指定的scala版本要保持一致，否则会报错 如下是在idea中创建的demo程序，程序是读取文件中的十行内容并打印出来

import org.apache.spark.{SparkConf, SparkContext}

object CountJob {

def main(args: Array[String]): Unit = {

println(System.getenv("HADOOP_HOME"))

val conf = new SparkConf().setAppName("countJob").setMaster("local[*]")

val sc = new SparkContext(conf)

val rdd5 = sc.textFile("data/access.log")

rdd5.take(10).foreach(println(_))

}

}

柚子快报激活码778899分享：记录spark本地开发的历程

http://www.51969.com/

查看原文