#  官网部分解释 Cluster Mode Overview - Spark 3.3.0 Documentation

Application:指的是用户编写的Spark应用程序/代码, 一个完整的main方法程序,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码,

  如main方法中有WordCount代码有哪些命令会产生一个Application

spark/bin/pyspark 【输入exit()就退出】

spark/bin/spark-submit 【main方法跑完就退出】

spark/bin/spark-shell 【输入:quit就退出】

spark/bin/spark-sql 【输入exit; 就退出】

在Pycharm中写完代码,右键执行run

spark/sbin/start-thriftserver.sh

只要上面的命令都运行,就可以在webui页面查看运行情况。(一般运行时页面端口是4040,也可能会轮询到4041等)

只要上面的命令都运行完毕或强行突出,那么Application就结束。同时

推荐阅读

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。

大家都在找:

spark:sparkle

大数据:大数据与会计

分布式:分布式系统架构

scala:scala是干什么的

大家都在看: