报错:WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

解决方法:

1.配置环境

spark的解压路径下 将其添加到环境变量:

%SPARK_HOME%\bin;%SPARK_HOME%\sbin;%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.9-src.zip;%PYTHONPATH%

2.把配置中spark.executor.processTreeMetrics 改成false

修改metrics.properties.template文件为metrics.properties 在metrics.properties内添加:

spark.executor.processTreeMetrics.enabled=false

基本都是spark3.0及以上的版本才会出现,相当于屏蔽掉问题。

3.使用spark-3.0以前的版本

下载地址:https://archive.apache.org/dist/spark/ 下载解压spark-2.4.8-bin-hadoop2.7.tgz,如果出现一样的问题就用以上方法解决。

参考文章

评论可见,请评论后查看内容,谢谢!!!评论后请刷新页面。