spark.SparkContext: Error initializing SparkContext[解决办法]

今天爱分享给大家带来spark.SparkContext: Error initializing SparkContext[解决办法],希望能够帮助到大家。
开启spark-shell时报了如下错误:

spark.SparkContext: Error initializing SparkContext[解决办法]插图

从报错的日志上面来看可以知道它说SparkContext初始化异常,并且和hadoop的端口通信的时候显示连接失败。刚开始的时候我检查了启动的spark进程发现也没问题。


[root@hadoop102 logs]# showjps.sh 
===================== root@hadoop102 =======================
7315 Worker
7395 Jps
7237 Master
===================== root@hadoop103 =======================
7277 Jps
7199 Worker
===================== root@hadoop104 =======================
7202 Worker
7272 Jps



本来我是没有想在开启hadoop的,但是既然日志说连接不上hadoop那只好在去开启一下hadoop,果然在开启以后再重新打开spark-shell既然不报错了,我又去查找配置不久的spark中Standalone模式下的配置资料,发现在spark/conf目录里面的spark-defaults.conf这个文件我做了更改,因为要配置spark的历史服务器,而我历史服务器中spark.eventLog.dir这个属性对应的值我写的是hadoop,所以在每次启动spark的submit模式或者是shell窗口都会先把日志写在hadoop的hdfs里面,所以上述的报错可以有以下两种方式解决。

1.spark的历史服务器日志配置在本地Linux文件系统上

2.依旧使用hdfs文件系统作为写入日志的地方,不过开启sp

人已赞赏
服务器

阿里云服务器AliHids进程跑满100%CPU【解决办法】

2020-11-28 22:29:32

服务器

华为云服务器安全组如何放行【最新教程】

2020-12-1 9:57:57

'); })();