spark.SparkContext: Error initializing SparkContext[解决办法]

今天爱分享给大家带来spark.SparkContext: Error initializing SparkContext[解决办法],希望能够帮助到大家。
开启spark-shell时报了如下错误:

从报错的日志上面来看可以知道它说SparkContext初始化异常,并且和hadoop的端口通信的时候显示连接失败。刚开始的时候我检查了启动的spark进程发现也没问题。


[root@hadoop102 logs]# showjps.sh 
===================== root@hadoop102 =======================
7315 Worker
7395 Jps
7237 Master
===================== root@hadoop103 =======================
7277 Jps
7199 Worker
===================== root@hadoop104 =======================
7202 Worker
7272 Jps



本来我是没有想在开启hadoop的,但是既然日志说连接不上hadoop那只好在去开启一下hadoop,果然在开启以后再重新打开spark-shell既然不报错了,我又去查找配置不久的spark中Standalone模式下的配置资料,发现在spark/conf目录里面的spark-defaults.conf这个文件我做了更改,因为要配置spark的历史服务器,而我历史服务器中spark.eventLog.dir这个属性对应的值我写的是hadoop,所以在每次启动spark的submit模式或者是shell窗口都会先把日志写在hadoop的hdfs里面,所以上述的报错可以有以下两种方式解决。

1.spark的历史服务器日志配置在本地Linux文件系统上

2.依旧使用hdfs文件系统作为写入日志的地方,不过开启sp

原文链接:https://blog.itblood.com/2449.html,转载请注明出处。
0
英雄派对v1.0 AI版[PC+安卓/919M/更新] [同人SLG/汉化/动态]
英雄派对v1.0 AI版[PC+安卓/919M/更新] [同人SLG/汉化/动态]
3分钟前 有人购买 去瞅瞅看

站点公告

显示验证码
没有账号?注册  忘记密码?