今天爱分享给大家带来spark.SparkContext: Error initializing SparkContext[解决办法]，希望能够帮助到大家。
开启spark-shell时报了如下错误:
从报错的日志上面来看可以知道它说SparkContext初始化异常，并且和hadoop的端口通信的时候显示连接失败。刚开始的时候我检查了启动的spark进程发现也没问题。
[root@hadoop102 logs]# showjps.sh ===================== root@hadoop102 ======================= 7315 Worker 7395 Jps 7237 Master ===================== root@hadoop103 ======================= 7277 Jps 7199 Worker ===================== root@hadoop104 ======================= 7202 Worker 7272 Jps
本来我是没有想在开启hadoop的，但是既然日志说连接不上hadoop那只好在去开启一下hadoop，果然在开启以后再重新打开spark-shell既然不报错了，我又去查找配置不久的spark中Standalone模式下的配置资料，发现在spark/conf目录里面的spark-defaults.conf这个文件我做了更改，因为要配置spark的历史服务器，而我历史服务器中spark.eventLog.dir这个属性对应的值我写的是hadoop，所以在每次启动spark的submit模式或者是shell窗口都会先把日志写在hadoop的hdfs里面，所以上述的报错可以有以下两种方式解决。
1.spark的历史服务器日志配置在本地Linux文件系统上
2.依旧使用hdfs文件系统作为写入日志的地方，不过开启sp