spark提交自己编写的jar的时候如果出现如上的错误,多半是你项目中使用的spark相关jar的版本和你提交到的spark的版本不匹配,如下:
项目pom.xml导入的spark-core版本号如下:
<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>2.4.5</version> </dependency>
但是你spark集群的版本又是2.11的,项目中使用的jar的版本一定要和spark目录下面的jars里面的版本一致才行
java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)
原文:https://www.cnblogs.com/wkaca7114/p/spark-version.html