首页 > Web开发 > 详细

踩坑 scala 打包上传 找不到类

时间:2021-01-19 00:43:20      阅读:76      评论:0      收藏:0      [点我收藏+]

出现的问题

? 打包后上传到 spark-submit 提交,报错集群找不到class

寻找原因

  1. 创建是object文件,main方法可执行,在此确定代码编写没问题,寻找别的原因

  2. clean 后重新打包,发现无效

  3. 更换打包方法

    • 一开始是使用的maven中的package打包,然后改成了去 Artifacts中打包,上传后依然找不到,自己去jar包中查找找不到对应类,目标指向配置
  4. 去看maven配置,最后在pom.xml找到原因,翻看博客发现相比之前少写了一项配置

    <executions>
    	<execution>
    		<goals>
    			<goal>compile</goal>
    			<goal>testCompile</goal>
    		</goals>
    		<configuration>
            	<args>
            		<arg>-dependencyfile</arg>
    				<arg>${project.build.directory}/.scala_dependencies</arg>
            	</args>
            </configuration>
    	</execution>
    </executions>
    

    PS:这是应该放到 scala-maven-plugin 中的

重新package打包上传,sparl-submit运行成功

关于插件

? 去网上查询插件相关内容:scala-maven-plugin是用来让maven能够编译、测试、运行scala项目的

<goal>compile</goal>编译scala code
<goal>testCompile</goal>编译test code

踩坑 scala 打包上传 找不到类

原文:https://www.cnblogs.com/xp-thebest/p/14295887.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!