2021年1月19日星期二

踩坑 scala 打包上传 找不到类

scala 打包上传 找不到类 看看pom文件

出现的问题

​ 打包后上传到 spark-submit 提交,报错集群找不到class

寻找原因

  1. 创建是object文件,main方法可执行,在此确定代码编写没问题,寻找别的原因

  2. clean 后重新打包,发现无效

  3. 更换打包方法

    • 一开始是使用的maven中的package打包,然后改成了去 Artifacts中打包,上传后依然找不到,自己去jar包中查找找不到对应类,目标指向配置
  4. 去看maven配置,最后在pom.

    <executions>	<execution>		<goals>			<goal>compile</goal>			<goal>testCompile</goal>		</goals>		<configuration>  	<args>  		<arg>-dependencyfile</arg>				<arg>${project.build.directory}/.scala_dependencies</arg>  	</args>  </configuration>	</execution></executions>

    PS:这是应该放到 scala-maven-plugin 中的

重新package打包上传,sparl-submit运行成功

关于插件

​ 去网上查询插件相关内容:scala-maven-plugin是用来让maven能够编译、测试、运行scala项目的

<goal>compile</goal>编译scala code<goal>testCompile</goal>编译test code

没有评论:

发表评论