首页 > 其他 > 详细

spark常见错误【持续更新】

时间:2019-12-11 18:20:49      阅读:125      评论:0      收藏:0      [点我收藏+]

错误1.错误: 找不到或无法加载主类 idea、scala代码

idea 导入的scala工程,编写代码后报该错误。

原因:\src\main\scala 包路径下没有将scala这个包设置成Sources root

解决:设置scala的文件夹属性

技术分享图片

 


 错误2.

ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception java.lang.NullPointerException

WARN spark.ExecutorAllocationManager: No stages are running, but numRunningTasks != 0

该错误是使用sparksql的时候报的错,原因是我的数据量太大导致的

解决适当的增加 --driver-memory 的大小即可

spark常见错误【持续更新】

原文:https://www.cnblogs.com/qinglanmei/p/12024174.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!