首页 > 编程语言 > 详细

No job jar file set. User classes may not be found. See Job or Job#setJar(String)

时间:2016-03-17 12:54:10      阅读:472      评论:0      收藏:0      [点我收藏+]

软件版本:hadoop2.2 ,eclipse4.5 ,jdk1.7

问题描述:在进行Java程序调用Hadoop集群时,使用下面的代码时,运行会给出如题所示提示

job.setJarByClass(SampleJob.class);
可是明明是设置了JarByClass为什么提示没有设置呢?

预备知识:

1. java调用Hadoop的时候,直接配置Configuration即可直接调用hadoop,运行job,如下:

 conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务
			conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode
			conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架
			conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager
			conf.set("yarn.resourcemanager.scheduler.address", schedulernode+":8030");// 指定资源分配器
			conf.set("mapreduce.jobhistory.address", jobhistorynode+":10020");// 指定historyserver

这时,还需要做个操作即把相关的class文件打包,然后放到hadoop集群的lib目录

技术分享

然后再次调用即可运行,虽然这时还是有这个提示;

解决方法:

使用代码:

job.setJar("C:\\Users\\fansy\\Desktop\\jars\\kmeans1.jar");
其中kmeans1.jar是把相关jar打包后的jar文件,这样就可以不用拷贝到hadoop集群的lib目录了;

后台分析:

跟踪代码,发现,如果设置了setJar,后台代码其实是把这个文件拷贝到job运行的tmp临时目录了,如下:

技术分享

在运行完377行代码后,查看HDFS文件:

技术分享


最后附上两个设置运行对比:

setJarByClass:

技术分享

setJar:

技术分享


分享,成长,快乐

脚踏实地,专注

转载请注明blog地址:http://blog.csdn.net/fansy1990



No job jar file set. User classes may not be found. See Job or Job#setJar(String)

原文:http://blog.csdn.net/fansy1990/article/details/50912132

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!