首页 > 其他 > 详细

map函数或reduce函数中如何调用第三方jar包

时间:2014-09-02 20:04:05      阅读:319      评论:0      收藏:0      [点我收藏+]

    一般我们在mapreduce程序中调用第三方jar包时会出现找不到jar包的问题,检查发现jar包就在相应路径,mapreduce任务就是找不到。仔细想想会发现,这个jar包是放在执行mapreduce主程序机器上的内存中,一般为客户端机器。而我们在map或者reduce函数中调用该jar包时是在集群的机器上的内存中调用,这样怎么可以调用。可以使用以下方法:

    1 把jar包提前放在集群每天机器上。

    2 和集群调用mysql驱动程序一样,先将jar包放入hdfs,然后通过mysql的distributedcache将jar包分发到每台机器。


map函数或reduce函数中如何调用第三方jar包

原文:http://my.oschina.net/mkh/blog/309295

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!