首页 > 其他 > 详细

hadoop wordcount程序缺陷

时间:2014-05-30 08:31:41      阅读:395      评论:0      收藏:0      [点我收藏+]

在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。

自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。

所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。

Configuration.addDefaultResource("hdfs-default.xml");
Configuration.addDefaultResource("hdfs-site.xml");
Configuration.addDefaultResource("mapred-default.xml");
Configuration.addDefaultResource("mapred-site.xml");
Configuration conf = getConf();

hadoop wordcount程序缺陷,布布扣,bubuko.com

hadoop wordcount程序缺陷

原文:http://www.cnblogs.com/chenfool/p/3756941.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!