首页 > 其他 > 详细

解决Hadoop一些小问题(整理版)

时间:2014-09-24 18:20:28      阅读:309      评论:0      收藏:0      [点我收藏+]
1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间


2 解决Hadoop小文件问题?
   数据块的默认大小是64M,如果一个文件的大小小于64M,那么它就属于Hadoop的小文件。
这样会浪费空间,所以要使用archive的方式来实现归并小文件。数据块的大小可以使用
dfs.block.size这个属性进行配置。


3 start-dfs.sh的告警信息
unable to load native-hadoop library for your platform…
using built-in java classes
没有找到native库,使用内置的java code,这个说明你没有完全成功地编译的Hadoop系统。
最好下载源码,一步一步编译源代码,得到最终编译后的文件。

解决Hadoop一些小问题(整理版)

原文:http://blog.csdn.net/john_f_lau/article/details/37814545

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!