首页 > 其他 > 详细

最新HADOOP 调优常用参数统计表

时间:2014-03-11 17:16:17      阅读:560      评论:0      收藏:0      [点我收藏+]

bubuko.com,布布扣

bubuko.com,布布扣

bubuko.com,布布扣

1 Linux文件系统参数调整
(1) noatime 和 nodiratime属性
文件挂载时设置这两个属性可以明显提高性能。。默认情况下,Linux ext2/ext3 文件系统在文件被访问、创建、修改时会记录下文件的时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。如果系统运行时要访问大量文件,关闭这些操作,可提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。
(2) readahead buffer
调整linux文件系统中预读缓冲区地大小,可以明显提高顺序读文件的性能。默认buffer大小为256 sectors,可以增大为1024或者2408 sectors(注意,并不是越大越好)。可使用blockdev命令进行调整。
(3) 避免RAID和LVM操作
避免在TaskTracker和DataNode的机器上执行RAID和LVM操作,这通常会降低性能。


参考文档:

http://hadoop.apache.org/docs/current/

http://www.360doc.com/content/11/0701/19/2159920_130883351.shtml


本文出自 “康建华” 博客,请务必保留此出处http://michaelkang.blog.51cto.com/1553154/1372526

最新HADOOP 调优常用参数统计表,布布扣,bubuko.com

最新HADOOP 调优常用参数统计表

原文:http://michaelkang.blog.51cto.com/1553154/1372526

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!