1 Linux文件系统参数调整
(1) noatime 和 nodiratime属性
文件挂载时设置这两个属性可以明显提高性能。。默认情况下,Linux ext2/ext3 文件系统在文件被访问、创建、修改时会记录下文件的时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间。如果系统运行时要访问大量文件,关闭这些操作,可提升文件系统的性能。Linux 提供了 noatime 这个参数来禁止记录最近一次访问时间戳。
(2) readahead buffer
调整linux文件系统中预读缓冲区地大小,可以明显提高顺序读文件的性能。默认buffer大小为256 sectors,可以增大为1024或者2408 sectors(注意,并不是越大越好)。可使用blockdev命令进行调整。
(3) 避免RAID和LVM操作
避免在TaskTracker和DataNode的机器上执行RAID和LVM操作,这通常会降低性能。
参考文档:
http://hadoop.apache.org/docs/current/
http://www.360doc.com/content/11/0701/19/2159920_130883351.shtml
本文出自 “康建华” 博客,请务必保留此出处http://michaelkang.blog.51cto.com/1553154/1372526
最新HADOOP 调优常用参数统计表,布布扣,bubuko.com
最新HADOOP 调优常用参数统计表
原文:http://michaelkang.blog.51cto.com/1553154/1372526