HDFS的block大小设置

• 文件块越大，寻址时间越短，磁盘传输时间越长

  文件块越小，寻址时间越长，磁盘传输时间越短

• block设置过大

  • 传输数据时间过长，导致在处理这块数据时，变得非常慢

• block设置过小

  • 会占用NameNode大量内存来存储元数据
  • 寻址时间过长

• block大小设置

  • HDFS平均寻址时间大概为10ms

  • 寻址时间为传输时间的1%时，为最佳状态，最佳传输时间为10ms/0.01 = 1s

  • 磁盘传输速率为100MB/s，最佳block大小为128MB

    磁盘传输速率为200MB/s，最佳block大小为256MB

    磁盘传输速率为400MB/s，最佳block大小为512MB

HDFS的block大小设置

原文：https://www.cnblogs.com/lijiong/p/14415601.html