首页 > 其他 > 详细

Hadoop3新特性

时间:2019-04-05 13:22:10      阅读:139      评论:0      收藏:0      [点我收藏+]

1.添加Classpath isolation,防止不同版本的jar包出现冲突。

2.支持Shell重写。

3.支持HDFS中的擦除编码【Erasure Encoding】,默认的EC策略可以节省50%的存储空间,同时还可以承受更多的存储故障。

4.DataNode内部添加了负载均衡【Disk Balancer】,进行磁盘之间的负载均衡。

5.MapReduce任务级本地优化。

6.MapReduce内存参数自动推断。mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts。

7.基于cgroup的内存隔离和IO Disk隔离。

8.支持更改分配容器的资源Container resizing。

 

Hadoop3新特性

原文:https://www.cnblogs.com/yszd/p/10658420.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!