首页 > 其他 > 详细

cdh看完官方文档后小结002

时间:2019-05-23 22:17:53      阅读:149      评论:0      收藏:0      [点我收藏+]
1、Cloudera Manager包含内部机架感知脚本,但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机,Cloudera建议您为每个主机指定机架。 HDFS,MapReduce和YARN将自动使用您指定的机架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

2、cdh不同版本支持的操作系统 参考链接为
https://blog.csdn.net/high2011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

3、停用主机停用并停止主机上的所有角色,而无需单独停用每个服务上的角色。 退役仅适用于HDFS DataNode,MapReduce TaskTracker,YARN NodeManager和HBase RegionServer角色。 如果主机上运行了其他角色,则会停止这些角色。在主机上的所有角色都已停用并停止后,可以从服务中删除主机。 您可以并行停用多个主机。

4、如果DataNode的数量等于HDFS中存储的任何文件的复制因子(默认值为3),则无法停用DataNode或具有DataNode的主机。例如,如果任何文件的复制因子为3,并且您有三个DataNode,则无法停用DataNode或具有DataNode的主机。如果在这种情况下尝试停用DataNode或具有DataNode的主机,则DataNode将被停用,但停用过程将无法完成。您必须中止退役并重新启动DataNode。
//这句话的意思就是 只有3台datanode 但是你要停用一台,但是复制因子是3 必须修改复制因子之后,才可以停用一台datanode
注意:退出DataNode时,不会从存储目录中删除数据块。您必须手动删除数据。

5、当一个DataNode退役时,NameNode确保来自DataNode的每个块仍然可以在复制因子的指示下在整个群集中可用。 此过程涉及以小批量从DataNode复制块。 如果DataNode有数千个块,则退役可能需要几个小时。 在使用DataNodes停用主机之前,您应首先调整HDFS:
(1、)运行以下命令以识别HDFS文件系统中的任何问题:
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/hdfs-fsck.txt
(2、)修复fsck命令报告的任何问题。 如果命令输出列出了损坏的文件,请使用fsck命令将它们移动到lost + found目录或删除它们:
hdfs fsck file_name -move 或者 hdfs fsck file_name -delete
(3、)提高DataNodes的堆大小。 DataNodes应配置至少4 GB的堆大小,以允许迭代和最大流的增加。
????转到HDFS服务页面。
????单击“配置”选项卡。
????选择Scope> DataNode。
????选择类别>资源管理。
????按建议设置“字节数”中的“数据堆大小”。
(4、)设置DataNode平衡带宽:
???? 选择Scope> DataNode。
???? 展开“类别”>“性能”类别。
???? 将DataNode Balancing Bandwidth属性配置为磁盘和网络上的带宽。 您可以使用低于此值的值,以便最大限度地减少退役对群集的影响,但权衡是退役将需要更长时间。
???? 单击“保存更改”以提交更改。
(5、)将每次迭代的复制工作乘数增加到更大的数字(默认值为2,但建议为10):
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将“每次迭代复制工作乘数”属性配置为值10,例如10。
???? 要根据需要将此配置属性应用于其他角色组,请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(6、)增加复制最大线程数和最大复制线程硬限制:
???? 选择Scope> NameNode。
???? 展开“类别”>“高级”类别。
???? 将DataNode上的最大复制线程数和DataNode属性上复制线程数的硬限制分别配置为50和100。 您可以减少线程数(或使用默认值)以最小化退役对群集的影响,但权衡是退役将花费更长时间。
???? 要根据需要将此配置属性应用于其他角色组,请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
???? 单击“保存更改”以提交更改。
(7、)重启HDFS服务。
有关其他调整建议,请参阅性能注意事项。
参考链接为 : https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_decomm_host.html

参考链接:

cdh看完官方文档后小结002

原文:https://blog.51cto.com/12445535/2399294

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!