什么是 CDH

? 我们在之前课程中介绍过CDH（Cloudera‘s Distribution Including Apache Hadoop）
是Hadoop发型版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发
型版。CDH的基础组件均基于Apache license开源，无论是个人学习还是企业使用都比较
有保障。

? CDH的大版本号目前编到6，我们简称为CDH6，其Hadoop核心组件对应社区的3.0.0版本，
并在该版本基础上打上各种补丁。在大版本号的后面还跟有2位小版本号，目前（2020.5
）最新的小版本为6.3.2。这个大版本目前在生产使用较少，后续会逐步增长。

? CDH5，其Hadoop核心组件对应社区的2.6.0版本。目前最新的小版本为5.16.2。其核心组
件版本可以对应社区3.0.0前最新的稳定版（例如2.6.5），其余重要组件的版本也并不
跟随社区最新的，例如HBase为1.2.0上打补丁（社区最新有3.0.0），Spark为1.6.0上打
补丁（社区最新有2.4.3）等。不盲目追求最新版本，可以使核心组件经过大量的测试和
生产环境使用。如果你对新版本有特殊需求，并有较强的排错能力，当然也可以替换部
分组件。

? CDH4对应Hadoop核心组件2.0，目前还能从Cloudera的仓库下载到，但是不推荐使用。

? CDH3以及更早的版本对应Hadoop核心组件1.x（包括0.22.x之前），目前已经下载不到，
如有这样版本的集群，应尽快备份数据和升级。

? CDH提供以下特性：

? 灵活性：能够存储各种类型的数据，并使用各种不同的计算框架进行操作，包括批处理
、交互式SQL、文本搜索、机器学习和统计计算。
? 集成性：能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件。
? 安全性：处理和控制敏感数据。
? 扩展性：能够部署多种应用，并扩展和扩充它们以满足你的需求。
? 高可用性：可以放心地用于关键的商业任务。
? 兼容性：可以利用你现有的IT基础设施和投资。

? CDH的主要功能模块如下图所示：

CM(cloudera manager)

? CM（Cloudera Manager）是一种管理CDH集群的端到端的应用。CM通过对CDH集群的各部
分提供精细的可视化和控制，建立了企业级部署的标准，增强了操作人员的能力以提升
性能、提升服务质量、提高合规性、降低管理成本。
? 通过CM，技术人员可以很容易地部署和集中化操作CDH技术栈和其它可托管的服务。它使
安装过程自动化，使部署时间从几个星期减少到几分钟；提供了一个集群范围、实时的
主机和服务运行情况的视图；提供了一个单一的中央控制台，以对集群配置进行变更；
并采用全方位的报告和诊断工具来帮助你优化性能和利用率

? 如下图所示，CM的核心是Cloudera Manager Server。Server承载了管理员控制台（
Admin Console Web Server）和应用逻辑，并负责安装软件、配置、启动、停止服务，
以及管理运行有服务的集群。
? Cloudera Manager Server与以下几个组件一同工作：
? 代理：在每个主机上安装，负责启动和停止进程、解包配置、触发安装、监控主机。
? 管理服务：由一组角色组成的服务，执行各种监视、告警、报告功能。
? 数据库：存储配置和监控信息。通常，多个逻辑数据库在一个或多个数据库服务器上运
行。例如，CMS和监控服务使用不同的逻辑数据库。
? Cloudera仓库：CM提供的用于软件分发的仓库。
? 客户端：与服务器交互的接口，包括
管理控制台，管理员使用该基于Web的界面以管理集群和CM。
API，开发者可使用API创建自定义的CM应用。

目录5

test....................5

软件包管理：

CM支持两种软件分发格式：packages和parcels

安全管理：

LADP+Kerberos

一、开始安装：

yum install -y createrepo

cd /etc/yum.repos.d

vi cm.repo

1、yum search cloud-manager-server

2、安装元数据库mysql

3、grep ‘temporary password‘ /var/log/mysqld.log ##过滤密码

4、keeplived+Mysql部署一个主-主双活的数据库（主从同步）

5、修改数据库密码 。创建scm、rman、hive、oozie、hue、sentry6套库和账号分别用于cloudera manager、reports manager、hive、ooize、hue、sentry存储数据；

6、yum -y install cloudera-manager-daemons cloudera-manager-server

7、初始化数据库配置

/opt/cloudera/cm/schema/scm_prepare_database.sh  mysql  scm scm ‘@WS1qaz‘

8、启动systemctl start cloudera-scm-server

9、各个节点启动systemctl start cloudera-scm-agent

10、http://172.26.216.217/cm-6.2.1

11、http://172.26.216.217/cdh-6.2.1

12、install  parcels

10、tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

备注：

cm独立于CDH而存在(6.2.1)

大数据集群规划及部署

原文：https://www.cnblogs.com/hackerer/p/14619297.html