数据仓库(DW)中的分层DWD、DWB、DWS

数据分层，每个企业根据自己的业务需求可以分成不同的层次，但是最基础的分层思想，理论上数据分为三个层：数据运营层、数据仓库层、数据服务层。基于这个基础分层之上，再提交信息的层次，来满足不同的业务需求。

2.1数据运营层（ODS）

• ODS：Operation Data Store 数据准备区，也称为贴源层。数据仓库源头系统的数据表通常会原封不动的存储一份，这称为ODS层，是后续数据仓库加工数据的来源。
• ODS层数据的来源方式：
  • 业务库
    • 经常会使用sqoop来抽取，例如每天定时抽取一次。
    • 实时方面，可以考虑用canal监听mysql的binlog，实时接入即可。
  • 埋点日志
    • 日志一般以文件的形式保存，可以选择用flume定时同步
    • 可以用spark streaming或者Flink来实时接入
    • kafka也OK
  • 消息队列：即来自ActiveMQ、Kafka的数据等。

2.2数据仓库层（DW）

DW数据分层，由下到上为DWD，DWB，DWS。

• DWD：data warehouse details 细节数据层，是业务层与数据仓库的隔离层。主要对ODS数据层做一些数据清洗和规范化的操作。
  • 数据清洗：去除空值、脏数据、超过极限范围的
• DWB：data warehouse base 数据基础层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
• DWS：data warehouse service 数据服务层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据层，一般是宽表。用于提供后续的业务查询，OLAP分析，数据分发等。
  • 用户行为，轻度聚合
  • 主要对ODS/DWD层数据做一些轻度的汇总。

2.3数据服务层/应用层（ADS）

• ADS：applicationData Service应用数据服务，该层主要是提供数据产品和数据分析使用的数据，一般会存储在ES、mysql等系统中供线上系统使用。
  • 我们通过说的报表数据，或者说那种大宽表，一般就放在这里

3.附录

ETL

• ETL ：Extract-Transform-Load，用于描述将数据从来源端经过抽取、转换、加载到目的端的过程。

宽表

• 含义：指字段比较多的数据库表。通常是指业务主体相关的指标、纬度、属性关联在一起的一张数据库表。
• 特点：
  • 宽表由于把不同的内容都放在同一张表，宽表已经不符合三范式的模型设计规范：
    • 坏处：数据有大量冗余
    • 好处：查询性能的提高和便捷
  • 宽表的设计广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提供数据挖掘模型训练过程中迭代计算的消息问题。

数据库设计三范式

为了建立冗余较小、结构合理的数据库，设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式时符合某一种设计要求的总结。

1. 第一范式：确保每列保持原子性，即要求数据库表中的所有字段值都是不可分解的原子值。
2. 第二范式：确保表中的每列都和主键相关。也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据库表中。
   1. 作用：减少了数据库的冗余
3. 第三范式：确保每列都和主键列直接相关，而不是间接相关。

数据仓库(DW)中的分层DWD、DWB、DWS

原文：https://www.cnblogs.com/caiyongjiesmile/p/14102878.html