首页 > 其他 > 详细

数仓分层的理解

时间:2020-08-10 23:00:35      阅读:52      评论:0      收藏:0      [点我收藏+]

标签:就是   展开   http   根据   子集   邮件   

------------恢复内容开始------------

一、各个层作用

ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据

DWD:对ods的数据进行展开

例如:如果采集的日志分类型的,可以根据事件的类型分为多个表

电商的比如:点赞、启动、评论、点击、广告、消息通知等事件

my公司的:以行业类型分割为各个阵地表,对json数据进行解析,获取简历、滴滴行程单、邮件落款、http等数据

DWS: (数据服务层): 基于ADS需要统计的主题,创建宽表
ADS: (应用数据层): 基于DWS的宽表,计算出结果

二、命名规范

ODS层命名为ods

DWD层命名为dwd

DWS层命名为dws

ADS层命名为ads

临时表数据库命名为xxx_tmp

备份数据数据库命名为xxx_bak

三、数据集市是数据仓库的子集

数据集市面向企业级,数据集市面向部门(比如销售部,相对更少的主题和分层)

 

------------恢复内容结束------------

数仓分层的理解

标签:就是   展开   http   根据   子集   邮件   

原文:https://www.cnblogs.com/hejunhong/p/13374954.html

(0)
(0)
   
举报
评论 一句话评论(0
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号