数据治理之模型设计

mac2024-03-17  28

模型层次 1)数据操作层:把数据几乎无处理的放在数据仓库中

① 同步:保存增存量的结构化数据

② 结构化:把非结构化数据结构化处理并保存

③ 积累历史数据:根据需求保存历史数据

④ 数据清洗

2)公共维度层:存放明细事实数据、维表数据、公共指标汇总

① 明细事实数据、维表数据从ODS层数据加工而来,公共指标汇总数据从细事实数据、维表数据加工而来

② DWD和DWS层主要的作用是组合相似数据,建立明细宽表,减少事实表和维度表的关联计算,提高明细表的易用性

3)应用数据层:存放产品个性化指标

数据服务优先调用CDM层数据,当数据缺失就对数据进行评估是否新建公共层数据。如果不需要则调用ODS层数据,ADS层数据一般不提供数据服务 基本原则 1)高内聚低耦合:从业务、访问两个角度分析

① 将业务相近的数据设计为一个模型

② 将同时被访问概率高的数据设计为一个模型,低概率的分来设计

2)核心业务数据与扩展业务数据分离:防止扩展业务破坏核心业务的整体性

3)相同含义的字段在不同表中字段名相同

最新回复(0)