數據倉庫各數據層含義及分配原則(簡要)
數據倉庫通常采用分層架構設計,不同層次承擔不同職能,以下是典型的數據倉庫分層及其分配原則:
1. ODS層(Operation Data Store,操作數據層)
含義:原始數據層,與源系統保持一致的原始數據
分配原則:
-
直接接入源系統數據,不做或做極少加工
-
保留歷史數據,按時間分區存儲
-
數據粒度與源系統完全一致
-
建議保留數據抽取日期標記
2. DWD層(Data Warehouse Detail,明細數據層)
含義:面向主題的明細數據,數據倉庫的核心層
分配原則:
-
對ODS數據進行清洗轉換(去重、空值處理、臟數據處理等)
-
進行維度退化(將相關維度信息冗余到事實表中)
-
保持原子粒度,不做聚合
-
建立一致性維度(如日期、地區等公共維度)
3. DWS層(Data Warehouse Summary,匯總數據層)
含義:面向主題的輕度匯總數據
分配原則:
-
基于DWD層數據進行輕度匯總
-
按業務主題組織數據(如用戶主題、商品主題等)
-
保留較細粒度,通常按天匯總
-
建立寬表,減少后續查詢的關聯操作
4. ADS層(Application Data Store,應用數據層)
含義:面向應用的高度匯總數據
分配原則:
-
面向具體應用場景的高度聚合數據
-
包含指標計算、業務邏輯實現
-
可直接用于報表、分析等應用
-
通常包含KPI指標、業務報表等
5. DIM層(Dimension,維度表層)
含義:一致性維度表
分配原則:
-
存儲所有業務過程共享的維度信息
-
維護緩慢變化維(SCD)的處理策略
-
確保維度一致性(同一維度在不同事實表中的含義一致)
-
包含日期、地區、產品等公共維度
分層設計建議
-
數據流向:ODS → DWD → DWS → ADS(單向流動)
-
處理原則:下層為上層服務,上層不跨層引用
-
復用原則:公共計算下沉,避免重復計算
-
粒度控制:從下到上,粒度逐漸變粗
-
歷史數據:ODS和DWD層應保留詳細歷史,上層可適當聚合
通過這種分層設計,可以實現數據倉庫的清晰架構、高效處理和易于維護。

浙公網安備 33010602011771號