古詩詞大全網 - 成語解釋 - 數據倉庫層次結構的深層解釋

數據倉庫層次結構的深層解釋

分層的主要原因是在管理數據時,可以對數據有更清晰的控制。細說來,有幾個原因:

清除數據結構:

每個數據層次都有其範圍,這樣我們可以更方便地定位和理解表。

方便的數據血緣跟蹤:

?簡單來說,我們最終呈現給業務的是壹個可以直接使用的業務表,但是來源很多。如果壹個源表出現了問題,我們希望能夠快速準確的定位問題,知道它的危害範圍。

減少重復開發:

?規範數據分層,開發壹些常見的中層數據,可以減少很大的重復計算。

簡化復雜的問題:

把壹個復雜的任務分解成多個步驟,每壹層只處理壹個步驟,簡單易懂。而且便於維護數據的準確性。當數據出現問題時,不需要修復所有數據,只需要從有問題的步驟開始修復即可。

掩蓋原始數據的異常:

屏蔽服務的影響,需要在不改變壹次服務的情況下再次訪問數據。

數據分層每個企業都可以根據自己的業務需求分為不同的層,但分層最基本的思想是數據理論上分為三層:數據運營層、數據倉庫層、數據服務層。在這個基礎層次結構的基礎上,增加了壹個新的層次結構來滿足不同的業務需求。

數據操作層

操作數據存儲是最接近數據源中數據的層。數據源中的數據經過提取、清洗、傳輸,也就是傳說中的ETL之後,加載到ODS層。這壹層的數據壹般按照源業務系統的分類方法進行分類。例如,MySQL中的壹個表可以從sqoop提取到ODS層的ODS數據源:

數據倉庫層

數據倉庫(Data warehouse)這裏從ODS層獲取的數據按照主題建立各種數據模型。例如,在以研究人們旅遊消費為主題的數據集中,我們可以結合航空公司的登機旅行信息和銀聯系統的刷卡記錄進行組合分析,生成壹個數據集。在這裏,我們需要理解四個概念:維度、事實、索引和粒度。

數據服務層/應用層(ADS):

應用數據服務。這壹層主要用於為數據產品和數據分析提供數據。壹般會存儲在ES、MySQL等系統中用於線上系統,也可能存儲在Hive或Druid中用於數據分析和數據挖掘。比如我們常說的報表數據,或者大而寬的表,壹般都放在這裏。

ODS數據準備層

功能:?

ODS層是數據倉庫準備區,為DWD層提供基礎原始數據,可以減少對業務系統的影響。

建模方法和原理:?

從業務系統中增量提取,保留時間由業務需求決定,周期存儲在表中,與業務系統數據模型壹致無需清洗轉換,按主題進行邏輯劃分。

DWD數據細節層

功能:

?為DW層提供詳細的源數據,提供業務系統詳細數據的長期沈澱,為未來分析需求的擴展提供歷史數據支持。

建模方法和原則:

數據模型與ODS層壹致,不需要清理轉換。為了支持數據回放,可以增加數據業務日期字段,可以按年、月、日分表,可以合並前壹天的增量ODS層數據和DWD相關表。

數據倉庫(B/S)數據匯總層

功能:?

為DW和ST層提供細粒度數據,細化到DWB和DWS;;

DWB根據DWD詳細數據進行轉換,如維度到代理鍵、身份證清理、會員註冊清晰來源、字段合並、空值處理、臟數據處理、ip清晰轉換、賬戶余額清理、資金來源清理等。?

DWS是壹個基於DWB層數據的高粒度匯總和聚合,按每個維度ID(如按事務來源和事務類型)進行。

建模方法和原則:

聚集和總結以增加衍生事實;

關聯其他主題的事實表,DW層可能跨主題域;

DWB維護低粒度匯總處理數據,而DWS維護高粒度匯總數據;

數據模型可能采用反範例設計、合並信息等。

數據市場層

功能:

可以是壹些寬表,根據DW圖層數據按照各種維度或者維度的組合匯總統計壹些需要查詢的事實字段並作為單獨的列存儲;?

滿足壹些特定的查詢和數據挖掘應用。

?應用市場數據存儲

建模方法和原理:?

?最小化數據訪問期間的計算(優化檢索)

?維度建模,星型模型;

?子表存儲

數據應用層(廣告層)

功能:

ST級向用戶應用和分析需求,包括前端報表、分析圖表、KPI、儀表盤、OLAP、專題等。,對於終端用戶?

?適用於OLAP和報表模型,如r OLAP、MOLAP。

根據DW層的粗粒度事實表匯總統計後。

建模方法和原理:?

本文主要解釋為什麽多倉庫項目是分層的。例如,我們可能只需要壹個復雜的SQL語句來完成壹個需求。但是復雜的SQL語句方便後期維護嗎?有問題的時候方便追蹤嗎?這時候分層的好處就體現出來了。順便給大家分享壹下阿裏的倉庫盤點模型是什麽樣的。相信自己,努力和汗水總會有回報的。我是大數據哥。下次見~ ~ ~