業務痛點及需求
數據采集
數據采集是數據倉庫建設中最基礎的工作,負責將散落在各個數據孤島的數據整合到統一數據倉庫平臺中。數據采集不只需要能夠從多種不同類型的數據系統采集數據,還要考慮數據采集的效率,通過全量和增量采集相結合的手段完成采集工作。在采集的過程中,還不能對在線系統產生影響。
數據生產鏈路監控
就像工業流水線一樣,數據倉庫的數據加工過程是一個數據生產的有向無環圖。如何讓數據有序的按照數據模型設計的邏輯一步一步被加工出來,保障數據上下游依賴的正確性,在發現問題時能夠提醒開發人員及時處理,是一個艱苦而細致的工作,也是數據倉庫建設過程中最主要的工作。
數據質量管理
數據質量是數據倉庫的生命線,是數據倉庫建設中的重中之重。在數據生產的整個鏈條中,需要能夠根據數據特征制定不同的數據質量監控規則,隨時監控數據的產出質量,并制定出相應的控制手段,保障不讓有質量問題的數據影響業務的決策。
業務痛點及需求
數據采集
數據采集是數據倉庫建設中最基礎的工作,負責將散落在各個數據孤島的數據整合到統一數據倉庫平臺中。數據采集不只需要能夠從多種不同類型的數據系統采集數據,還要考慮數據采集的效率,通過全量和增量采集相結合的手段完成采集工作。在采集的過程中,還不能對在線系統產生影響。
數據生產鏈路監控
就像工業流水線一樣,數據倉庫的數據加工過程是一個數據生產的有向無環圖。如何讓數據有序的按照數據模型設計的邏輯一步一步被加工出來,保障數據上下游依賴的正確性,在發現問題時能夠提醒開發人員及時處理,是一個艱苦而細致的工作,也是數據倉庫建設過程中最主要的工作。
數據質量管理
數據質量是數據倉庫的生命線,是數據倉庫建設中的重中之重。在數據生產的整個鏈條中,需要能夠根據數據特征制定不同的數據質量監控規則,隨時監控數據的產出質量,并制定出相應的控制手段,保障不讓有質量問題的數據影響業務的決策。
應用系列產品
在數據倉庫的建設中需要從各種源頭業務系統中把數據統一采集到數據倉庫中,在統一的基礎平臺上對數據進行加工。在數
據生產的鏈條中,保障數據產出的穩定性和數據產出的質量是數據倉庫建設中的重要內容。
大數據集成
通過穩定高效、彈性伸縮的大數據集成服務,將分散在不同物理環境下 的數據統一采集到大數據計算服務中。可以實時、增量或全量的方式進行數據同步。
大數據計算服務
在大數據計算服務中,存儲采集到的業務數據,利用服務提供的多種經典分布式計算模型,按照數據倉庫設計的數據模型,對數據進行實際加工計算。
大數據開發
在大數據計算服務中,存儲采集到的業務數據,利用服務提供的多種經典分布式計算模型,按照數據倉庫設計的數據模型,對數據進行實際加工計算。
大數據管理
通過大數據管理工具,進行數據資產管理、數據生命周期管理、元數據查詢和管理、數據血緣查詢等工作。并可以制定數據質量報警規則。