古詩詞大全網 - 成語經典 - 什麽叫大數據技術?

什麽叫大數據技術?

大數據技術是指大數據的應用技術,涵蓋各類大數據平臺、大數據指數體系等大數據應用技術。大數據是指無法在壹定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合。是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據技術能夠處理比較大的數據量。其次,能對不同類型的數據進行處理。大數據技術不僅僅對壹些大量的、簡單的數據能夠進行處理,通能夠處理壹些復雜的數據,例如,文本數據、聲音數據以及圖像數據等等。

另外,大數據技術的應用具有密度低和價值大的效果。壹些零散的,各種類型的數據,如果不能在短時間內分析出來信息所表達的含義,那麽可以利用大數據分析技術,將信息中潛藏的價值挖掘出來,以便於工作研究或者其他用途的使用,便於政務的便捷化和深層次化。

大數據技術有哪些

跨粒度計算(In-DatabaseComputing)

Z-Suite支持各種常見的匯總,還支持幾乎全部的專業統計函數。得益於跨粒度計算技術,Z-Suite數據分析引擎將找尋出最優化的計算方案,繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算,我們稱之為庫內計算(In-Database)。這壹技術大大減少了數據移動,降低了通訊負擔,保證了高性能數據分析。

並行計算(MPP Computing)

Z-Suite是基於MPP架構的商業智能平臺,她能夠把計算分布到多個計算節點,再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源,不管是服務器還是普通的PC,她對網絡條件也沒有嚴苛的要求。作為橫向擴展的大數據平臺,Z-Suite能夠充分發揮各個節點的計算能力,輕松實現針對TB/PB級數據分析的秒級響應。

列存儲 (Column-Based)

Z-Suite是列存儲的。基於列存儲的數據集市,不讀取無關數據,能降低讀寫開銷,同時提高I/O 的效率,從而大大提高查詢性能。另外,列存儲能夠更好地壓縮數據,壹般壓縮比在5 -10倍之間,這樣壹來,數據占有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術,節省了存儲設備和內存的開銷,卻大大了提升計算性能。

內存計算

得益於列存儲技術和並行計算技術,Z-Suite能夠大大壓縮數據,並同時利用多個節點的計算能力和內存容量。壹般地,內存訪問速度比磁盤訪問速度要快幾百倍甚至上千倍。通過內存計算,CPU直接從內存而非磁盤上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的壹種加速,是實現大數據分析的關鍵應用技術。