古詩詞大全網 - 成語經典 - 傳統數據采集的關鍵技術有哪些?他們之間是什麽關系?

傳統數據采集的關鍵技術有哪些?他們之間是什麽關系?

大數據采集技術、大數據預處理技術、大數據存儲與管理技術、大數據分析與挖掘技術、大數據呈現與應用技術。

數據采集是指通過RFID射頻數據、傳感器數據、社交網絡交互數據、移動互聯網數據獲得的各種類型的結構化、半結構化(或弱結構化)和非結構化的海量數據,是大數據知識服務模型的基礎。重點是突破分布式高速高可靠數據抓取或采集、高速數據全映像等大數據采集技術;突破高速數據分析、轉換、加載等大數據集成技術;設計質量評估模型,發展數據質量技術。

大數據的存儲和管理需要使用內存來存儲采集的數據,建立相應的數據庫,並對其進行管理和調用。重點解決復雜的結構化、半結構化和非結構化大數據管理和處理技術。主要解決大數據的可存儲性、可表示性、可處理性、可靠性和有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、節能優化存儲、計算融入存儲、大數據去冗余和高效低成本大數據存儲技術;突破分布式非關系型大數據管理與處理技術、異構數據的數據融合技術、數據組織技術,研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;發展大數據可視化技術。

大數據分析技術。改進現有的數據挖掘和機器學習技術;發展數據網絡挖掘、特殊群體挖掘、圖挖掘等新的數據挖掘技術;突破基於對象的數據連接、相似性連接等數據融合技術;突破用戶興趣分析、網絡行為分析、情感語義分析等面向領域的大數據挖掘技術。

大數據技術可以挖掘出隱藏在海量數據中的信息和知識,為人類的社會經濟活動提供依據,從而提高各個領域的運行效率,大大提高整個社會經濟的集約化程度。