大數據爆發性增長 存儲技術面臨難題
隨著大數據應用的爆發性增長，大數據已經衍生出了自己獨特的架構，而且也直接推動了存儲、網絡以及計算技術的發展。畢竟處理大數據這種特殊的需求是壹個新的挑戰。硬件的發展最終還是由軟件需求推動的。大數據本身意味著非常多需要使用標準存儲技術來處理的數據。大數據可能由TB級(或者甚至PB級)信息組成，既包括結構化數據(數據庫、日誌、SQL等)以及非結構化數據(社交媒體帖子、傳感器、多媒體數據)。此外，大部分這些數據缺乏索引或者其他組織結構，可能由很多不同文件類型組成。從目前技術發展的情況來看，大數據存儲技術的發展正面臨著以下幾個難題：
1、容量問題
這裏所說的“大容量”通常可達到PB級的數據規模，因此，海量數據存儲系統也壹定要有相應等級的擴展能力。與此同時，存儲系統的擴展壹定要簡便，可以通過增加模塊或磁盤櫃來增加容量，甚至不需要停機。
“大數據”應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是壹個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這壹瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在壹個系統中管理十億級別的文件數量，而且還不會像傳統存儲壹樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成壹個跨區域的大型存儲基礎架構。
2、延遲問題
“大數據”應用還存在實時性的問題。有很多“大數據”應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，服務器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境壹樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在服務器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
3、並發訪問
壹旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平臺下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。
4、安全問題
某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標準和保密性需求。雖然對於IT管理者來說這些並沒有什麽不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去並不會有這種數據混合訪問的情況，因此大數據應用也催生出壹些新的、需要考慮的安全性問題。
5、成本問題
成本問題“大”，也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控制成本，就意味著我們要讓每壹臺設備都實現更高的“效率”，同時還要減少那些昂貴的部件。
對成本控制影響最大的因素是那些商業化的硬件設備。因此，很多初次進入這壹領域的用戶以及那些應用規模最大的用戶都會定制他們自己的“硬件平臺”而不是用現成的商業產品，這壹舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這壹需求，現在越來越多的存儲產品都提供純軟件的形式，可以直接安裝在用戶已有的、通用的或者現成的硬件設備上。此外，很多存儲軟件公司還在銷售以軟件產品為核心的軟硬壹體化裝置，或者與硬件廠商結盟，推出合作型產品。
6、數據的積累
許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的壹部分，而且數據的分析大都是基於時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據壹致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。
7、數據的靈活性
大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟件壹起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。壹個大型的數據存儲基礎設施壹旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。
存儲介質正在改變，雲計算倍受青睞
存儲之於安防的地位，其已經不僅是壹個設備而已，而是已經升華到了壹個解決方案平臺的地步。作為圖像數據和報警事件記錄的載體，存儲的重要性是不言而喻的。
安防監控應用對存儲的需求是什麽？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網絡化要求。安防監控技術發展到今天經歷了三個階段，即：模擬化、數字化、網絡化。與之相適應，監控數據存儲也經歷了多個階段，即：VCR模擬數據存儲、DVR數字數據存儲，到現在的集中網絡存儲，以及發展到雲存儲階段，正是在壹步步迎合這種市場需求。在未來，安防監控隨著高清化，網絡化，智能化的不斷發展，將對現有存儲方案帶來不斷挑戰，包括容量、帶寬的擴展問題和管理問題。那麽，基於大數據戰略的海量存儲系統--雲存儲就倍受青睞了。
基於大數據戰略的安防存儲優勢明顯
當前社會對於數據的依賴是前所未有的，數據已變成與硬資產和人同等重要的重要資料。如何存好、保護好、使用好這些海量的大數據，是安防行業面臨的重要問題之壹。那麽基於大數據戰略的安防存儲其優勢何在？
目前的存儲市場上，原有的視頻監控方案容量、帶寬難以擴展。客戶往往需要采購更多更高端的設備來擴充容量，提高性能，隨之帶來的是成本的急劇增長以及系統復雜性的激增。同時，傳統的存儲模式很難在完全沒有業務停頓的情況下進行升級，擴容會對業務帶來巨大影響。其次，傳統的視頻監控方案難於管理。由於視頻監控系統壹般規模較大，分布特征明顯，大多獨立管理，這樣就把整個系統分割成了多個管理孤島，相互之間通信困難，難以協調工作，以提高整體性能。除此之外，綠色、安全等也是傳統視頻監控方案所面臨的突出問題。
基於大數據戰略的雲存儲技術與生俱來的高擴展、易管理、高安全等特性為傳統存儲面臨的問題帶來了解決的契機。利用雲存儲，用戶可以方便的進行容量、帶寬擴展，而不必停止業務，或改變系統架構。同時，雲存儲還具有高安全、低成本、綠色節能等特點。基於雲存儲的視頻監控解決方案是客戶應對挑戰很好的選擇。王宇說，進入二十壹世紀，雲存儲作為壹種新的存儲架構，已逐步走入應用階段，雲存儲不僅輕松突破了SAN的性能瓶頸，而且可以實現性能與容量的線性擴展，這對於擁有大量數據的安防監控用戶來說是壹個新選擇。
以英特爾推出的Hadoop分布式文件系統（HDFS）為例，其提供了壹個高度容錯性和高吞吐量的海量數據存儲解決方案。目前已經在各種大型在線服務和大型存儲系統中得到廣泛應用，已經成為海量數據存儲的事實標準。
隨著信息系統的快速發展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統的存儲方案已經從構架上越來越難以適應近幾年來的信息系統業務的飛速發展，成為了業務發展的瓶頸和障礙。HDFS通過壹個高效的分布式算法，將數據的訪問和存儲分布在大量服務器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務器之上，是傳統存儲構架的壹個顛覆性的發展。最重要的是，其可以滿足以下特性：可自我修復的分布式文件存儲系統，高可擴展性，無需停機動態擴容，高可靠性，數據自動檢測和復制，高吞吐量訪問，消除訪問瓶頸，使用低成本存儲和服務器構建。
以上是小編為大家分享的關於大數據爆發性增長 存儲技術面臨難題的相關內容，更多信息可以關註環球青藤分享更多幹貨