2.2 電力大數(shù)據(jù)技術體系

2.2.4數(shù)據(jù)存儲管理技術

數(shù)據(jù)存儲管理是指將大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問。數(shù)據(jù)存儲管理技術包括分布式存儲技術、NoSQL技術和內存存儲技術。

（1）分布式存儲技術
分布式存儲通過網絡使用每臺機器上的磁盤空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，從而實現(xiàn)數(shù)據(jù)的分散存儲。典型的如Hadoop平臺中的分布式文件存儲系統(tǒng)（HDFS）。
分布式存儲的技術優(yōu)勢主要體現(xiàn)在以下四個方面：
1）支持任意超大文件存儲，硬件節(jié)點可不斷擴展，實現(xiàn)低成本存儲。
2）對上層應用屏蔽分布式部署結構，并提供統(tǒng)一的文件系統(tǒng)訪問接口。
3）允許硬件故障，數(shù)據(jù)在不同機器節(jié)點實現(xiàn)冗余備份，從而實現(xiàn)高容錯性。
4）數(shù)據(jù)分散存儲，并提供冗余備份機制，從而提高系統(tǒng)的穩(wěn)定性和擴展性。

（2） NoSQL技術
NoSQL是非關系型數(shù)據(jù)存儲的廣義定義。NoSQL數(shù)據(jù)存儲不需要固定的表結構，通常也不存在連接操作，在大數(shù)據(jù)存取上具備關系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。
NoSQL的技術優(yōu)勢主要體現(xiàn)在以下六個方面：
1）數(shù)據(jù)本身無關聯(lián)特性，在架構層面極易擴展。
2）對海量數(shù)據(jù)擁有極高的讀寫性能。
3）數(shù)據(jù)模型比較靈活，數(shù)據(jù)格式可以實現(xiàn)自定義。
4）在不影響性能的情況下，可以實現(xiàn)架構的高可用性。
5）可運用于廉價PC服務器集群上，提高資源利用。
6）數(shù)據(jù)庫模式單一，靈活自由，適合海量數(shù)據(jù)分布式處理。

（3）內存存儲技術
內存數(shù)據(jù)庫，顧名思義就是將數(shù)據(jù)放在內存中直接操作的數(shù)據(jù)庫。相對于磁盤，內存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級.將數(shù)據(jù)保存在內存中相比從磁盤上訪問能夠極大地提髙應用的性能。內存數(shù)據(jù)庫拋棄了磁盤數(shù)據(jù)管理的傳統(tǒng)方式，全部數(shù)據(jù)都在內存中，重新設計了體系結構，并且在數(shù)據(jù)緩存、快速算法、并行操作方面也進行了相應的改進，所以數(shù)據(jù)處理速度比傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理速度要快很多，一般都在10倍以上。
內存數(shù)據(jù)庫的優(yōu)勢主要存在以下兩方面：
1）數(shù)據(jù)加載和讀取速度極快，基本滿足實時性數(shù)據(jù)的存儲要求，實現(xiàn)對數(shù)據(jù)的實時響應。
2）具有較高的數(shù)據(jù)和程序獨立性，數(shù)據(jù)庫的獨立性有物理獨立性和邏輯獨立性。

書名：電力大數(shù)據(jù)：能源互聯(lián)網時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社