2.2 電力大數(shù)據(jù)技術(shù)體系

2.2.4數(shù)據(jù)存儲管理技術(shù)

數(shù)據(jù)存儲管理是指將大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問。數(shù)據(jù)存儲管理技術(shù)包括分布式存儲技術(shù)、NoSQL技術(shù)和內(nèi)存存儲技術(shù)。

（1）分布式存儲技術(shù)
分布式存儲通過網(wǎng)絡(luò)使用每臺機器上的磁盤空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，從而實現(xiàn)數(shù)據(jù)的分散存儲。典型的如Hadoop平臺中的分布式文件存儲系統(tǒng)（HDFS）。
分布式存儲的技術(shù)優(yōu)勢主要體現(xiàn)在以下四個方面：
1）支持任意超大文件存儲，硬件節(jié)點可不斷擴展，實現(xiàn)低成本存儲。
2）對上層應(yīng)用屏蔽分布式部署結(jié)構(gòu)，并提供統(tǒng)一的文件系統(tǒng)訪問接口。
3）允許硬件故障，數(shù)據(jù)在不同機器節(jié)點實現(xiàn)冗余備份，從而實現(xiàn)高容錯性。
4）數(shù)據(jù)分散存儲，并提供冗余備份機制，從而提高系統(tǒng)的穩(wěn)定性和擴展性。

（2） NoSQL技術(shù)
NoSQL是非關(guān)系型數(shù)據(jù)存儲的廣義定義。NoSQL數(shù)據(jù)存儲不需要固定的表結(jié)構(gòu)，通常也不存在連接操作，在大數(shù)據(jù)存取上具備關(guān)系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。
NoSQL的技術(shù)優(yōu)勢主要體現(xiàn)在以下六個方面：
1）數(shù)據(jù)本身無關(guān)聯(lián)特性，在架構(gòu)層面極易擴展。
2）對海量數(shù)據(jù)擁有極高的讀寫性能。
3）數(shù)據(jù)模型比較靈活，數(shù)據(jù)格式可以實現(xiàn)自定義。
4）在不影響性能的情況下，可以實現(xiàn)架構(gòu)的高可用性。
5）可運用于廉價PC服務(wù)器集群上，提高資源利用。
6）數(shù)據(jù)庫模式單一，靈活自由，適合海量數(shù)據(jù)分布式處理。

（3）內(nèi)存存儲技術(shù)
內(nèi)存數(shù)據(jù)庫，顧名思義就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫。相對于磁盤，內(nèi)存的數(shù)據(jù)讀寫速度要高出幾個數(shù)量級.將數(shù)據(jù)保存在內(nèi)存中相比從磁盤上訪問能夠極大地提髙應(yīng)用的性能。內(nèi)存數(shù)據(jù)庫拋棄了磁盤數(shù)據(jù)管理的傳統(tǒng)方式，全部數(shù)據(jù)都在內(nèi)存中，重新設(shè)計了體系結(jié)構(gòu)，并且在數(shù)據(jù)緩存、快速算法、并行操作方面也進行了相應(yīng)的改進，所以數(shù)據(jù)處理速度比傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)處理速度要快很多，一般都在10倍以上。
內(nèi)存數(shù)據(jù)庫的優(yōu)勢主要存在以下兩方面：
1）數(shù)據(jù)加載和讀取速度極快，基本滿足實時性數(shù)據(jù)的存儲要求，實現(xiàn)對數(shù)據(jù)的實時響應(yīng)。
2）具有較高的數(shù)據(jù)和程序獨立性，數(shù)據(jù)庫的獨立性有物理獨立性和邏輯獨立性。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社