2.2 電力大數據技術體系

前面所述的國內外各個廠商均在大數據技術的發展過程中做出了突出的貢獻。其中，涉及大數據存儲、計算的具體技術，諸如 NoSQL數據庫技術、HDFS 分布式文件存儲系統、MapReduce分布式計算技術等，這些技術將成為大數據技術在電力領域中應用的典型技術基礎。涉及大數據分析平臺開發技術的，諸如 Hadoop 平臺、HANA平臺等的架構，將是開發適用于電網公司大數據分析處理平臺的藍本。而大數據技術在工商業領域應用的案例，如中國移動公司投訴智能識別系統、百度疾病預測、阿里巴巴淘寶客戶行為分析平臺等的應用,將為電力領域高級應用的開發提供寶貴經驗。因此，電網公司大數據技術的架構將依托這些國內外廠商的技術集合開發而成。

2.2.1電力大數據技術架構

電力大數據技術架構不是面向具體功能的，而是面向全部需求的需求（元需求），關注設計的設汁（元設計）. 解決開發之共性，簡化開發之過程，提供應用之舞臺，可謂應用之母。架構是體系化的，完備的。能夠滿足一類軟件全部元需求的運行平臺和構建平臺，具體功能運行于其上，可以做到一通百通。大數據技術通過近些年在各行各業的普及和發展，逐漸形成了各具特色的技術架構。例如，Oracle 的大數據一體用的是以 Hadoop分布式數據庫為基礎，通過大數據連接器在 HDFS 與Oracle 的 NoSQL 數據庫之間建立鏈接，形成數據捕獲、數椐組織、數據分 析的三層技術架構。而對于IBM 公司的大數椐架構則是以數據整合與治理層為信息集成層，Hadoo生態系統、流式計算、數據倉庫為相互協作的數據處理分析層，再往上為數據可視發現、流計算、系統管理的應用基礎層，最上方則是具體的分析應用層。
通過對這些典型大數據廠商所采用技術架構的分析和研究，我們總結出了典型的大數據技術架構，即以 Hadoop 生態系統為藍本的，包含數據存儲層、數據管理層、數據計算層、數據應用分析層的四層典型技術架構。

圖 2 - 1 大數據的四層典型技術架構

在最底層的數據存儲層中，通常包含HDFS分布式文件存儲系統、非關系型數據庫，若有實時性的數據需求，在此層中還可以配置具有極高數據處理速率的內存數據庫。
對干數據管理層，其目的是為了協調下層各種類型數據庫間的數據流動和協調配合問題. 例如大數據連接器技術用于在傳統關系數據庫和分布式處理系統之間相互傳輸信息，從而實現大數據數椐源的相互轉化，并為大數據分析提供便利。

對于數據計算層，則主要包含實時計算、批量計算和流式計算三種主要的計算模式，以滿足各種計算需求。
最上層的應用分析層則包含數據可視化技木、數據分析挖掘技術、模式識別技術和圖像處理技術等。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社