2.3數(shù)據(jù)處理技術(shù)

智能電網(wǎng)大數(shù)據(jù)的應(yīng)用類型多，需要根據(jù)不同的業(yè)務(wù)需求采用不同的數(shù)據(jù)處理技術(shù)。根據(jù)大數(shù)據(jù)的數(shù)據(jù)特征和計算需求，大數(shù)據(jù)處理技術(shù)分流處理、批處理、內(nèi)存計算、圖計算等。

2.3.1 流處理

流處理的處理模式將數(shù)據(jù)視為流，源源不斷的數(shù)據(jù)組成了數(shù)據(jù)流，當新的數(shù)據(jù)到來時就立刻處理并返回所需的結(jié)果。數(shù)據(jù)流本身具有持續(xù)達到、速度快且規(guī)模巨大等特點，因此通常不會對所有的數(shù)據(jù)進行永久化存儲，而且數(shù)據(jù)環(huán)境處在不斷的變化之中，系統(tǒng)很難準確掌握整個數(shù)據(jù)的全貌。目前廣泛應(yīng)用的流處理系統(tǒng)有Twitter Storm和Yahoo S4。

Storm是分布式實時計算系統(tǒng)，主要用于流數(shù)據(jù)處理，可以簡單、高效、可靠地處理大量的數(shù)據(jù)流。它能夠處理源源不斷流進來的信息，處理之后將結(jié)果寫入到某個存儲中去。Storm的優(yōu)點是全內(nèi)存計算，因為內(nèi)存尋址速度是硬盤的百萬倍以上，所以Storm的速度較快。Storm彌補了Hadoop批處理所不能滿足的實時要求，經(jīng)常用于實時分析、在線機器學(xué)習(xí)、持續(xù)計算、分布式遠程調(diào)用和ETL等領(lǐng)域。

2.3.2 批處理

Google公司在2004年提出的Map-Reduce是最具代表性的批處理模式。Map-Reduce是一個使用簡易的軟件框架，用于大規(guī)模數(shù)據(jù)集的并行運算，主要用來進行大規(guī)模離線數(shù)據(jù)分析。基于它實現(xiàn)的應(yīng)用程序能夠運行在由數(shù)千個商用機器組成的大型集群上，并以一種可靠容錯的并行處理大規(guī)模數(shù)據(jù)集。Map-Reduce的核心思想是將問題分而治之，并把計算推到數(shù)據(jù)所在的服務(wù)器，有效地避免數(shù)據(jù)傳輸過程中產(chǎn)生的大量通信開銷。

Map-Reduce的優(yōu)點主要有2個方面：①不僅能用于處理大規(guī)模數(shù)據(jù)，而且能將很多繁瑣的細節(jié)隱藏起來，如自動并行化、負荷均衡和災(zāi)備管理等，這將極大簡化開發(fā)工作;②伸縮性非常好，集群能夠方便的擴展。而Map-Reduce的不足是其不適應(yīng)實時應(yīng)用的需求，只能進行大規(guī)模離線數(shù)據(jù)分析。

2.3.3 內(nèi)存計算

隨著內(nèi)存價格的不斷下降，服務(wù)器配置的內(nèi)存容量不斷增大，用內(nèi)存計算來完成大規(guī)模數(shù)據(jù)處理成為可能。與Hadoop Map-Reduce批處理相比，內(nèi)存計算能夠提供高性能的大數(shù)據(jù)分析處理能力。內(nèi)存計算是一種體系結(jié)構(gòu)上的解決方法，它可以和各種不同的計算模式相結(jié)合，包括批處理、流處理、圖計算等。比如Spark是分布式內(nèi)存計算的一個典型并行計算框架，Spark基于Map-Reduce算法實現(xiàn)的分布式計算，擁有Hadoop Map-Reduce所具有的優(yōu)點;但不同于Map-Reduce的是Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark具有更好的性能，適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的Map-Reduce的算法。

智能電網(wǎng)大數(shù)據(jù)應(yīng)用根據(jù)業(yè)務(wù)特點和對處理響應(yīng)的時間來選擇數(shù)據(jù)處理的方式，針對電網(wǎng)安全在線分析、電網(wǎng)運行監(jiān)控等業(yè)務(wù)，數(shù)據(jù)實時性要求高、需要作出迅速響應(yīng)，可以采用流處理內(nèi)存計算;而對于用戶用電行為分析等業(yè)務(wù)，實時性和響應(yīng)時間要求低，可以采用批處理方式。

2.4數(shù)據(jù)分析技術(shù)

數(shù)據(jù)分析是智能電網(wǎng)大數(shù)據(jù)處理的核心，由于大數(shù)據(jù)的海量、復(fù)雜多樣、變化快等特性，大數(shù)據(jù)環(huán)境下的傳統(tǒng)小數(shù)據(jù)分析算法很多已不再適用，需要采用新的數(shù)據(jù)分析方法或?qū)ΜF(xiàn)有數(shù)據(jù)分析方法進行改進。

數(shù)據(jù)挖掘方法主要有分類、關(guān)聯(lián)分析、聚類、異常檢測、回歸分析等，其中每一類包括眾多的算法。分類包括支持向量機、決策樹、貝葉斯、神經(jīng)網(wǎng)絡(luò)等技術(shù);關(guān)聯(lián)分析包括Apriori、FP-growth等算法;聚類分析分為劃分法、層次法、密度法、圖論法、模型法等，具體算法如k-means 算法、K-MEDOIDS算法、Clara算法、Clarans算法、SOM神經(jīng)網(wǎng)絡(luò)、FCM聚類算法等;異常檢測包括基于統(tǒng)計、距離、偏差、密度等方法。在智能電網(wǎng)應(yīng)用中需要對現(xiàn)有的算法進行優(yōu)化和并行化改進，實現(xiàn)分布式處理。

機器學(xué)習(xí)是面向任務(wù)解決的基于經(jīng)驗提煉模型實現(xiàn)最優(yōu)解設(shè)計的計算機程序，通過經(jīng)驗學(xué)習(xí)規(guī)律，一般應(yīng)用在缺少理論模型指導(dǎo)但存在經(jīng)驗觀測的領(lǐng)域中。機器學(xué)習(xí)分為歸納學(xué)習(xí)、分析學(xué)習(xí)、類比學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)、增強學(xué)習(xí)等。深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，2006年由Hinton等提出，其目的在于建立模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，目前深度學(xué)習(xí)在語音識別、圖像識別、機器翻譯等領(lǐng)域進行了應(yīng)用，并取得了較好的效果。

智能電網(wǎng)大數(shù)據(jù)挖掘主要為結(jié)構(gòu)化數(shù)據(jù)，同時也存在文本、圖像、音頻、視頻等數(shù)據(jù)，在智能電網(wǎng)大數(shù)據(jù)應(yīng)用中需要針對具體的業(yè)務(wù)采用合適的數(shù)據(jù)分析方法。

3、智能電網(wǎng)大數(shù)據(jù)平臺

3.1核心平臺框架

智能電網(wǎng)大數(shù)據(jù)應(yīng)用需要構(gòu)建在大數(shù)據(jù)平臺之上，大數(shù)據(jù)平臺為應(yīng)用提供統(tǒng)一數(shù)據(jù)接入、清洗、存儲、管理、分析計算等功能。大數(shù)據(jù)核心平臺由基礎(chǔ)資源、數(shù)據(jù)存儲、數(shù)據(jù)分析與處理、數(shù)據(jù)管理、平臺服務(wù)和平臺管控等組成。

基礎(chǔ)資源層主要包括計算資源池、存儲資源池、網(wǎng)絡(luò)資源池，為虛擬化的資源，能夠?qū)崿F(xiàn)彈性的資源供給和擴展。基于存儲資源池實現(xiàn)大數(shù)據(jù)平臺的各種數(shù)據(jù)存儲功能，包括分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫。數(shù)據(jù)管理實現(xiàn)大數(shù)據(jù)平臺的接入管理、數(shù)據(jù)清洗、數(shù)據(jù)統(tǒng)一建模、數(shù)據(jù)檢索、數(shù)據(jù)服務(wù)等功能。數(shù)據(jù)分析與處理是大數(shù)據(jù)平臺的核心，大數(shù)據(jù)平臺根據(jù)具體業(yè)務(wù)需求能夠提供批處理、流處理等功能，同時平臺能夠提供通用的數(shù)據(jù)分析算法包或工具，包括數(shù)據(jù)挖掘、統(tǒng)計分析、機器學(xué)習(xí)等。平臺管控包括資源調(diào)度、集群管控、安全管控、用戶管理等，實現(xiàn)對平臺的監(jiān)控、調(diào)度和管理。

3.2應(yīng)用框架

結(jié)合智能電網(wǎng)的應(yīng)用需求，在大數(shù)據(jù)核心平臺之上構(gòu)建各類大數(shù)據(jù)應(yīng)用。面向智能電網(wǎng)大數(shù)據(jù)的應(yīng)用框架見圖4。應(yīng)用整體框架分數(shù)據(jù)集成與交互層、大數(shù)據(jù)核心平臺層、應(yīng)用層。

4、結(jié)語

1)智能電網(wǎng)大數(shù)據(jù)數(shù)據(jù)量大、類型多樣、數(shù)據(jù)特征復(fù)雜，同時業(yè)務(wù)應(yīng)用需求場景多，且存在交叉融合，對現(xiàn)有數(shù)據(jù)處理方式和平臺提出了很高的要求，需要采用新的大數(shù)據(jù)處理技術(shù)來支撐。

2)智能電網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)包括數(shù)據(jù)集成、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析等技術(shù)，需要結(jié)合具體業(yè)務(wù)的特點和需求選擇相應(yīng)的技術(shù)。

3)智能電網(wǎng)大數(shù)據(jù)平臺需要構(gòu)建統(tǒng)一數(shù)據(jù)模型來實現(xiàn)智能電網(wǎng)各類數(shù)據(jù)的融合和共享，基于全數(shù)據(jù)進行業(yè)務(wù)的開發(fā)和應(yīng)用，智能電網(wǎng)大數(shù)據(jù)平臺具有數(shù)據(jù)共享、應(yīng)用開發(fā)和業(yè)務(wù)運行3方面功能。

4)隨著智能電網(wǎng)的發(fā)展，數(shù)據(jù)將成為核心資源，大數(shù)據(jù)平臺將承載智能電網(wǎng)眾多各類型應(yīng)用，其基礎(chǔ)作用將越來越重要。