2.3數據處理技術

智能電網大數據的應用類型多，需要根據不同的業務需求采用不同的數據處理技術。根據大數據的數據特征和計算需求，大數據處理技術分流處理、批處理、內存計算、圖計算等。

2.3.1 流處理

流處理的處理模式將數據視為流，源源不斷的數據組成了數據流，當新的數據到來時就立刻處理并返回所需的結果。數據流本身具有持續達到、速度快且規模巨大等特點，因此通常不會對所有的數據進行永久化存儲，而且數據環境處在不斷的變化之中，系統很難準確掌握整個數據的全貌。目前廣泛應用的流處理系統有Twitter Storm和Yahoo S4。

Storm是分布式實時計算系統，主要用于流數據處理，可以簡單、高效、可靠地處理大量的數據流。它能夠處理源源不斷流進來的信息，處理之后將結果寫入到某個存儲中去。Storm的優點是全內存計算，因為內存尋址速度是硬盤的百萬倍以上，所以Storm的速度較快。Storm彌補了Hadoop批處理所不能滿足的實時要求，經常用于實時分析、在線機器學習、持續計算、分布式遠程調用和ETL等領域。

2.3.2 批處理

Google公司在2004年提出的Map-Reduce是最具代表性的批處理模式。Map-Reduce是一個使用簡易的軟件框架，用于大規模數據集的并行運算，主要用來進行大規模離線數據分析。基于它實現的應用程序能夠運行在由數千個商用機器組成的大型集群上，并以一種可靠容錯的并行處理大規模數據集。Map-Reduce的核心思想是將問題分而治之，并把計算推到數據所在的服務器，有效地避免數據傳輸過程中產生的大量通信開銷。

Map-Reduce的優點主要有2個方面：①不僅能用于處理大規模數據，而且能將很多繁瑣的細節隱藏起來，如自動并行化、負荷均衡和災備管理等，這將極大簡化開發工作;②伸縮性非常好，集群能夠方便的擴展。而Map-Reduce的不足是其不適應實時應用的需求，只能進行大規模離線數據分析。

2.3.3 內存計算

隨著內存價格的不斷下降，服務器配置的內存容量不斷增大，用內存計算來完成大規模數據處理成為可能。與Hadoop Map-Reduce批處理相比，內存計算能夠提供高性能的大數據分析處理能力。內存計算是一種體系結構上的解決方法，它可以和各種不同的計算模式相結合，包括批處理、流處理、圖計算等。比如Spark是分布式內存計算的一個典型并行計算框架，Spark基于Map-Reduce算法實現的分布式計算，擁有Hadoop Map-Reduce所具有的優點;但不同于Map-Reduce的是Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark具有更好的性能，適用于數據挖掘與機器學習等需要迭代的Map-Reduce的算法。

智能電網大數據應用根據業務特點和對處理響應的時間來選擇數據處理的方式，針對電網安全在線分析、電網運行監控等業務，數據實時性要求高、需要作出迅速響應，可以采用流處理內存計算;而對于用戶用電行為分析等業務，實時性和響應時間要求低，可以采用批處理方式。

2.4數據分析技術

數據分析是智能電網大數據處理的核心，由于大數據的海量、復雜多樣、變化快等特性，大數據環境下的傳統小數據分析算法很多已不再適用，需要采用新的數據分析方法或對現有數據分析方法進行改進。

數據挖掘方法主要有分類、關聯分析、聚類、異常檢測、回歸分析等，其中每一類包括眾多的算法。分類包括支持向量機、決策樹、貝葉斯、神經網絡等技術;關聯分析包括Apriori、FP-growth等算法;聚類分析分為劃分法、層次法、密度法、圖論法、模型法等，具體算法如k-means 算法、K-MEDOIDS算法、Clara算法、Clarans算法、SOM神經網絡、FCM聚類算法等;異常檢測包括基于統計、距離、偏差、密度等方法。在智能電網應用中需要對現有的算法進行優化和并行化改進，實現分布式處理。

機器學習是面向任務解決的基于經驗提煉模型實現最優解設計的計算機程序，通過經驗學習規律，一般應用在缺少理論模型指導但存在經驗觀測的領域中。機器學習分為歸納學習、分析學習、類比學習、遺傳算法、聯接學習、增強學習等。深度學習是機器學習研究中的一個新的領域，2006年由Hinton等提出，其目的在于建立模擬人腦進行分析學習的神經網絡，目前深度學習在語音識別、圖像識別、機器翻譯等領域進行了應用，并取得了較好的效果。

智能電網大數據挖掘主要為結構化數據，同時也存在文本、圖像、音頻、視頻等數據，在智能電網大數據應用中需要針對具體的業務采用合適的數據分析方法。

3、智能電網大數據平臺

3.1核心平臺框架

智能電網大數據應用需要構建在大數據平臺之上，大數據平臺為應用提供統一數據接入、清洗、存儲、管理、分析計算等功能。大數據核心平臺由基礎資源、數據存儲、數據分析與處理、數據管理、平臺服務和平臺管控等組成。

基礎資源層主要包括計算資源池、存儲資源池、網絡資源池，為虛擬化的資源，能夠實現彈性的資源供給和擴展。基于存儲資源池實現大數據平臺的各種數據存儲功能，包括分布式文件系統、分布式數據庫、傳統數據庫和數據倉庫。數據管理實現大數據平臺的接入管理、數據清洗、數據統一建模、數據檢索、數據服務等功能。數據分析與處理是大數據平臺的核心，大數據平臺根據具體業務需求能夠提供批處理、流處理等功能，同時平臺能夠提供通用的數據分析算法包或工具，包括數據挖掘、統計分析、機器學習等。平臺管控包括資源調度、集群管控、安全管控、用戶管理等，實現對平臺的監控、調度和管理。

3.2應用框架

結合智能電網的應用需求，在大數據核心平臺之上構建各類大數據應用。面向智能電網大數據的應用框架見圖4。應用整體框架分數據集成與交互層、大數據核心平臺層、應用層。

4、結語

1)智能電網大數據數據量大、類型多樣、數據特征復雜，同時業務應用需求場景多，且存在交叉融合，對現有數據處理方式和平臺提出了很高的要求，需要采用新的大數據處理技術來支撐。

2)智能電網大數據關鍵技術包括數據集成、數據存儲、數據處理、數據分析等技術，需要結合具體業務的特點和需求選擇相應的技術。

3)智能電網大數據平臺需要構建統一數據模型來實現智能電網各類數據的融合和共享，基于全數據進行業務的開發和應用，智能電網大數據平臺具有數據共享、應用開發和業務運行3方面功能。

4)隨著智能電網的發展，數據將成為核心資源，大數據平臺將承載智能電網眾多各類型應用，其基礎作用將越來越重要。