電力大數(shù)據(jù)分析技術(shù)，從根本上講，屬于傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在海量數(shù)據(jù)挖掘下的新發(fā)展，但由于大數(shù)據(jù)海量、高速增長、多樣性的特點(diǎn)，并且不僅包含結(jié)構(gòu)化數(shù)據(jù)，還含半結(jié)構(gòu)化和非機(jī)構(gòu)化數(shù)據(jù)，因此傳統(tǒng)的很多處理小數(shù)據(jù)的數(shù)據(jù)挖掘方法已經(jīng)不再實用。

　　大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法，可以從3個方面著手：1)從大數(shù)據(jù)的治理與抽樣、特征選擇的角度入手，將大數(shù)據(jù)小數(shù)據(jù)化；2)開展大數(shù)據(jù)下的聚類、分類算法研究，例如基于共軛度的最小二乘支持向量機(jī)(least squares support vector machine，LS-SVM)]，隨機(jī)可擴(kuò)展FuzzyC-Means (FCM)等；3)開展大數(shù)據(jù)的并行算法，將傳統(tǒng)的數(shù)據(jù)挖掘方法通過并行化，應(yīng)用到大數(shù)據(jù)的知識挖掘中，例如基于MapReduce的機(jī)器學(xué)習(xí)與知識挖掘。

　　3.3 電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)

　　電力大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)包括分布式計算技術(shù)，內(nèi)存計算技術(shù)，流處理技術(shù)等。分布式計算技術(shù)是為了解決大規(guī)模數(shù)據(jù)的分布式存儲與處理。內(nèi)存計算技術(shù)是為了解決數(shù)據(jù)的高效讀取和處理在線的實時計算。流處理技術(shù)則是為了處理實時到達(dá)的、速度和規(guī)模不受控制的數(shù)據(jù)。

　　分布式計算是一種新的計算方式，研究如何將一個需要強(qiáng)大計算能力才能解決的問題分解為許多小的部分，然后再將這些部分分給多個計算機(jī)處理，最后把結(jié)果綜合起來得到最終結(jié)果。

　　分布式計算的一個典型代表是Google公司提出的MapReduce編程模型，該模型先將待處理的數(shù)據(jù)進(jìn)行分塊，交給不同的Map任務(wù)區(qū)處理，并按鍵值存儲到本地硬盤，再用Reduce任務(wù)按照鍵值將結(jié)果匯總并輸出最終結(jié)果。分布式技術(shù)適用于電力系統(tǒng)信息采集領(lǐng)域的大規(guī)模分散數(shù)據(jù)源。

　    內(nèi)存計算技術(shù)是將數(shù)據(jù)全部放在內(nèi)層中進(jìn)行操作的計算技術(shù)，該技術(shù)克服了對磁盤讀寫操作時的大量時間消耗，計算速度得到幾個數(shù)量級的大幅提升。內(nèi)層計算技術(shù)伴隨著大數(shù)據(jù)浪潮的來臨和內(nèi)存價格的下降得到快速的發(fā)展和廣泛的應(yīng)用，EMC、甲骨文、SAT都推出了內(nèi)存計算的解決方案，將客戶以前需要以天作為時間計算單位的業(yè)務(wù)降低為以秒作為時間計算單位，解決了大數(shù)據(jù)實時分析和知識挖掘的難題。

　　流處理的處理模型是將源源不斷的數(shù)據(jù)組視為流，當(dāng)新的數(shù)據(jù)到來時就立即處理并返回結(jié)果，其基本理念是數(shù)據(jù)的價值會隨著時間的流逝而不斷減少，因此盡可能快地對最新的數(shù)據(jù)做出分析并給出結(jié)果，其應(yīng)用場景主要有網(wǎng)頁點(diǎn)擊的實時統(tǒng)計、傳感器網(wǎng)絡(luò)、金融中的高頻交易等[8]。

　　隨著電力事業(yè)的發(fā)展，電力系統(tǒng)數(shù)據(jù)量不斷增長，對實時性的要求也越來越高，將數(shù)據(jù)流技術(shù)應(yīng)用于電力系統(tǒng)可以為決策者提供即時依據(jù)，滿足實時在線分析需求。

　　3.4 電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)

　　電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)包括可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等?？梢暬夹g(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)從3個不同的方面詮釋了電力大數(shù)據(jù)展現(xiàn)技術(shù)的豐富內(nèi)涵。借助電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)可幫助管理人員更直觀、準(zhǔn)確地理解電力系統(tǒng)數(shù)據(jù)表達(dá)的意義，了解電力系統(tǒng)的運(yùn)行狀態(tài)。

　　可視化技術(shù)廣泛應(yīng)用于電網(wǎng)狀態(tài)的實時監(jiān)控，顯著提高了電力系統(tǒng)的自動化水平。未來電力系統(tǒng)可視化還可結(jié)合復(fù)雜網(wǎng)絡(luò)中的相關(guān)理論在電網(wǎng)自動分層分區(qū)、自動布點(diǎn)等方面展開深入研究，發(fā)掘電網(wǎng)更深層次的規(guī)律和聯(lián)系。

　　空間信息流展示技術(shù)主要體現(xiàn)在電網(wǎng)參數(shù)與已有地理信息系統(tǒng)的結(jié)合上，包含變電站三維展示、虛擬現(xiàn)實等技術(shù)。將電力配電設(shè)備管理與地理信息系統(tǒng)緊密結(jié)合起來，有利于電網(wǎng)管理人員直觀地了解設(shè)備情況，從而為其決策提供最新的地理信息。在變電站工程設(shè)計中用空間信息流展示技術(shù)可以節(jié)約時間、資源、成本，為電力企業(yè)帶來巨大的效益。

　　歷史流展示技術(shù)體現(xiàn)在對電網(wǎng)歷史數(shù)據(jù)的管理與展示上。在電力系統(tǒng)中，深層次的應(yīng)用分析往往以歷史數(shù)據(jù)為基礎(chǔ)。對生產(chǎn)現(xiàn)場的實時監(jiān)測數(shù)據(jù)、電網(wǎng)的規(guī)劃數(shù)據(jù)和負(fù)荷預(yù)測數(shù)據(jù)，通過歷史流展示技術(shù)，可以繪制出數(shù)據(jù)的發(fā)展趨勢并預(yù)測出未來的數(shù)據(jù)走勢；通過歷史流回放展示技術(shù)，可以模擬歷史重大事件發(fā)生、演變，挖掘歷史事件潛在的知識與規(guī)律。

　　4 大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用

　　電力大數(shù)據(jù)的應(yīng)用場合涵蓋發(fā)、輸、變、配、用、調(diào)等電力行業(yè)的各個環(huán)節(jié)，在風(fēng)電場選址、降低網(wǎng)損、風(fēng)電并網(wǎng)、電網(wǎng)安全監(jiān)測、大災(zāi)難預(yù)警、電力企業(yè)精細(xì)化運(yùn)營、電力設(shè)備狀態(tài)監(jiān)測等領(lǐng)域有非常強(qiáng)的可實現(xiàn)性。

　　5 結(jié)論與展望

　　本文探討了大數(shù)據(jù)、云計算、智能電網(wǎng)三者之間的相互關(guān)系，并給出電力大數(shù)據(jù)的總體可執(zhí)行框架，對電力企業(yè)大數(shù)據(jù)平臺的搭建具有參考價值。

　　本文闡述了電力大數(shù)據(jù)平臺中4個核心的關(guān)鍵技術(shù)，即集成管理技術(shù)、分析技術(shù)、處理技術(shù)、展現(xiàn)技術(shù)。大數(shù)據(jù)的集成管理技術(shù)應(yīng)該考慮關(guān)系型和非關(guān)系型數(shù)據(jù)庫技術(shù)的綜合應(yīng)用，并重點(diǎn)考慮NoSQL數(shù)據(jù)庫技術(shù)；大數(shù)據(jù)的分析技術(shù)應(yīng)從大數(shù)據(jù)的治理與抽樣、大數(shù)據(jù)特征選擇、大數(shù)據(jù)小數(shù)據(jù)化、大數(shù)據(jù)的分類算法、大數(shù)據(jù)挖掘并行化等方面開展研究；大數(shù)據(jù)的處理技術(shù)應(yīng)根據(jù)具體的應(yīng)用需求考慮分布式計算、內(nèi)存計算、流處理等技術(shù)；電力大數(shù)據(jù)的數(shù)據(jù)展現(xiàn)技術(shù)可考慮可視化技術(shù)、空間信息流展示技術(shù)、歷史流展示技術(shù)等。

　　大數(shù)據(jù)技術(shù)在商業(yè)領(lǐng)域已經(jīng)獲得較為廣泛的應(yīng)用并創(chuàng)造出巨大的商業(yè)價值，但是在電力系統(tǒng)中的應(yīng)用才剛剛起步，因此結(jié)合大數(shù)據(jù)的技術(shù)優(yōu)勢和電力系統(tǒng)的應(yīng)用需求，發(fā)揮電力大數(shù)據(jù)的價值，將為智能電網(wǎng)的建設(shè)帶來新的發(fā)展契機(jī)。

　　電力企業(yè)應(yīng)該牢牢抓住這個契機(jī)，從數(shù)據(jù)政策、人才培養(yǎng)、關(guān)鍵技術(shù)研發(fā)等層面，全面促成電力大數(shù)據(jù)技術(shù)的發(fā)展。