3 引發(fā)技術(shù)變革的電力大數(shù)據(jù)

3.1 數(shù)據(jù)規(guī)模大，數(shù)據(jù)處理時(shí)效性要求高——傳統(tǒng)技術(shù)手段不能經(jīng)濟(jì)地滿足業(yè)務(wù)性能需求

隨著電網(wǎng)規(guī)模的日益擴(kuò)大，以及信息化水平不斷提高，數(shù)據(jù)規(guī)模日漸增大。例如，國家電網(wǎng)公司用電信息采集系統(tǒng)中的智能電表數(shù)量到2015年達(dá)到了三億塊，用采數(shù)據(jù)達(dá)到PB級(jí)。如此數(shù)量級(jí)的數(shù)據(jù)將對(duì)現(xiàn)今電網(wǎng)的數(shù)據(jù)存儲(chǔ)和管理提出嚴(yán)峻挑戰(zhàn)。
同時(shí)在數(shù)據(jù)實(shí)時(shí)性方面，目前電網(wǎng)公司對(duì)大用戶采集頻率為15分鐘一次，家庭用戶為1小時(shí)1次；對(duì)數(shù)據(jù)轉(zhuǎn)換、插入、修改、更新需要在兩次采集間隔之間完成。在傳統(tǒng)的技術(shù)手段下，采集數(shù)據(jù)的入庫時(shí)間為小時(shí)級(jí)，不能滿足目前電網(wǎng)營業(yè)務(wù)的需求。

圖3-1電網(wǎng)公司用電信息采集系統(tǒng)中的海量數(shù)據(jù)

隨著電網(wǎng)規(guī)模的快速增長(zhǎng).電網(wǎng)結(jié)構(gòu)日趨復(fù)雜，電力企業(yè)紛紛加大了輸變電設(shè)備狀態(tài)監(jiān)測(cè)技術(shù)的推廣和應(yīng)用力度；隨著智能輸變電設(shè)備數(shù)量的不斷增長(zhǎng)，設(shè)備中進(jìn)行獲取與傳輸?shù)母黝悢?shù)據(jù)也在發(fā)生幾何級(jí)的增長(zhǎng)。這些數(shù)據(jù)不僅包括了設(shè)備異常時(shí)出現(xiàn)的各類信號(hào)、運(yùn)行過程中各類設(shè)備的狀態(tài)信息，同時(shí)還包含了大量的相關(guān)數(shù)據(jù)，如地理信息、天氣、現(xiàn)場(chǎng)溫度與濕度，以及檢測(cè)視頻、圖像和相關(guān)實(shí)驗(yàn)文檔等，從而構(gòu)成輸變電設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)。

輸變電設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)中大量的監(jiān)測(cè)節(jié)點(diǎn)不斷地向數(shù)據(jù)平臺(tái) 傳遞采集的數(shù)據(jù)，形成海量的異構(gòu)數(shù)據(jù)流。數(shù)據(jù)平臺(tái)不僅要可靠地存儲(chǔ)這些數(shù)據(jù)，而且要及時(shí)地分析和處理這些數(shù)據(jù)：狀態(tài)監(jiān)測(cè)大數(shù)據(jù)以下五個(gè)特點(diǎn)対數(shù)據(jù)存儲(chǔ)和處理技術(shù)形成了巨大的挑戰(zhàn)。

1）輸變電設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)的體量巨大。從TB 級(jí)別躍升到PB級(jí)別。現(xiàn)階段在線檢測(cè)系統(tǒng)（變壓器油色譜、局部放電、絕緣子泄漏電流，線路覆冰、電站圖像監(jiān)測(cè)等），涉及的數(shù)據(jù)包含結(jié)構(gòu)化:.在線監(jiān)測(cè)數(shù)值、臺(tái)賬信息等）和非結(jié)構(gòu)化數(shù)據(jù)（圖像等），對(duì)于一個(gè)省級(jí)的電網(wǎng)公司，按照10000套終端，每套終端每5分鐘采集一次數(shù)據(jù)計(jì)算，每天產(chǎn)生數(shù)據(jù)總量約430GB。每年產(chǎn)生數(shù)據(jù)接近150 TB。目前，正在發(fā)展的直升機(jī)巡線所產(chǎn)生的紅外、紫外視頻信息，每年作業(yè)采集的數(shù)據(jù)量也達(dá)到了TB級(jí)別。一個(gè)數(shù)字化變電站每天產(chǎn)生的數(shù)據(jù)量約為3TB。隨著監(jiān)測(cè)系統(tǒng)規(guī)模的擴(kuò)大，上述數(shù)據(jù)量還將成倍增加。

2）多源異構(gòu)數(shù)據(jù)的相關(guān)性。在大數(shù)據(jù)應(yīng)用過程中，需要對(duì)多種監(jiān)測(cè)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，也需要對(duì)電網(wǎng)系統(tǒng)外數(shù)據(jù)（氣象、地理、環(huán)境等）與監(jiān)測(cè)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析， 這無疑增加了輸變電設(shè)備狀態(tài)評(píng)估、故障預(yù)測(cè)等高級(jí)應(yīng) 用的復(fù)雜度：另外.由于關(guān)聯(lián)分析涉及的數(shù)據(jù)體量巨大，所使用的數(shù)據(jù)統(tǒng)計(jì)分析算法、數(shù)據(jù)挖掘算法的執(zhí)行效率在面對(duì)大數(shù)據(jù)時(shí)也會(huì)受到很大的影響，同時(shí)對(duì)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分布方法提出了更高的要求。

3）時(shí)間和空間屬性。監(jiān)測(cè)裝置節(jié)點(diǎn)具有地理位置屬性，數(shù)據(jù)采樣值具有時(shí)間屬性。對(duì)狀態(tài)監(jiān)測(cè)數(shù)據(jù)的查詢不僅局限于按照設(shè)備關(guān)鍵字查詢，還可以基于復(fù)雜的邏輯約束條件進(jìn)行多條件查詢，例如查詢某個(gè)指定地理區(qū)城中所有輸電線路監(jiān)測(cè)裝置在規(guī)定時(shí)間段內(nèi)所采集的數(shù)據(jù)，并對(duì)它們進(jìn)行統(tǒng)計(jì)分析。

4）處理速度快。輸變電設(shè)備狀態(tài)評(píng)估、風(fēng)險(xiǎn)預(yù)測(cè)等高級(jí)應(yīng)用要求對(duì)海量的歷史數(shù)據(jù)進(jìn)行離線分析處理， 這要求數(shù)據(jù)平臺(tái)能夠提供并行化的海量歷史數(shù)據(jù)批處理的能力，這對(duì)系統(tǒng)的吞吐量提出了挑戰(zhàn)。

5）價(jià)值密度低。以視頻數(shù)據(jù)為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有1~2s。在基于經(jīng)驗(yàn)和人工的傳統(tǒng)輸變電設(shè)備狀態(tài)監(jiān)測(cè)評(píng)估中，只對(duì)少量異常數(shù)據(jù)關(guān)注、處理和采用，而丟棄所謂“正常數(shù)據(jù)”，然而丟棄的大量“正常數(shù)據(jù)”也可能成為故障分析判斷的重要依據(jù)。

結(jié)合上述挑戰(zhàn)，應(yīng)盡快提升電力企業(yè)數(shù)據(jù)平臺(tái)的存儲(chǔ)和處理能力，加大應(yīng)用研發(fā)力度，有力支撐相關(guān)電網(wǎng)業(yè)務(wù)應(yīng)用的開發(fā)。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社