智能電網大數據處理技術現狀與挑戰

2017-04-12 11:03:35 大云網　點擊量：評論 (0)

核心提示：　　智能電網大數據處理技術現狀與挑戰宋亞奇& 39;周國亮朱永利2（1 華北電力大學控制與計算機學院，河北省保定市071003；2新能源電力系統國家重點。需要指出的是，鑒于目前云平臺接收智能電網監測數

核心提示：　　智能電網大數據處理技術現狀與挑戰宋亞奇'周國亮\朱永利2（1.華北電力大學控制與計算機學院，河北省保定市071003；2新能源電力系統國家重點。需要指出的是，鑒于目前云平臺接收智能電網監測數據的實

　　智能電網大數據處理技術現狀與挑戰宋亞奇'周國亮\朱永利2（1.華北電力大學控制與計算機學院，河北省保定市071003；2新能源電力系統國家重點。需要指出的是，鑒于目前云平臺接收智能電網監測數據的實時性不能保證，可以在的數據接入與信息集成前面設置若干前置機，負責實時接收通信網中送來的報警信息或監測數據，并在云平臺不能響應時負責暫存。

　　智能電網各類應用生產控制系統電力經營管理電力營狀態檢風險評銷系統測系統估系統任務管理、調度與監控Hadoop云計算系統并行數據倉庫實時數據庫數據接入與信息集成智能電網大數據多級存儲系統另外，智能電網中的數據格式與傳統商業數據具有很大的不同，擁有自己的特點。比如在故障錄波及輸變電設備狀態監測中，波形數據較多，而波形數據與傳統商業數據具有本質的不同，具有數據生成速度快等特點。因此需要研究面向智能電網大數據存儲的格式，從而有利于后續的數據分析和計算。

　　智能電網環境下各類數據異構，不能用已有的簡單數據結構來描述，而計算機算法在處理復雜結構數據方面相對低效，但處理同質的數據則非常高效。因此，如何將數據組織成合理的同質結構，是大數據存儲處理中的一個重要問題。另外，智能電網中存在大量的非結構化和半結構化數據，如何將這些數據轉化為一個結構化的格式，是一項重大挑戰。

　　3.2實時數據處理技術3.2.1數據處理的時效性對大數據而言，數據處理速度十分重要。一般情況下，數據規模越大，分析處理的時間就會越長。

　　傳統的數據存儲方案是為一定大小的數據量而設計的，在其設計范圍內處理速度可能非常快，但不能適應大數據的要求。未來智能電網環境下，從發電、輸變電環節，到用電環節，都需要實時數據處理。目前的云計算系統可以提供快速的服務，但有可能會受到短暫的網絡擁塞，甚至是單臺服務器故障的影響，而不能保證響應時間。

　　基于內存的數據庫越來越受到關注。內存數據庫就是將數據放在內存中直接操作的數據庫。相對于磁盤，內存的數據讀寫速度要高出幾個數量級，將數據保存在內存中比從磁盤上訪問能夠極大地提高應用的性能。目前電力系統已經開始使用內存數據庫，以提高實時性。例如，針對去年我國部分地區出現用電荒，而另一部分地區呈現電能過剩的狀態，SAP推出了基于HANA內存數據庫的智能電表分析解決方案，希望能夠將智能電網涉及的環節和電力大用戶的數據進行集成和整合分析，以實現各地電能消費情況的分析，以做好相應的預防措施。

　　在大數據集中進行關鍵字的查詢也是一個重要挑戰。通過對整個數據集進行掃描來找到符合要求的記錄的方法顯然不可行，即使通過類似MapReduce這樣的并行處理技術加快掃描，也不是很合理。而通過事先為數據建立索引結構來幫助查找是一種比較快速同時節省系統資源的方法。目前一般索引結構的設計僅支持一些簡單數據類型，大數據則要求為復雜結構數據建立合適的索引結構，這也是一個巨大的挑戰。例如，物聯網采集的多維數據，其數據量不斷增長，同時對查詢時限有要求，需要不斷更新索引結構，索引的設計就非常具有挑戰性。下面分別從發電、輸變電和用電環節分析智能電網大數據在數據處理方面帶來的挑戰。

　　3.2.2發電環節發電企業的特點是生產過程連續、自動化程度高，要求全過程的實時監控、高速的實時數據處理、長期的歷史數據存儲以及生產信息的集成與共享。有研究表明，正常運行的SCADA系統接收到監測數據延時如果超過50 ms，就會導致錯誤的控制策略；還有研究表明，SCADA系統在使用Internet環境下最普遍的TCP/IP協議時出現故障，主要原因是TCP協議在進行流量控制和數據糾錯，而造成數據延遲。未來的智能電網解決方案將需要實時響應，即使出現節點故障的情況。目前的關系數據庫系統和云計算系統被設計為是處理永久、穩定的數據。關系數據庫強調維護數據的完整性、一致性；云計算系統強調可靠性和可擴展性，但很難顧及有關數據及其處理的定時限制，不能滿足工業生產管理實時應用的需要。

　　3.2.3輸變電環節狀態監測對數據存儲與處理平臺的性能或實時性具有較高的要求，而云計算技術雖然可以有效地處理大數據，但需要進一步提升云平臺對海量監測數據的存取性能，以滿足實時性的要求。以往的大規模停電事故，最初是由一些環境因素引起的，比如大風導致的線路跳閘等。現有SCADA系統的監控范圍僅限于系統的主參數，對構成系統的各重要設備的健康狀況的信息缺失，致使運行人員在事故面前難以做出正確的處理。未來智能電網要求具有故障自愈功能，其SCADA系統須擁有全網的監測數據，需要將電力設備的狀態數據納入其中，這對平臺的實時處理提出了更高的要求。

　　新型綠色能源發電功率的不穩定造成電網的波動，對整個電網調度形成很大的壓力。目前電網調度與控制模型不能夠處理這種大量的小型發電系統產生的波動和不可預知的行為。最新的研究表明，為支持這種情況，需要創建一種新型的電網狀態監控系統，能夠更加細粒度地跟蹤電網實時狀態。因此未來的SCADA系統需要實時處理比目前多幾個數量級的監控數據。

　　3.2.4用電環節未來智能電網環境下，家庭可能配備多種電能、電量監測設備，用以實現低成本的用電，并與電網的負載相匹配。例如，電熱水器可能會選擇夜間這種用電量低谷時段運行；空調會根據用戶舒適度、電價以及電網負荷等參數實時自動調整。某種程度上，我們可以認為SCADA系統進入了普通家庭，用電環節的實時數據處理變得越來越重要。

　　3.3異構多數據源處理技術3.3.1異構信息的整合未來智能電網要求貫通發電、輸電、變電、配電、用電、調度等多個環節，實現信息的全面采集、流暢傳輸和高效處理，支撐電力流、信息流、業務流的高度一體化。因此，首要功能是實現大規模多源異構信息的整合，為智能電網提供資源集約化配置的數據中心。針對海量異構數據，如何構建一個模型來對其進行規范表達，如何基于該模型來實現數據融合，以及對其進行有效的存儲和高效查詢是亟需解決的問題。

　　電網各信息系統大多是基于本業務或本部門的需求，存在不同的平臺、應用系統和數據格式，導致信息與資源分散，異構性嚴重，橫向不能共享，上下級間縱向貫通困難，例如：電力系統中存在監控、能量管理、配電管理、市場運營等各類信息系統，大多相互獨立，數據信息不能共享。使用云平臺實現各獨立系統的集成，可實現這些分散孤立系統之間的信息互通。

　　另外，智能電網的基礎設施規模龐大，數量眾多且分布在不同地點。例如：國家電網公司的信息化平臺在公司總部與各個網省公司建立2級數據中心，實現公司總部、網省公司、地市縣公司的3層應用。如何有效管理這些基礎設施、減少數據中心的運營成本是一個巨大的挑戰。

　　3.3.2各類電網數據的高效管理在智能電網異構多源信息融合和管理中，建立61970的信息互操作模型是很有必要的。由于智能電網中的數據類型比IEC61850所涉及的類型要多，所以應用多層知識結構和語義的方法、建立面向領域的分析模型與基于語義的服務模型是一種可選的方法。綜合運用統計學習、支持向量機、相關向量機和關聯規則挖掘等理論，研究異構數據融合與挖掘的集成方案以及實時挖掘算法。由于設備狀態的劣化是一個由量變到質變的過程，像多年積累的油色譜這樣的時序數據的挖掘更有意義，目前這種大數據挖掘雖有一些研究成果，但實用化程度不高。

　　3.4大數據可視化化分析技術面對海量的智能電網數據，如何在有限的屏幕空間下，以一種直觀、容易理解的方式展現給用戶，是一項非常有挑戰性的工作。可視化方法已被證明為一種解決大規模數據分析的有效方法，并在實踐中得到廣泛應用。智能電網各類應用產生的大規模數據集，其中包含高精度、高分辨率數據，時變數據和多變量數據等。一個典型的數據集可達TB數量集。如何從這些龐大復雜的數據中快速而有效地提取有用的信息，成為智能電網應用中的一個關鍵技術難點。可視化通過一系列復雜的算法將數據繪制成高精度、高分辨率的圖片，并提供交互工具，有效利用人的視覺系統，并允許實時改變數據處理和算法參數，對數據進行觀察和定性及定量分析。

　　這方面的挑戰主要包括可視化算法的可擴展性、并行圖像合成算法、重要信息的提取和顯示等方面。

　　4結論未來的智能電網將是依托大數據處理分析技術的全景實時電網。云計算為這種異構且多樣化的數據提供了存儲和分析的平臺。平臺運行一段后必然產生大數據，云平臺和大數據分析將會為電力設備的狀態檢修、電網自愈、孤立信息系統的互通提供支持，并成為重要的候選方案，具有低成本、好的系統擴展性（存儲容量無限）、高可靠性、并行分析等優勢，在國際上已有幾例系統投入實際運行，但在實時性、數據一致性、隱私性和安全性方面仍有不少的挑戰，需要找出相應的解決方法。大數據的處理技術還很欠缺，有待人們去探索。