從技術上看，大數據根植于云計算，云計算的數據存儲、管理與分析方面的技術是大數據技術的基礎。利用云計算強大的計算能力，可以更加迅速地處理大數據，并更方便地提供服務；通過大數據的業務需求，可以為云計算的發展找到更多更好的實際應用。

　　云計算使大數據應用成為可能，但是沒有大數據的信息沉淀，云計算的功能將得不到完全發揮，所以從整體上看，大數據與云計算是相輔相成的。

　　云計算和大數據的側重點不同，因此也有較大的差別。大數據關注重心在于數據背后的信息沉淀與業務分析，因此其推動力量來源于擁有大數據的企業和軟件廠商；云計算關注重心在于計算能力，偏重于技術解決方案，因此其推動力量來自于計算資源和存儲資源的生產廠商。

　　云計算技術的發展早于大數據技術的發展，但是大數據的業務需求又為云計算技術的發展帶來新的機遇，一方面促進了云計算技術向更加貼近用戶需求的方向發展，另一方面帶來了更高處理速度、更大存儲容量的要求。

　　1.3 智能電網、云計算、大數據的相互關系

　　云計算能夠整合智能電網系統內部計算處理和存儲資源，提高電網處理和交互能力，成為電網強有力的技術組成；大數據技術立足于業務服務需求，根植于云計算，以云計算技術為基礎；智能電網可以抽象的認為是大數據這個概念在電力中的應用，所以三者是彼此交互的關系。

　　智能電網、云計算、大數據三者之間的關系，從更加深層次來講，是電力系統發展到不同階段的產物，具有代紀傳承的特點。

　   智能電網是信息技術、計算機技術、人工智能技術等在傳統電網上應用沉淀的結果，滿足電網信息化、智能化、清潔化等高層次的運營和管理需求，既是對傳統電網的繼承，也是對傳統電網的發揚，所以其發展必然與新技術同步。

　　來自于計算機和信息技術領域最前沿的云計算技術和大數據技術，正是其發展階段技術層面和應用層面兩個具有劃時代意義的新技術。云計算技術中的分布式存儲技術和并行計算技術，滿足了電網海量數據的存儲和計算需求，因此云計算技術推出不久，電力云的概念就提出來，云計算技術在電力系統中的應用也逐漸呈現出百花齊放的態勢，推動了智能電網的發展。

　　大數據技術既是傳統數據分析與挖掘技術的延續，也是數據量級增長到一定階段時知識挖掘與業務應用需求的必然產物，因此大數據技術的大部分應用都以云計算的關鍵技術或者與云計算類似的分布式存儲和處理技術為基礎。電力大數據技術的發展從某種意義上講，可以看成是云計算技術在智能電網中，高級業務需求的實現過程。

　　2 電力大數據平臺的總體架構

　　Apache基金會開源技術通用的大數據平臺整體架構具有較好的通用性，適用于電力企業大數據的規劃，其主要思想是利用基于Hadoop文件系統(Hadoopdistributed file system，HDFS)的分布式文件處理系統作為大數據的存儲框架，利用基于MapReduce的分布式計算技術作為大數據的處理框架。

　　以分布式文件處理技術為基礎，使PB、ZB級的數據存儲成為可能；以分布式計算技術為基礎，使得PB、ZB級數據的查詢分析成為可能。另外該框架中還包含商業智能應用、傳統的數據倉庫、大數據訪問框架、大數據調度框架、網絡層、操作系統、服務器、備份和恢復、數據管理等模塊。

　　大數據存儲框架和大數據處理框架通常構建在通用的服務器、操作系統或者虛擬機上，使得該架構所需的硬件具有低成本和高擴展性的特點，標準的普通服務器或者PC機即可成為基于該架構的終端構成單元。

　　大數據存儲框架和大數據處理框架之上是通過網絡層連接的大數據訪問框架，該訪問框架包含并行計算機編程語言Pig、數據倉庫工具Hive、開源數據傳遞工具Sqoop 等子模塊。

　　大數據調度框架包含基于列存儲的開源非關系型數據庫Hbase、數據序列化格式與傳輸工具Avro、日志收集系統Flume、分布式鎖設施ZooKeeper等模塊。

　　大數據調度框架實現了對大數據的組織與調度，為數據分析提供了必要條件。在大數據調度框架之上是企業級商業智能應用系統，可以開展查詢、分析、統計、報表等高級應用。大數據的管理、安全和備份恢復框架幫助進行大數據的治理和保護。

　　該框架幾乎涵蓋了大數據技術的所有環節，值得指出的是，通過該訪問框架不僅可以實現對分布式文件存儲系統的訪問，而且通過大數據連接器和開源數據傳遞工具Sqoop可以實現對傳統數據倉庫的訪問。

　　大數據的處理流程可以定義為在合適工具的輔助下，對廣泛異構的數據源進行抽取和集成，按照統一的標準對結果進行存儲，利用恰當的數據分析技術對存儲的數據進行分析，達到從中提取出有價值的知識的目的，并用合適的方式將結果展現給終端用戶。

　　對電力企業來講，電力大數據的基本處理流程與傳統數據處理流程并無太大差異，主要區別在于：電力大數據需要處理大量、非結構的數據，所以在各個環節都可以采用MapReduce等方式進行并行處理。

　　電力系統是一種高維非線性的復雜系統，其內部的數據流包含電力流、信息流、業務流、故障流、氣象流等不同的數據流向。

　　對這些電力系統的子信息源而言，一方面可以單獨應用大數據技術，提升其產業價值，例如電力設備在線監測系統本身就是一個大數據系統，另一方面可以融合不同的子信息源，在更高的層面上構件大數據平臺，例如融合電能計量系統、SCADA系統、MIS系統、負荷控制系統，可以構建基于大數據平臺的網損分析系統，實現網損的自動統計與分析。

　　基于該網損分析大數據平臺，還可開展基于自動網損統計的用戶竊電行為挖掘，實現更深層次的應用。

　　3 電力大數據關鍵技術

　　3.1 電力大數據的集成管理技術

　　電力企業數據集成管理技術是合并來自2個或者多個應用系統的數據，創建一個具有更多功能的企業應用的過程。從集成的角度來說，就是把不同來源、格式、特點、性質的數據在邏輯上或者存儲介質上有機地集中，為系統存儲一系列面向主題的、集成的、相對穩定的、反映歷史變化的數據集合，從而為系統提供全面的數據共享。電力企業集成管理技術就是為解決電力企業內部各系統間的數據冗余和信息孤島而產生的。

　　電力大數據的數據集成管理技術，包含關系型和非關系型數據庫技術、數據融合和集成技術、數據抽取技術、過濾技術和數據清洗等。大數據的一個重要特點就是多樣性，這就意味著數據來源極其廣泛，數據類型極為繁雜，這種復雜的數據環境給大數據的處理帶來極大的挑戰，要想處理大數據，首先必須對數據源的數據進行抽取和集成，從中提取出實體和關系，經過關聯和聚合之后采用統一的結構來存儲這些數據，在數據集成和提取時需要對數據進行清洗，保證數據質量及可靠性。

　　大數據存儲管理中一個重要的技術是NoSQL數據庫技術，它采用分布式數據存儲方式，去掉了關系型數據庫的關系型特性，數據存儲被簡化且更加靈活，具有良好的可擴展性，解決了海量數據的存儲難題。有代表性的NoSQL 數據庫技術有Google的BigTable和Amazon的Dynamo等。

　　3.2 電力大數據的數據分析技術

　　大數據技術的根本驅動力是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動。借助電力大數據的分析技術可以從電力系統的海量數據中找出潛在的模態與規律，為決策人員提供決策支持。

　　麥肯錫認為可用于大數據分析的關鍵技術源于統計學和計算機科學等學科，包含關聯分析、機器學習、數據挖掘、模式識別、神經網絡、時間序列預測模型、遺傳算法等多種不同的方法。

　　大數據研究不同于傳統的邏輯推理研究，是對巨大數量的數據做統計性的搜索、分類、比較、聚類等的分析和歸納，因此繼承了統計科學的一些特點，如統計學關注的數據相關性或稱關聯性，所謂“相關性”是指2個或2個以上變量的取值之間存在某種規律性[7]。“相關分析”的目的是找出數據集里隱藏的關系網，一般用支持度、可信度、興趣度等參數反映相關性。

　　牛津大學網絡學院教授維克多在他的著作《大數據時代》中指出：在大數據時代，相關關系分析法將大放異彩，通過找到一個良好現象的關聯物，相關關系分析可以捕獲現在和預測未來。大數據相關關系分析法，建立在海量樣本的基礎上，不采用隨機分析法這樣的捷徑，而采用分析所有數據的方法；大數據的簡單算法比小數據的復雜算法更有效，其結果更快、更準確而且不易受到干擾，因此他指出建立在相關關系分析法基礎上的預測是大數據的核心。

　　大數據這種不注重因果關系側重于相關關系的分析方法，帶來了科學研究思維方式的重大轉變，已故圖靈獎得主吉姆&dot；格雷提出的數據密集型科研“第四范式”，將大數據科研從前3 種范式(理論科學、計算科學、實驗科學)中分離出來，單獨作為一種科研范式，正是因為其研究方式不同于基于數學模型的傳統研究方式。