據估計，2009年電力公司需要處理的數據量已經達到194PB(美國國會圖書館的所有藏書加起來相當于3PB左右)，如今美國各地的電力公司數據中心每天都會新增數以TB計的數據量。

例如，智能電網投資撥款已經推動了相量監測裝置(PMU)的安裝。該裝置以每秒30次的頻率收集眾多電網節點的電壓、電流和數字狀態信息。這些數據有助于電力公司更好地管理電網，尤其是在可再生能源貢獻了更多電力的情況下。

“這產生了龐大的數據量，動輒就是好幾個TB。”行業贊助的電力研究所(ElectricPowerResearchInstitute)的保羅?米爾達(PaulMyrda)在“智能電網和新能源經濟大湖研討會”上擔任討論嘉賓時如此說道。這次研討會已于9月25日在伊利諾斯理工學院結束。

“數據多不勝數。如何處理它們?如何利用它們?如何管理它們?在什么情況下它們會變得毫無用處?”

美國電力研究協會(EPRI)最近對電力公司的數據處理情況進行了調查。

“總體上來說，目前有能力獲得這些數據的大多數電力公司都在收集它們，將之永久保留，但很少有電力公司知道如何將它們歸檔或者轉移到線下。目前，我們還不知道篩選數據的任何方法。”米爾達說。

“另一個問題在于，他們沒有簡單的方法來把數據與任何特定時間點上的系統狀態及時聯系起來。因此，他們雖然有電壓和電流數據，但卻沒有與之相關的類型分析。一天、兩天、一周、一年過后，這些數據能有什么用處?”

米爾達說，他提倡安裝電源管理單元(PMU)，并且關注利用這些數據的軟件的開發情況。雖然有些軟件已經開發出來，但他說“沒有殺手級軟件”。

“這些是真正的問題。真正的問題不少，我剛剛所說的只是圍繞著大數據和電力公司的問題的一個方面。”

另一個方面涉及到信息技術。咨詢公司WestMonroePartners的高級技術架構師丹?羅薩諾瓦(DanRosanova)說，大多數電力公司都配備了最先進的計算機、數據庫和網絡——當今最好的信息技術架構。

現在的IT架構能夠很好地應付當前的常見應用。這些應用常常涉及到通過網絡訪問處理器和數據以解決特定的問題。

但羅薩諾瓦說，目前正在涌入電力公司的那種大數據會使現在的網絡不堪重負。例如，單次計算可能需要通過網絡訪問4TB的數據量，超過了國會圖書館的信息量。

“當你進入大數據領域時，集中化模式就會分崩離析。這種模式很好地服務了我們目前正在做的大多數事情。那是4TB數據量。在你獲得我們先前提到的那種PB規模的數據量之前，請慢慢等待吧。”

因此，像羅薩諾瓦這樣的架構師必須設計一種新的IT基礎設施，但他們仍然不知道新的架構究竟應該滿足什么要求：

“我們不知道我們將如何使用所有這些數據。”他說，“坦白說，我們將用到的很多工具可能還沒有創造出來。大數據之所以是個大挑戰，原因不僅在于我們不知道我們將用到什么工具，還在于目前我們也不知道對存儲容量的需求有多大。我們只知道需要很大的存儲容量。”

“這個挑戰超過了目前大多數人的預料。”

米爾達認為，這個挑戰對工程師們來說意味著為數據打造應用的機會，對大型電力公司來說意味著尋求合作的機會。

“或許有些工程師可以通過出售他們的應用而掙點錢。”他說，“在這個方面，我們可以利用整個電力行業和某些最具創造力的已有人才。”