1.1 大數(shù)據(jù)的興起與發(fā)展

“大數(shù)據(jù)”概念的提出可以追溯至20世紀90年代，最初只是對一些在一定時間內(nèi)無法用傳統(tǒng)方法進行抓取、管理和處理的數(shù)據(jù)的統(tǒng)稱a 1997年，美國宇航局研究員邁克爾•考克斯和大衛(wèi)•埃爾斯沃斯首次使用“大數(shù)據(jù)”這一術(shù)語來描述超級計算機模擬飛機周圍的氣流而生成的大量信息。

2002年起，美國政府開始采用大規(guī)模數(shù)據(jù)挖掘技術(shù)來阻止恐怖主義活動。美國國防部通過整合各政府部門的數(shù)據(jù)庫，建成一個通過篩選通信、犯罪、教育、金融、醫(yī)療和旅行等記錄從而識別出可疑人的大數(shù)據(jù)平臺。到2010年，美國國家安全局的30000名員工共攔截和存儲了17億封可疑電子郵件、電話和其他信息。

從2009年開始，互聯(lián)網(wǎng)數(shù)據(jù)以毎年50%，毎兩年翻一番的速 度增長。截至2012年，全世界每天產(chǎn)生2.5艾(2.5X1018)字節(jié)的數(shù)據(jù)。全球互聯(lián)網(wǎng)企業(yè)都意識到“大數(shù)據(jù)”時代的來臨.數(shù)據(jù)對于企業(yè)基于著重要意義。

2011年5月，麥肯錫全球研究院發(fā)布題為《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》的報告。報告發(fā)布后，“大數(shù)據(jù)”迅速成為計算機行業(yè)的熱門概念。

2012年1月，達沃斯論壇發(fā)布的名為《大數(shù)據(jù)，大影響》的報告稱：就像貨幣或黃金一樣，數(shù)據(jù)已成為一種新的經(jīng)濟資產(chǎn)類別。同年3月，奧巴馬政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，并投資2億美元啟動了“大數(shù)據(jù)研究和發(fā)展計劃”，希望通過大數(shù)據(jù)技術(shù)提高收集海量數(shù)據(jù)、分析萃取信息的能力，加快改革美國國家安全、科學(xué)和研究的步伐，以及引發(fā)教育和學(xué)習(xí)的變革。同年7月，時任美國國務(wù)卿希拉里•克林頓宣布了一個名為“數(shù)據(jù)2X”的公私合營企業(yè)，用來收集統(tǒng)計世界各地的婦女和女童在經(jīng)濟、政治和社會地位方面的信息。與此同時，聯(lián)合國發(fā)布政務(wù)白皮書《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)和機遇》，建議聯(lián)合國成員國開發(fā)大數(shù)據(jù)潛在價值。

2014年4月，世界經(jīng)濟論壇以“大數(shù)據(jù)的回報與險”為主題 發(fā)布了《全球信息技術(shù)報告》。報告認為，全球大數(shù)據(jù)產(chǎn)業(yè)的日趨活躍，技術(shù)演進和應(yīng)用創(chuàng)新的加速發(fā)展，使各國政府逐漸認識到大數(shù)據(jù)在推動經(jīng)濟發(fā)展、改善公共服務(wù)，乃至保障國家安全方面的重大意義。

然而，大數(shù)據(jù)究競是什么?

麥肯錫公司認為，大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處現(xiàn)的數(shù)據(jù)集合。

維基萬科認為，大數(shù)據(jù)由巨型數(shù)據(jù)集組成，所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達到截取、管理、處理，并整理成為人類所能解讀的信息。

Gartne公司認為，大數(shù)據(jù)是大量、高速及(或)多變的信息資產(chǎn)，它需要新型的處理方式去促成更強的決策能力、洞察力與優(yōu)化處理：大數(shù)據(jù)具基于3V特征;量( Volume )、速(Vefcity )與多變(Variety )的特點。 另外，基于些機構(gòu)在3V之外還定義了第4個V:真實性 (Veracity )為第四特征。

隨著時間的推移,人們對于大數(shù)據(jù)這一概念基于了普遍的認知。 現(xiàn)今，大數(shù)據(jù)的廣義定義是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。

隨著信息通信技術(shù)的不斷進步，數(shù)字化、信息化已經(jīng)滲透進我們生活的各個方面，成為重要的生產(chǎn)因素。IDC編制的年度數(shù)字宇宙研究報告《從混沌中提取價值》表明，當(dāng)前，大數(shù)據(jù)在公共管理、零售、互聯(lián)網(wǎng)、電信、金融等眾多行業(yè)快速推廣，市場規(guī)模迅速擴大：2012年我國大數(shù)據(jù)市場規(guī)模已達7760萬美元，預(yù)計到2016年將達 6.17億美元，而全球規(guī)模將達238億美元，世界已進入“數(shù)字摩爾時期”，全球數(shù)據(jù)量大約每兩年翻一番：從人類文明出現(xiàn)到2003年，人類總共產(chǎn)生了 5EB (百億億字節(jié))數(shù)據(jù)，而這僅是當(dāng)前人類社會兩天的數(shù)據(jù)量。我們正處于數(shù)據(jù)世界一個重要歷史爆發(fā)期的邊緣，數(shù)據(jù)是資產(chǎn)與財富的觀念已深入人心，人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。大數(shù)據(jù)超過了傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的處理能力，為了獲得數(shù)據(jù)中的價值，必須選擇新的方式進行處理，大數(shù)據(jù)應(yīng)用已是大勢所趨，“大數(shù)據(jù)時代”已然到來。

圖1-1 全球數(shù)據(jù)量

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展將呈現(xiàn)出三大趨勢：第一，應(yīng)用軟件泛互聯(lián)網(wǎng)化;第二，行業(yè)垂直整合，越靠近終端用戶的公司，在產(chǎn)業(yè)鏈上將擁基于更大的發(fā)言權(quán);第三，數(shù)據(jù)成為資產(chǎn)a三大趨勢都是圍繞數(shù)據(jù)展開的。泛互聯(lián)網(wǎng)化是收集數(shù)據(jù)的重要渠道，沒基于泛互聯(lián)網(wǎng)化的應(yīng)用軟件，公司就難以獲得用戶的行為數(shù)據(jù)：行業(yè)垂直整合趨勢在數(shù)據(jù)運用層面，通過搜集大量的用戶數(shù)據(jù)，更貼近用戶，更理解用戶，為其提供更適用的服務(wù);數(shù)據(jù)成為資產(chǎn)，更強調(diào)數(shù)據(jù)的戰(zhàn)略意義。

圖1-2大數(shù)據(jù)的發(fā)展歷程

隨著數(shù)據(jù)資源在各行各業(yè)所發(fā)揮的重要作用口益凸顯，其價值已經(jīng)得到了廣泛認可，數(shù)據(jù)在為商業(yè)和消費者創(chuàng)造價值方面具基于巨大的發(fā)展?jié)摿Α?shù)據(jù)已經(jīng)成為可以與物質(zhì)資產(chǎn)和人力資本相提并論的重要的生產(chǎn)要素，大數(shù)據(jù)的發(fā)展將與生產(chǎn)力的提高產(chǎn)生直接關(guān)系， 它將是繼傳統(tǒng)IT之后下一個提高生產(chǎn)率的技術(shù)前沿。未來，大數(shù)據(jù)的使用必將成為提高競爭力、生產(chǎn)力、創(chuàng)新能力以及創(chuàng)造消費者盈余的關(guān)鍵要素。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社