1.1 大數據的興起與發展

“大數據”概念的提出可以追溯至20世紀90年代，最初只是對一些在一定時間內無法用傳統方法進行抓取、管理和處理的數據的統稱a 1997年，美國宇航局研究員邁克爾•考克斯和大衛•埃爾斯沃斯首次使用“大數據”這一術語來描述超級計算機模擬飛機周圍的氣流而生成的大量信息。

2002年起，美國政府開始采用大規模數據挖掘技術來阻止恐怖主義活動。美國國防部通過整合各政府部門的數據庫，建成一個通過篩選通信、犯罪、教育、金融、醫療和旅行等記錄從而識別出可疑人的大數據平臺。到2010年，美國國家安全局的30000名員工共攔截和存儲了17億封可疑電子郵件、電話和其他信息。

從2009年開始，互聯網數據以毎年50%，毎兩年翻一番的速 度增長。截至2012年，全世界每天產生2.5艾(2.5X1018)字節的數據。全球互聯網企業都意識到“大數據”時代的來臨.數據對于企業基于著重要意義。

2011年5月，麥肯錫全球研究院發布題為《大數據：創新、競爭和生產力的下一個新領域》的報告。報告發布后，“大數據”迅速成為計算機行業的熱門概念。

2012年1月，達沃斯論壇發布的名為《大數據，大影響》的報告稱：就像貨幣或黃金一樣，數據已成為一種新的經濟資產類別。同年3月，奧巴馬政府發布了《大數據研究和發展倡議》，并投資2億美元啟動了“大數據研究和發展計劃”，希望通過大數據技術提高收集海量數據、分析萃取信息的能力，加快改革美國國家安全、科學和研究的步伐，以及引發教育和學習的變革。同年7月，時任美國國務卿希拉里•克林頓宣布了一個名為“數據2X”的公私合營企業，用來收集統計世界各地的婦女和女童在經濟、政治和社會地位方面的信息。與此同時，聯合國發布政務白皮書《大數據促發展：挑戰和機遇》，建議聯合國成員國開發大數據潛在價值。

2014年4月，世界經濟論壇以“大數據的回報與險”為主題 發布了《全球信息技術報告》。報告認為，全球大數據產業的日趨活躍，技術演進和應用創新的加速發展，使各國政府逐漸認識到大數據在推動經濟發展、改善公共服務，乃至保障國家安全方面的重大意義。

然而，大數據究競是什么?

麥肯錫公司認為，大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處現的數據集合。

維基萬科認為，大數據由巨型數據集組成，所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理，并整理成為人類所能解讀的信息。

Gartne公司認為，大數據是大量、高速及(或)多變的信息資產，它需要新型的處理方式去促成更強的決策能力、洞察力與優化處理：大數據具基于3V特征;量( Volume )、速(Vefcity )與多變(Variety )的特點。 另外，基于些機構在3V之外還定義了第4個V:真實性 (Veracity )為第四特征。

隨著時間的推移,人們對于大數據這一概念基于了普遍的認知。 現今，大數據的廣義定義是指無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合。

隨著信息通信技術的不斷進步，數字化、信息化已經滲透進我們生活的各個方面，成為重要的生產因素。IDC編制的年度數字宇宙研究報告《從混沌中提取價值》表明，當前，大數據在公共管理、零售、互聯網、電信、金融等眾多行業快速推廣，市場規模迅速擴大：2012年我國大數據市場規模已達7760萬美元，預計到2016年將達 6.17億美元，而全球規模將達238億美元，世界已進入“數字摩爾時期”，全球數據量大約每兩年翻一番：從人類文明出現到2003年，人類總共產生了 5EB (百億億字節)數據，而這僅是當前人類社會兩天的數據量。我們正處于數據世界一個重要歷史爆發期的邊緣，數據是資產與財富的觀念已深入人心，人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。大數據超過了傳統數據庫系統的處理能力，為了獲得數據中的價值，必須選擇新的方式進行處理，大數據應用已是大勢所趨，“大數據時代”已然到來。

圖1-1 全球數據量

大數據產業發展將呈現出三大趨勢：第一，應用軟件泛互聯網化;第二，行業垂直整合，越靠近終端用戶的公司，在產業鏈上將擁基于更大的發言權;第三，數據成為資產a三大趨勢都是圍繞數據展開的。泛互聯網化是收集數據的重要渠道，沒基于泛互聯網化的應用軟件，公司就難以獲得用戶的行為數據：行業垂直整合趨勢在數據運用層面，通過搜集大量的用戶數據，更貼近用戶，更理解用戶，為其提供更適用的服務;數據成為資產，更強調數據的戰略意義。

圖1-2大數據的發展歷程

隨著數據資源在各行各業所發揮的重要作用口益凸顯，其價值已經得到了廣泛認可，數據在為商業和消費者創造價值方面具基于巨大的發展潛力。數據已經成為可以與物質資產和人力資本相提并論的重要的生產要素，大數據的發展將與生產力的提高產生直接關系， 它將是繼傳統IT之后下一個提高生產率的技術前沿。未來，大數據的使用必將成為提高競爭力、生產力、創新能力以及創造消費者盈余的關鍵要素。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社