2.1國內外廠商的技術和產品分析

2.1.1國外廠商在大數據領域的技術和產品

在大數據技術的發展歷程中，國外數據廠商是最先嗅到其中價值的領跑者。從2005年雅虎公司開發Hadoop項目解決網頁搜索問題開始，大數據概念在短短幾年問獲得了從政府、科學研究機構到商業公司幾乎所基于領域的追捧。而隨后，結合大數據日漸完備的概念， 國外廠商也從數據存儲、數據計算、數據挖掘到數據應用開發出了一系列技術和產品，繼而形成了典型的大數據技術開發架構，取得了較大的進展。下面，我們將選擇一些領域內排名前列的大數據廠商，詳細介紹他們的典型技術和產品。

2.1.1.1甲骨文(Oracle)公司

甲骨文公司全稱甲骨文股份基于限公司(甲古文軟件系統基于限公司)，是全球最大的企業軟件公司。其主要業務為數據庫服務器、應用服務器以及相關開發工具的研發。2010年，甲古文公司正式進軍大數據領域，并在2011年10月初召開的Oracle Open World 2011大會上甲骨文公司正式推出了 Oracle大數據機，Oracle大數據機是一款集成設計的系統。旨在簡化大數據項目的實施與管理。該數據機采用18臺Oracle Sum服務器的全機架式配置，共擁基于864GB主內存、 216核CPU、648TB原始磁盤存儲空間，并在節點和其他Oracle集成化系統之間采用40GB/S的InfiniBand網絡連接以及lOGB/s的以太網數據中心連接，可通過InfiniBand網絡連接多個機架進行橫向升級擴展.使其能夠獲取、組織和分析超級海量的數據。

甲骨文公司在1979年即推出了越于SQL標準的關系數據庫產 品，可在100多種硬件平臺(包括微機、工作站、小型機和大型機) 上運行，支持多種操作系統。甲骨文公司的數據存儲技術通過數據庫產品在全球范圍內得到了廣泛的推廣，并獲得極好的口碑。因此. 在大數據技術方面，甲骨文公司的NoSQL數據庫技術同樣是行業中的佼佼者。Oracle NoSQL數據庫是基于Oracle Berkeley DB的高度可伸縮的分布式鍵值對數據庫，提供通用的企業級鍵值存儲，適用于低延遲數據捕獲和數據的快速査洵;NoSQL數據庫的開發，正是響應現今越來越多的企業采用非SQL典型架構來增大規模和提升速度以應對越來越人的數據蚩的趨勢。

同時，NoSQL技術也是Oracle大數據一體機的基礎。一體機是指通過標準化的架構集成了服務器、存儲、網絡、軟件等配置， 簡化了數據中心基礎設施部署和運維管理的復雜性的一體化沒備。 大數據一體機(Big Data Appliance )即通過一體機的產品形態，解決了大數據時代基礎設施的持續擴大問題、數據處理的個性化和一體化需求問題、海量數據的存儲成本問題。甲骨文公司在2008年推出集成了硬件、存儲和軟件的大數據-體機Exadata.成為了業界首個以全面、軟硬件集成的產品滿足企業關鍵大數據需求的公司。 該一體機通過更大的物理閃存以及獨特的超高速閃存壓縮，閃存容量增大為原來的4倍，因此面向OLTP ( On-Line Transaction Processing,聯機事務處理)工作負載的運行速度得到了極大提高。 現在，單機架Oracle Exadata的閃存能夠支持88TB用戶數據，如此大的容量已經足夠使絕大多數OLTP數據庫在閃存中得到完整保存。單機架Oracle Exadata的數據吞吐量為lOOGB/s,大幅高于其他全閃存陣列的吞吐量，同時保持了低成本磁盤分層的優勢。Oracle Exadata達到極致的性能和容量，使上百個數據庫能夠采用數據庫即服務架構，輕松合并到單機架中，從而極大地降低了成本，提高了敏捷性。

同時結合Oracle大數據機這款為Oracle帶來最大利潤收入的主要產品，甲骨文公司還推出了Oracle connectors (大數據連接器)等技術。Oracle大數據連接器使用戶能夠通過Hadoop iMapReduce處理來創建優化的數據集，并能直接從Oracle數據庫訪問HDFS上的數據，以便在Oracle Database llg中進行高效分析，簡化了大數據機與Hadoop環境的對接應用。

除此之外.Orade數據庫云服務器(Exadata)以及Oradc商務智能云服務器(Exalytics)也是以大數據機為藍本的高級專業服務器。Oracle大數據機及Oracle大數據連接器可與Oracle Exadata數據庫云服務器和Oracle Exalyitcs商務智能云服務器聯合使用，組成一裝完整的集成系統，獲取、組織并分析大數據。Oracle數據庫云服務器(Exadata)包括數據庫服務播、Oracle Exadata存儲服務器、一個用于存儲聯網的InfiniBand結構.以及托管Oracle數據庫所需的所基于其他組件，為聯機事物處理(OLTP)、數據倉儲(DW)以及混合

負載整合提供了杰出的I/O和SQL處理性能。Oracle商務智能云服務器(Exalytics)采用 I TB DRAM, 40核 Intel 處理器.運行 Oracle Business Intelligence企業版，并內置了內存內聚合功能，通過內存計算技術，可以為業務分析人員提供豐富信息，實現快如閃念的企業級分析。與Oracle近期推出的其他一體化產品一樣。Oracle大數據機集成了硬件、存儲和軟件.包括ApachcHadoop軟件的開源代碼分發、新的甲骨文NoSQL數據庫和用于統計分析的R語言開源代碼分發。該產品被設計為能夠與甲骨文Database 11g Oracle Exadata 數據庫云服務器，以及針對商業智能應用的新的Oracle txalytics商業智能云服務器一起協同工作，通過軟硬一體化的集成設備為用戶提供了端到端的大數據解決方案，強調大數據分析和管理。

2.1.1.2 易安信(EMC)公司

EMC(易安信)公司為一家美國信息存儲資訊科技公司，主要業務為信息存儲及管理產品、服務和解決方案。2010年，EMC 公司收購了 Grcenplum公司(一家數據庫軟件公司，在全球數據處理和BI/DW領域提供數據庫引擎產品和咨詢服務，實力較強)。收購Greenplum公司后，EMC公司大踏步進入大數據領域。并入EMC公司兩年來，Greenplum已推出類似Facebook的大數據社交和協作工具——Chorus; EMC公司收購敏捷軟件開發商Pivotal Labs、部署Hadoop,及相關產品線升級等。就在EMC World大會上，Greenplium還正式發布其1000節點集群的數據分析工作臺——Greenplum Analytics Workbench。

EMC公司的產品同樣主要集中在數據存儲和管理方面。其核心數據庫產品當屬Greenplum數據庫。Grecnplum的架構采用了 MPP(大規模并行處理)，該軟件是業內首創的無共享、大規模并行處理(Massive Parallel Processing, MPP )的數據庫軟件，其中包括無共亨/MPP、按列存儲數據庫、數據庫內壓縮、MapReduce、永不停機擴容、多級容錯等。在MPP系統中，毎個SMP節點也可以運行自己的操作系統、數據庫等。換言之，毎個節點內的CPU不能訪問另一個節點的內存。節點之間的信息交互是通過節點互聯網絡實現的，這個過程一般稱為數據重分配(Data Redistribution)。與傳統的SMP架構明顯不同，通常情況下，MPP系統因為要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點，但這也不是絕對的，因為MPP系統不共享資源，因此對它而言，資源比SMP要多，當需要處理的事物達到一定規模時，MPP的效率要比SMP好。

在Grenplum這一數據庫產品的基礎上，EMC公司又看到了傳統Hadoop平臺可以改善的地方.例如分布式文件系統不支持隨機讀寫、定位于批處理、不支持實時數據處理。同時.其不適用于高并發場景，其開發難度大。與關系型數據庫在開發、運營、維護等方面差異較大等問題都亟待解決。因此，EMC公司認為Grecnplum DataBase和Hadoop 是互補的技術，兩名結合形成對結構化數據和非結構化數據的完善解決方案。在此基礎上，開發出了商業化的Grcenplum Hadoop平臺(縮寫為Grcenplum HD ).其中，關系型數據語法表達、復雜査詢、并發查洵、高速數據分析采用 Grcenplum數據庫，Hadoop用于非結構化數據和半結構化數據處理分析，產生的結構化數據再加載到Grcenplum DB中進行高速交互式查詢展現。同時Hadoop還用于ETL數據清洗，而Grcenplum DB 則可直接并行讀寫Hadoop數據。

Greenplum Chorus是基于大數據分析的社交平臺。Grcenplum Chorus是一個數據科學的社交平臺，包括個人沙盤、數據挖掘、協作分析和開放架構等特點。用戶通過這個平臺可以很快響應需求. 從而對大數據分析做出更基于效率的工作。任何在社交平臺權限內的人都可以通過個人沙盒來構建一個自己的數據庫，做任何的數據試驗，而且這些不會影響到生產數據。這是彈性、自我服務的體現。同吋, 如果你基于任何疑慮.也可以通過Chorus平臺發布消息，將會基于數據科學家及時幫助你解決問題。

通過對以上三種技術產品的基于效處理結合，EMC公司推出了 EMC Greenplum統一分析平臺。EMC Grecnplum統一分析平臺結合 Greenplum Database、Greenplum Hadoop、Grecnplum Chorus,為企業構建了高效處理結構化、半結構化、非結構化數據的大數據分析平臺。客戶可以以此平臺為基礎，利用Grecnplum行業和數學統計方面的專家，充分挖掘自身數據價值，實現數據資產從成本中心到利潤中心的轉變，以數據驅動業務。其中，Greenplum Chorus在行業中處于領先地位，它的操作使用習慣非常類似Facebook、開心網的社交模式。通過Greenplum Chorus可以建立數據沙箱，將一定的數據變成一個集合，用戶都可以對這個集合利用工具進行處理和分析，共享數據庫的分析結果。讓這個數據分析和挖掘，不再是專業人士做的事情，并且增加趣味性，各種角色可以進行交互，形成一 個數據社交圈。EMC Gireenplum統一分析平臺還包括一個重要的方面，就是“數據科學家計劃”，它將人的智慧與技術產品相結合。 數據科學家不僅需要具基于數據本身的知識，還要求基于一定的數學建模能力，同時要懂得企業內部的運轉流程。所以數據科學家是能夠靈活利用各種工具去抓取數據，形成數據集合、數據沙箱，進行快速實時分析和展現的一種角色，幫助企業將數據變成商業價值。

2.1.1.3英特爾(Intel)公司

英特爾公司是全球最大的個人計算機零件和CPU制造商.它成立于1968年，具基于46年計算機類產品生產歷史。英特爾公司在大數據處理方面致力于改善X86平臺芯片和架構，以基于至強處理器構建的IT基礎設施為基石，英特爾在其上針對大數據的分發和管理需求提供基于英特爾平臺優化的Hadoop產品和服務;在分析與發現層，提供針對客戶端與服務器端算法開發的支持，以滿足大數據計算所需的性能與規模要求。

英特爾公司是一家致力于在硬件性能上為大數據技術研發助力的公司，共推出的至強處理器E7V2系列，針對大數據分析的需求，提供了一系列的性能特征的改進，這些改進主要包括內存、核數以及可靠性等方面。英特爾至強處理器E7 V2產品家族最高可支持32 路的服務器平臺.擁基于最多15個處理內核和每插槽1.5TB內存容量，平均性能為其上一代產品的兩倍。與上一代處理器相比，英特爾至強處理器E7 V2產品家族可支持3倍的內存容量，能夠更快完成數據分析，幾乎達到實時處理分析水平。內存分析功能會在系統內存中放置整個數據集并進行分析(例如一個企業的整個用戶數據庫)， 而非名傳統硬盤上進行。

結合強勁的處理器制造技術，英特爾公司在Hadoop開源平臺的基礎上做了進一步的改進，提出了以開源為基礎，在Hadoop系統， 包括HBase、HDFS里面都做了增強和優化，使得開源平臺在英特爾硬件上的運行效率得到顯著的提高。該平臺結合自身強大技術、成熟市場經驗，打造面向大數據應用的Hadoop高效平臺，基于助于提供相比其他Hadoop平臺更可靠、更高性能、更多和更易于處理的大數據解決方案。基于英特爾Hadoop發行版，在原基于的開源版本基礎上進行了特殊強化，包括HDFS、MapReduce以及HBase代碼的改寫，同時支持 SQL查詢指令語言 Hive。并推出了 Intel Hadoop Manager 2.0,優化了 Hadoop的處理能力。

2.1.14 國際商業機器(IBM )公司

國際商業機器公司或萬國商業機器公司，簡稱IBM公司 (International Business Machines Corporation )。總部在紐約州阿蒙克市，IBM公司是世界上著名的信息技術和業務解決方案公司，業務包括咨洵、信息科技服務、軟硬件開發等。2012年12月19日， IBM公司宣布，它已經簽署了收購StorcdIQ軟件公司的確定性協議。 IBM公司正在努力幫助客戶從大數據中獲得價值，例如対法律訴訟和法規做出更有效的問應，處理失效的信息和降低數據存儲成本。

PureDala是IBM公司 Pure system中的主要部分，是該公司開發的主要面向大數據應用的軟件系統。這款新的專家系統將具有處理在線交易及商業分析任務中大量數據的能力。IBM公司稱每天產生2.5EB數據，也就是說90%的數據都是近兩年內產生，而對如此龐大的數據，各行各業都在尋求簡便高效的數據分析方式。用戶利用該系統能夠更迅速、更準確地進行數據分析，從而更有效地進行商業活動。即將推出的PureData包含三種類型的擴展應用產品： “PureData System for Transactions”系統主要用于處理各種大數據的聯機事物處理(OLTP)以及商業分析任務。例如，在交易處理方面，PureData可以在單一系統整合多種業務數據庫，優化大量交易處理。PureData集成了基于 IBM DB2數據庫的PureScale集群技術。另外一種PureData 主要用于商業分析應用，“PureData System for Operational Analytics”系統能夠對數以千計的交易進行實時分析， 例如金融交易中的欺詐監測和趨勢發現。“PureData System for Analytics”系統則基于 IBM在2010年收購的Nctezza數據倉庫應用, 該系統能夠處理結構化和非結構化數據u

在PureData system的基礎上，IBM公司推出了面向Hadoop的全新IBM PureData系統PureData for Hadoop,旨在提高企業部署 Hadoop的速度，同時降低部署難度。全新PureData for Hadoop讓企業在使用企業級Hadoop技術時的加載時間從數周減少到數分鐘， 而且還為商業分析師和數據科學家提供使用、功能強大的分析工具，并為其呈現可視化效果。此外.新系統還提供了功能更強大的大數據工具，可用于監測和研發，同時加強版的大數據工具可以與更多企業系統相兼容。同時在數據分析和處理技術上.IBM公司致力于研究推進加速數據處理的相關技術產品。BLU Acccleratim便是其中最為關鍵的一項，該技術整合了大幅改善分析能力和簡化管理的一系列技術，能夠將報告生成和數據分析速度提高25倍。BLU Acceleration的創新之處體現在，它實現了在動態的內存中進行列式處理，采用了新的、無需解壓的數據壓縮技術.以及并行向量處理和數據忽略技術(可以繞過對不相關數據的不必要處理)。借助 BLU Accderatkm.用戶可以更快速地抓取關鍵信息，從而做出更好的決策。

新版InloSphere Biglnsights:這款企業級Hadoop產品可以利用現有的SQL技術，更便捷地開發應用軟件。Biglnsights指利用大數據獲得更多的洞察力。用來處現磁盤中的靜態數據。InfoSphere Biglnsights 1.3的存儲和運算框架采用了開源的Hadoop MapReduce， 利用分布式文件存儲系統，將文件分成不同的部分存儲在不同的節點上，并進行備份。相應地可以在原有系統基礎之上，添加更多的節點進行Scale Out,增加了擴展性。.除了使用開源的Hadoop架構之外，IBM還針對Biglnsights進行了改造，采用了 IBM特有的通用并行文件系統，即GPFS。利用GPFS的目的是為了避免單點故障，保證了可用性。分析功能是Biglnsights另一個重要的方面，在 IBM的信息管理產品線中還基于兩個分析產品一Cognos和SPSS, Biglnsights的分析模塊并不是照搬Cognos和SPSS,也不是來自于收購的產品，而是完全由IBM研發的功能，Biglnsights將專門用于大數據分析。

書名：電力大數據：能源互聯網時代的電力企業轉型與價值創造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業出版社