2.1國(guó)內(nèi)外廠商的技術(shù)和產(chǎn)品分析

2.1.2國(guó)內(nèi)廠商在大數(shù)據(jù)領(lǐng)域的技術(shù)和產(chǎn)品

我國(guó)目前數(shù)據(jù)規(guī)模增長(zhǎng)非?？?，蘊(yùn)含著巨大的數(shù)據(jù)價(jià)值。隨著信息化建設(shè)在各行各業(yè)的持續(xù)深入，越來(lái)越多的國(guó)內(nèi)數(shù)據(jù)廠商加入到了大數(shù)據(jù)的研發(fā)中來(lái)。目前國(guó)內(nèi)進(jìn)行大數(shù)據(jù)研發(fā)的廠商依舊分為兩類：是現(xiàn)一類在已經(jīng)可獲取大數(shù)據(jù)能力的公司，他們打算利用自身優(yōu)勢(shì)地位沖擊大數(shù)據(jù)領(lǐng)域，將現(xiàn)有安裝基礎(chǔ)及產(chǎn)品線口碑推廣到新一輪技術(shù)浪潮當(dāng)中。如百度、阿里巴巴等互聯(lián)網(wǎng)巨頭，該類商家主要是以大數(shù)據(jù)應(yīng)用技術(shù)、相關(guān)軟件研究為主要切入點(diǎn)。另一類則是以華為、浪潮、中興等以硬件突破為主的企業(yè)，涵蓋了數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)可視化以及數(shù)據(jù)安全等領(lǐng)域。

2.1.2.1 百度公司

百度公司是全球最大的中文搜索引擎，2012年8月，百度云計(jì)算（陽(yáng)泉）中心在山西省陽(yáng)泉市奠基。建成后的云計(jì)算（陽(yáng)泉）在數(shù)據(jù)存儲(chǔ)規(guī)模、計(jì)算能力和環(huán)保節(jié)能三方面都將達(dá)到亞洲一流水準(zhǔn)。 據(jù)規(guī)劃建成后的百度云計(jì)算中心數(shù)據(jù)存儲(chǔ)量超過(guò)4000PB，可存儲(chǔ)的信息量相當(dāng)中20多萬(wàn)個(gè)中國(guó)國(guó)家圖書館的藏書總量；同時(shí)由于使用了百度自主研發(fā)的高性能、低功耗服務(wù)器，數(shù)據(jù)中心CPU總量達(dá)70萬(wàn)顆、CPU內(nèi)核總數(shù)超過(guò)300萬(wàn)個(gè)。西度“大數(shù)據(jù)引擎”包括開放云、數(shù)據(jù)工廠和百度大腦三個(gè)核心組件。百度將通過(guò)平臺(tái)化和接口化的方式，對(duì)外開放其大數(shù)據(jù)存儲(chǔ)、分析和智能化處理等核心能力，這也是全球首個(gè)開放大數(shù)據(jù)引擎的公司。通過(guò)開放自身的大數(shù)據(jù)分析平臺(tái)，百度將獲得各行各業(yè)的大數(shù)據(jù)資料及分析經(jīng)驗(yàn)。例如，平安保險(xiǎn)正在借助百度大數(shù)據(jù)加強(qiáng)消費(fèi)者洞察，從過(guò)去的客戶分群進(jìn)化到按人定制、更進(jìn)一步，大數(shù)據(jù)將在保險(xiǎn)產(chǎn)品設(shè)計(jì)的計(jì)算、定價(jià)、彈性曲線等壞節(jié)發(fā)揮作用，既有利于改良現(xiàn)基于產(chǎn)品形態(tài)，也能實(shí)現(xiàn)險(xiǎn)種創(chuàng)新。

2.1.2.2 阿里巴巴公司

阿里巴巴公司是一家由中國(guó)人創(chuàng)逮的閩際化的互聯(lián)網(wǎng)公司，經(jīng)營(yíng)多元化的互聯(lián)網(wǎng)業(yè)務(wù)，致力為全球所有人創(chuàng)造便捷的交易渠道。進(jìn)入大數(shù)據(jù)時(shí)代以來(lái)，阿里巴巴陸續(xù)建立了領(lǐng)先的消費(fèi)者電子商務(wù)、 網(wǎng)上支付、B2B網(wǎng)上交易市場(chǎng)及云計(jì)算業(yè)務(wù)，近幾年更積極開柘無(wú)線應(yīng)用、手機(jī)操作系統(tǒng)和互聯(lián)網(wǎng)電視等領(lǐng)域。在阿里巴巴數(shù)據(jù)平臺(tái)事業(yè)部的服務(wù)器上，攢下了超過(guò)100PB已處理過(guò)的數(shù)據(jù)，利用云計(jì)算技術(shù)進(jìn)行數(shù)據(jù)挖掘，使阿里巴巴能夠輕而易舉地為其用戶建立一 個(gè)細(xì)致的個(gè)人檔案并進(jìn)行精準(zhǔn)的行為預(yù)測(cè)。如何挖掘、分析和運(yùn)用阿里巴巴全系產(chǎn)品的數(shù)據(jù)，并和全社會(huì)分享，是阿里巴巴大數(shù)據(jù)戰(zhàn)略的核心所在。更為關(guān)鍵的是，在大數(shù)據(jù)時(shí)代，掌握了數(shù)據(jù)，意味著掌握了整個(gè)社會(huì)的脈搏，試想一下. 當(dāng)巨量的用戶需求以數(shù)據(jù)形式被捕捉，快速反映在生產(chǎn)、供應(yīng)鏈、庫(kù)存、物流等環(huán)節(jié)時(shí)，電子商務(wù)將不僅僅是網(wǎng)上購(gòu)物的代名詞，它甚至?xí)娲鷤鹘y(tǒng)商務(wù)，成為主流的交易模式。屆時(shí)，阿里巴巴將可能控制整個(gè)商業(yè)社會(huì)相當(dāng)大比例的數(shù)據(jù)和脈搏。阿里巴巴大數(shù)據(jù)戰(zhàn)略戰(zhàn)術(shù)的核心是阿里云計(jì)算技術(shù)、在2009年，阿里巴巴即成立了專業(yè)的云計(jì)算服務(wù)公司，定位于提供公共服務(wù)的云計(jì)算。大規(guī)模電子商務(wù)服務(wù)的實(shí)踐實(shí)際上就是為云計(jì)算提供技術(shù)儲(chǔ)備的過(guò)程，是為綜合配置和優(yōu)化計(jì)算，存儲(chǔ)資源、積累經(jīng)驗(yàn)的過(guò)程。當(dāng)服務(wù)的規(guī)模足夠大，云計(jì)算就水到渠成了。它解決商務(wù)問(wèn)題的過(guò)程，很大一部分其實(shí)是解決技術(shù)問(wèn)題的過(guò)程。例如，阿里巴巴交易量節(jié)節(jié)攀升的雙11購(gòu)物狂歡節(jié)，成為阿里巴巴在云計(jì)算和大數(shù)據(jù)領(lǐng)域一年一度的技術(shù)大考。繼2014年雙11購(gòu)物狂歡節(jié)公布571億元的交易額后，阿里巴巴集團(tuán)披露了雙11背后的一系列技術(shù)指標(biāo)：訂單創(chuàng)建能力最高達(dá)到每秒鐘8萬(wàn)筆，支付寶的支付峰值突破了每分鐘285萬(wàn)筆，創(chuàng)下新的紀(jì)錄。

2.1.2.3華為公司

華為技術(shù)有限公司是一家生產(chǎn)、銷售通信設(shè)備的民營(yíng)科技公司。 華為的產(chǎn)品主要涉及通信網(wǎng)絡(luò)中的交換網(wǎng)絡(luò)、傳輸網(wǎng)絡(luò)、無(wú)線及有線固定接入網(wǎng)絡(luò)和數(shù)據(jù)通信網(wǎng)絡(luò)及無(wú)線終端產(chǎn)品，華為公司為世界各地通信運(yùn)營(yíng)商及專業(yè)網(wǎng)絡(luò)擁有者提供硬件設(shè)備、軟件、服務(wù)和解決方案。華為公司的大數(shù)據(jù)戰(zhàn)略主要圍繞其云計(jì)算數(shù)據(jù)中心解決方案展開。自2010年以來(lái)，華為公司聯(lián)手英特爾、SAP等大數(shù)據(jù)領(lǐng)域巨頭，積極推動(dòng)全球云計(jì)算戰(zhàn)略。至2013年8月，華為公司在全球成功部署330多個(gè)數(shù)據(jù)中心，其中70多個(gè)為云數(shù)據(jù)中心，與全球260多個(gè)云計(jì)算客戶發(fā)掘云的商業(yè)價(jià)值.并交付全球規(guī)模最大、應(yīng)用場(chǎng)景最復(fù)雜的華為10萬(wàn)并發(fā)規(guī)模的桌面云項(xiàng)目。圍繞該數(shù)據(jù)戰(zhàn)略，華為的大數(shù)據(jù)技術(shù)體系以軟件為核心，基于開放的硬件，實(shí)現(xiàn)邏輯集中和物理分布。其軟件包括FusionSphere云操作系統(tǒng)、Fusionlnsight大數(shù)據(jù)分析平臺(tái)，ManagdeOn數(shù)據(jù)中心管理系統(tǒng)；硬件主要為FusionServer中高端服務(wù)器、OceanStor融合存儲(chǔ)、CloudEngine數(shù)據(jù)中心網(wǎng)絡(luò)。這一系列產(chǎn)品建立在華為的兩個(gè)大數(shù)據(jù)關(guān)鍵技術(shù)上，即三位一體和全分布式技術(shù)。“三位一體" 就是將存儲(chǔ)系統(tǒng)與存儲(chǔ)分析，數(shù)據(jù)挖掘分析、計(jì)算系統(tǒng)整合為一套產(chǎn)品，不再是多個(gè)產(chǎn)品的集合，從而實(shí)現(xiàn)存儲(chǔ)、分析、歸檔三個(gè)方面的自動(dòng)化，免除了三者之間的裝載與遷移麻煩，同時(shí)實(shí)現(xiàn)全生命周期的數(shù)據(jù)處理，用戶可以選擇部分活躍數(shù)據(jù)歸檔。根據(jù)計(jì)算需要自動(dòng)實(shí)現(xiàn)數(shù)據(jù)的調(diào)度。在軟件平臺(tái)方面，華為的Fusion Insight是其核心大數(shù)據(jù)平臺(tái)產(chǎn)品，F(xiàn)usionlnsight以雙引擎的處理為核心.包括海量數(shù)據(jù)引擎 Fusionlnsight Hadoop 和實(shí)時(shí)數(shù)據(jù)處理引擎 Fusionlnsight Streaming,并針對(duì)金融、運(yùn)營(yíng)商等數(shù)據(jù)密集型行業(yè)的運(yùn)行維護(hù)、應(yīng)用開發(fā)等需求打造可靠、安全、易使用的OM系統(tǒng)和建模中間件，這種雙引擎配置。實(shí)現(xiàn)了海量數(shù)據(jù)存取和實(shí)時(shí)性數(shù)據(jù)處理的雙重功能。而華為的 ManagcOne技術(shù)則是實(shí)現(xiàn)多源異構(gòu)平臺(tái)數(shù)據(jù)管理的一款管理系統(tǒng)， ManageOne數(shù)據(jù)中心統(tǒng)一管理方案可做到真正意義上的融合，即統(tǒng)一管理傳統(tǒng)數(shù)據(jù)中心和云數(shù)據(jù)中心，統(tǒng)一管理分布式數(shù)據(jù)中心，統(tǒng)一管理數(shù)據(jù)中心應(yīng)用系統(tǒng)、基礎(chǔ)架構(gòu)和基礎(chǔ)設(shè)施，統(tǒng)一管理異構(gòu)虛擬化平臺(tái)。運(yùn)營(yíng)商的IT聯(lián)動(dòng)形成了一個(gè)整體的資源池，統(tǒng)一管理為多業(yè)務(wù)模式的創(chuàng)建提供了便利，可降低運(yùn)營(yíng)商服務(wù)供給的成本，減少內(nèi)耗，讓服務(wù)更貼近最終用戶。RisionSpherc是華為自主知識(shí)產(chǎn)權(quán)的云操作系統(tǒng)，集虛擬化平臺(tái)和云管理特性于一身，華為云操作系統(tǒng)專門為云設(shè)計(jì)和優(yōu)化，提供強(qiáng)大的虛擬化功能和資源池管理、 豐富的云基礎(chǔ)服務(wù)組件和工具、開放的API接口等。在硬件基礎(chǔ)方面，F(xiàn)usionSever產(chǎn)品是華為公司推出的一款將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等架構(gòu)實(shí)現(xiàn)解耦，并將不同資源高度整合成共享資源池，實(shí)現(xiàn)資源按需配置的服務(wù)器產(chǎn)品。這種理念就是華為公司新提出的基于業(yè)務(wù)驅(qū)動(dòng)的基礎(chǔ)架構(gòu)SDI,該架構(gòu)由SDS（Software-Defincd Storage,軟件定義存儲(chǔ)）、SDN（Software-Defined Networking.軟件定義網(wǎng)絡(luò)）軟件模塊和SDI硬件模塊組成。傳統(tǒng)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)資源依賴CPU控制，而在SDI模式中，存儲(chǔ)和網(wǎng)絡(luò)資源由SDI硬件統(tǒng)一控制，并以計(jì)算服務(wù)面向用戶的服務(wù)器形成統(tǒng)一資源池，最終形成數(shù)據(jù)中心的基礎(chǔ)架構(gòu)。也就是將需要穩(wěn)定、可靠、高性能運(yùn)行的基礎(chǔ)設(shè)施層與客戶應(yīng)用在邏輯上進(jìn)行解耦，基礎(chǔ)設(shè)施層則采用軟件定義的方式先于應(yīng)用系統(tǒng)運(yùn)行起來(lái)。相比傳統(tǒng)數(shù)據(jù)中心架構(gòu)，華為SDI能夠降低78%的總體擁有成本（TCO）,通過(guò)SDI控制器可能業(yè)務(wù)調(diào)度將CPU利用率捉升1倍，同時(shí)性能也獲得進(jìn)一步提升。而OccanStor是業(yè)內(nèi)首個(gè)融合存儲(chǔ)、分析和歸檔的存儲(chǔ)產(chǎn)品，是華為公司三位一體理念衍生出的產(chǎn)品。它的特點(diǎn)在于免除了跨設(shè)備數(shù)據(jù)裝載、迀移，真正實(shí)現(xiàn)了而向大數(shù)據(jù)全生命周期管理的“三位一體"處理。其采用的Scakxm集群架構(gòu)，系統(tǒng)支持3 節(jié)點(diǎn)至288節(jié)點(diǎn)彈性無(wú)縫擴(kuò)展，單一文件系統(tǒng)可擴(kuò)容至40PB,整個(gè)擴(kuò)容過(guò)程業(yè)務(wù)允中斷。CloudEngine （以下簡(jiǎn)稱CE）系列是華為公司面向下一代數(shù)據(jù)中心和高端園區(qū)推出的“云”級(jí)高性能交換機(jī)， CloudEngine系列在速度上是業(yè)界一流廠商的2倍，容量3倍。零丟包的CLOS無(wú)阻塞交換架構(gòu)，配合動(dòng)態(tài)分布式大緩存.應(yīng)對(duì)云計(jì)算應(yīng)用引發(fā)的突發(fā)流量。

2.1.2.4 浪潮公司

浪潮是中國(guó)最早的IT品牌之一。浪潮公司是中國(guó)領(lǐng)先的計(jì)算平臺(tái)與IT應(yīng)用解決方案供應(yīng)商。同時(shí)，也是中國(guó)領(lǐng)先的服務(wù)器制造商和服務(wù)器解決方案提供商。目前已形成服務(wù)器和ERP兩大主導(dǎo)產(chǎn)業(yè). 具基于計(jì)算機(jī)、軟件、移動(dòng)通信、智能終端、半導(dǎo)體等產(chǎn)業(yè)群組。浪潮公司的大數(shù)據(jù)戰(zhàn)略主要是對(duì)以硬件層而出發(fā)為基礎(chǔ)的浪潮云海大數(shù)據(jù)一體機(jī)的開發(fā)。云海大數(shù)據(jù)一體機(jī)是面向大數(shù)據(jù)存儲(chǔ)、處理、展現(xiàn)全環(huán)節(jié)、軟硬一體化的方案型產(chǎn)品，目的是突破原有架構(gòu)的擴(kuò)展瓶頸和新技術(shù)條件下的客戶應(yīng)用門檻。浪潮云海大數(shù)據(jù)一體機(jī)集成了計(jì)算單元、存儲(chǔ)單元、通信單元、管理單元等核心模塊， 能夠覆蓋數(shù)據(jù)的存儲(chǔ)、處理、展現(xiàn)等所有技術(shù)環(huán)節(jié)。云海大數(shù)據(jù)一體機(jī)經(jīng)過(guò)全局性的優(yōu)化，性能、可用性、效率等關(guān)鍵技術(shù)指標(biāo)方面有了大幅提升。浪潮公司采用硬件加速技術(shù)，設(shè)計(jì)了專門的FPGA模塊固化特定算法，并集成多級(jí)緩存,數(shù)據(jù)排序性能提高了 50%以上。另外，系統(tǒng)任務(wù)調(diào)度策略是影響系統(tǒng)響應(yīng)及時(shí)性的重要技術(shù)，浪潮公司開發(fā)了動(dòng)態(tài)調(diào)整任務(wù)執(zhí)行模塊，有效減少了慢任務(wù)數(shù)量。任務(wù)執(zhí)行時(shí)間平均縮短16%。同時(shí)，副本數(shù)量和存儲(chǔ)效率是難以凋和的矛盾，浪潮引入Reed-Solomon算法，優(yōu)化分布式散列數(shù)據(jù)布局，在滿足文件高并發(fā)和高帶寬雙重需求的同時(shí)平衡數(shù)據(jù)冗余度.所設(shè)計(jì)的兩副本加編碼的方式相對(duì)三副本最大可實(shí)現(xiàn)30%空間節(jié)省。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時(shí)代的電力企業(yè)轉(zhuǎn)型與價(jià)值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機(jī)械工業(yè)出版社