面對海量數(shù)據(jù)的增長，傳統(tǒng)架構(gòu)雖然能夠進行擴充，但它卻面臨著不能實現(xiàn)水平橫向擴展的局限性，傳統(tǒng)的IT架構(gòu)和數(shù)據(jù)處理方式無法有效地應對大數(shù)據(jù)環(huán)境。數(shù)據(jù)的存儲、計算、管理、分析等節(jié)點都需要適應大數(shù)據(jù)需求的方案，同時也要滿足性能上的擴展。因此，基于數(shù)據(jù)中心的IT基礎設施，也必將從傳統(tǒng)的數(shù)據(jù)中心邁向云數(shù)據(jù)中心轉(zhuǎn)型。
 
        云數(shù)據(jù)中心是云計算背景下新的業(yè)務需求和資源利用模式與數(shù)據(jù)中心的完美結(jié)合。云模式已成為企業(yè)利用數(shù)據(jù)中心平臺應對大數(shù)據(jù)挑戰(zhàn)的重要方式。根據(jù)IBM的數(shù)據(jù)報告，當前數(shù)據(jù)中心有85%的運算能力存在閑置，50%至60%的數(shù)據(jù)中心IT負載可以采用云計算技術(shù)。這些，其實挖掘大數(shù)據(jù)價值的解決方案對它們有著同樣的訴求。
 
 
        云數(shù)據(jù)中心
 
        云計算為何會助力大數(shù)據(jù)挖掘價值呢?我們可以從以下三個方面來探討：
 
        一、云計算幫助大數(shù)據(jù)平臺降低復雜性，簡化運維，提升資源活性和利用效率
        云計算通過基于網(wǎng)絡的服務交付，將硬件等基礎架構(gòu)融合為無形的IT資源，并借助負載均衡、分布式計算、并行計算、虛擬化、網(wǎng)絡存儲和統(tǒng)一管理等技術(shù)手段，實現(xiàn)IT服務的無縫化、定制化和伸縮性交付。
 
        二、云計算幫助云數(shù)據(jù)中心降低成本，有利于將更多資金投入到增值業(yè)務中
        由于采用了大量的虛擬化技術(shù)和統(tǒng)一的跨平臺管理，可以幫助運營商/企業(yè)用戶節(jié)省大量的設施成本和軟件許可費用。此外，云數(shù)據(jù)中心的資源利用率能夠得到進一步提升，并且在負載均衡方面也有更出色的表現(xiàn)，從而最大化保護用戶投資，實現(xiàn)產(chǎn)品服務生命周期內(nèi)價值最大化。節(jié)約下來的資本則可以投放在大數(shù)據(jù)的前期采集(增加數(shù)據(jù)源和數(shù)據(jù)類型)、存儲、處理、分析并最終實現(xiàn)決策參考等各個業(yè)務環(huán)節(jié)。
 
        三、云計算可支撐基于大數(shù)據(jù)的靈活高效IT服務，滿足多種個性化需求
        云計算和大數(shù)據(jù)一樣，都有基于分布式計算的應用。不過，大數(shù)據(jù)更多的是需要有集群帶來的高性能計算和存儲擴展(橫向和縱向)。借助云計算的分布式系統(tǒng)和虛擬化靈活調(diào)配資源，可以幫助大數(shù)據(jù)的各項分析、處理、挖掘提供高效靈活的IT服務支撐，滿足用戶個性化/定制化大數(shù)據(jù)挖掘、分析需求。
        很多企業(yè)IT應用虛擬化程度僅有20%-30%。但隨著云計算的逐步成熟與落地，云數(shù)據(jù)中心也越來越被企業(yè)接受。當然，這種虛擬化在云數(shù)據(jù)中心中的應用也就更加廣泛了。
 
        了解大數(shù)據(jù)的讀者都知道，Hadoop是所有大數(shù)據(jù)解決方案中最具成長性的平臺，它通過集群搭建起的高性能計算和存儲平臺，利用分布式架構(gòu)對海量數(shù)據(jù)(包括結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù))進行分析和處理。在這種情況下，也許很多人會誤以為虛擬化運行在SAN上，而Hadoop卻在本地硬盤上運行，從而主觀認為虛擬化不適合大數(shù)據(jù)平臺。甚至有人會認為，虛擬化會給IT系統(tǒng)帶來更多資源開銷，降低Hadoop性能。
 
        其實，大數(shù)據(jù)平臺下的Hadoop，更多的是基于集群版(包括開源和英特爾發(fā)行版)，而不是單機版。通過虛擬存儲架構(gòu)下的共享存儲(SAN或者NAS)，可實現(xiàn)更簡便高效的部署，并且實現(xiàn)集群的自動負載均衡。
 



        Hadoop集群框架簡圖
        另一方面，并不是所有的企業(yè)都有足夠的精力和能力去應對部署Hadoop帶來的挑戰(zhàn)(部署門檻和系統(tǒng)調(diào)優(yōu)門檻)，而且Name Node和Job tracker存在單點失效問題，Hive、HCatalog等非Hadoop核心模塊也沒有雙機集群高可用性的保障，專有的Hadoop集群CPU利用率低，Hadoop和非Hadoop負載不能直接共享資源，等等。這一系列的問題，都給Hadoop的使用帶來了諸多不便。
 
        在這種情況下，引入虛擬化解決方案就成為了破解這些難題的“救命稻草”了。服務器虛擬化、甚至基于計算、網(wǎng)絡、存儲各個模塊的全面虛擬化，有助于降低成本和提升集群系統(tǒng)的可用性和可靠性，避免Hadoop集群帶來的昂貴成本負擔，使得廣大中型企業(yè)也可以實現(xiàn)大數(shù)據(jù)的分析和應用，而且也可以幫助提升大數(shù)據(jù)的服務價值。
 
        另外一種情況是，基礎設施的全面虛擬化，還可以順應大數(shù)據(jù)幾何級數(shù)增長的發(fā)展態(tài)勢，從而從一開始就緊隨業(yè)務/大數(shù)據(jù)價值挖掘的需求不斷推進，提升大數(shù)據(jù)價值內(nèi)涵。
 
        編后語：
        虛擬化和云計算，將為大數(shù)據(jù)價值的挖掘提供更富有靈活擴展、高效利用的技術(shù)支持。雖然大數(shù)據(jù)需要有更多的新技術(shù)來幫助實現(xiàn)，但早已發(fā)展成熟的虛擬化以及當下流行應用的云計算，將有助于簡化大數(shù)據(jù)價值的挖掘和服務的提供，從而實現(xiàn)大數(shù)據(jù)的更快部署實施和惠及更多地區(qū)、行業(yè)用戶的應用服務。