說到大數據，人們很多還停留在概念的階段，不過對于一些企業來說，大數據已經就在眼前，業務的需求驅使著IT部門不得不去做大數據的分析與處理。企業需要大數據的分析和處理，但是大數據并不是想象中的那么簡單，在實際部署實施的過程中會遇到很多方面的問題。

      尤其是目前社交網絡的興起帶來了更多的數據量，企業需要面對的挑戰就越來越高，因為社交網絡的數據本身就是一個無底洞。一位企業CTO說：“目前我們的數據來源基本都是在社交網絡上面，我么收集這些數據加以分析，幫助企業理解這些人的消費規律以及個人偏好。”
      這位CTO所在的團隊運營著一個可以產生12億美元的數據平臺，以及每天超過400萬人的PB級數據集群。所在團隊的大數據環境中包括了大量的開源平臺，他們所用的技術包括：Hadoop、HBase，Hive， ElasticSearch， Scala， Storm， Node.js以及其他的很多工具。這確實是一個非常嚴峻的挑戰。

      我們通過企業大數據項目的具體實施過程不難看出，在實施的過程中技術與人是最關鍵的兩個問題。選擇一個成熟的技術，并且讓最合適的人來進行實施，這樣才會有一個比較合理的結果。

      目前，以及有不少的企業開始進行部署自己的大數據項目，下面我們就為大家總結一下企業在部署大數據項目過程中遇到的那些難題與挑戰。
復雜的數據計算與存儲

      大數據，顧名思義海量的數據是不可避免的。這項對于傳統的數據分析而言，大數據需要大量的存儲空間來進行數據存儲，現在數據的產生量已經不是人們所能想象的，傳統的存儲介質與存儲方式并不能滿足如此快速的數據產生量。換句話來說，看看新浪微博、Facebook每分鐘產生的數據量你就會明白了，電商更是夸張，阿里雙十一，百億的交易額，這樣的數據量需要具有針對性的數據存儲方式。

      而從項目的整體出發，只是存儲并不能算得上大數據。在存儲之后還需要對海量的數據進行分析與計算，只有最后得出的分析結果才會對企業有所幫助。存儲只是萬里長征的第一步，大數據處理團隊需要弄清楚這些數據背后的價值，需要合理的對數據進行歸檔，并且數據價值是需要進行計算分析得出的，龐大的數據量需要更加龐大的計算能力才能完成。

技術的成熟度的挑戰

       開源技術就好比一只小狗，它很可愛，也很好。但你需要養活它。就目前的技術發展而言，開源的大數據技術還并不是十分成熟，商業的大數據解決方案價格有非常昂貴，所以對于大部分企業來講，開源貌似是唯一的解決方向。但開源技術并不能很好的適應每一個企業的具體業務線，所以企業還要投入大量的技術力量進行維護與二次開發。開源技術是條可愛的小狗，但是你需要養活他。

      許多大數據技術是在建工程。雖然基礎技術日趨完善，管理和配置的工具都處于起步階段，讓IT專業人員做工作解決的差距。企業的IT團隊不得不開發工具，從管理的角度，從工作流程的角度，從配置等不同的角度出發。

期待，努力發現人才

      之前講了，大數據需要成熟的技術以及合適的人來執行，這里指的合適的人是一個真正的數據分析專家。而這樣的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且還不能確定這個人是否能適應這個團隊。

      其實從技術的角度出發，大數據的技術與工具正在迅速發展，但是這些技術與工具只掌握在少數人的手里，并不能得到大規模的應用。所以對于企業來講，大數據的技術與人同樣重要。擁有了成熟穩定的技術，但是沒有可以執行它的人，那么大數據項目也會相當危險，沒準什么時候就成為了企業財政的累贅。
想想模塊化，準備投資

      任何一個項目的組建都不可能是無成本的。每一個項目都會意味著人力與財力的投入。尤其是在大數據項目上，每一個關鍵的業務點都意味著大量的資源投入。相比于其他項目，大數據項目耗費的資源會更多，在基礎設施上的投入，服務器、存儲以及計算資源和開發人員的投入都是相當龐大的。

      模塊化的基礎設施一直是重要的，因為它可以讓IT團隊能夠處理的業務優先級的變化，并提供業務透明度。企業的IT團隊有必要投資的管理和生產力工具。這就是20％，25％都集中在我的工程資源，生產力工具和工作流程管理。

將產品與業務線做對接

       在企業中項目需要圍繞著業務進行實施，再好的產品項目如果不能很好的與業務進行對接，也是不能實現其真正的價值。這很容易讓大數據的專家緊密合作，產品專家和業務利弊談，但它可以是難以貫徹的想法。越來越多在？？過去的幾年中，我們已經給他們帶來了起來，因為雙方都需要了解的另一邊。

       在很多失敗的案例中我們不難看出，企業大數據產品的最終失敗原因有一條就是產品不能很好的服務于企業核心業務，這樣就會導致大量投入的資源變成沒有價值體現的投入。

       而成功的大數據產品就不是這樣子。一個成功的大數據分析產品可以為企業揭示風險并且識別新的商業機會，并且可以根據客戶的喜好進行商業活動，并獲得洞察客戶情緒 - 然后與該公司分享成果。大數據展示業務和IT事件有助于創造一個時髦圍繞大數據分析的潛力。

領導層到技術人的思想貫徹

       這里說的還是與人有關，大數據項目在企業中算是一個牽動企業發展戰略的大項目。這需要從企業領導層到開發人員的整體投入。企業花了很多的時間映射可以利用大數據在我們的承保和理賠流程，并回饋業務線。項目團隊需要企業從領導層到技術層從上倒下的支持。ACE集團的督導委員會，負責領導公司的大數據議程。令人驚訝的是，它不是堆疊技術人員。“這是很難得的任何科技。有四個技術人員和大約20商界領袖在那個隊。

       關鍵的事情之一是投資建設第一的技能和資源，在我們開始這段旅程。如果沒有，我們將不得不一個不可接受的滯后值回業務。一位成功部署大數據項目的CTO說。
 把業務人員下放到項目中去

       既然大數據項目是為了企業業務服務的，而對企業業務最為熟悉就是業務人員，在整個項目中業務人員的需求往往是必然的需求。

      企業需要進行完全嵌入的做法，將一線的業務人員下派到項目的每一個關鍵環節。只要這樣，整個項目完成之后才能更好的為業務服務。企業通過建立核心競爭力，搭配新的技能，在我們的業務統計人員，數據洗滌器，數據分析，工藝專家我們的賠款及承保專長。其實這是一只搭配的意識，分享知識，發展和創新，我們利用大數據幫助業務發展。

不要小看管理供應商或系統集成商

       對于一些技術力量有限的企業來說，他們更喜歡尋找一個系統集成商或者方案供應商來進行外包。在這期間會進行方案招標，而每一家集成商的方案都不盡相同，而且沒有一家可以提供即用的解決方案，對于供應商的管理也是一個挑戰，整合所有不同的系統，將這些系統整合成為一個巨大的方案進行協同運行。

   獨立評估投資回報率

      在很多企業中，使用大數據分析，改進和驗證的營銷活動的有效性。當大數據項目是成功的，每個人都希望它的一部分，當你走在你開始為公司創造新的收入，項目帶來這么多錢，大家突然出來的木制品和希望聲稱。對于他的團隊，問題解決了，當CFO加強仲裁，提供獨立意見的投資回報率，公司就會更加承認大數據計劃。

      轉變并不會在一夜之間發生。從多來源的數據采集，到通過深度分析獲取洞察力，之間會是一段并不平坦的征程。毫無疑問，Hadoop等技術的日趨成熟，讓企業用戶可以更方便地、在更大的范圍內收集業務的相關數據，但同時真正的挑戰也會接踵而至。這就是如何高效地處理多來源的海量數據，并且為其找到適合的商業用途。