天云大數(shù)據(jù)CEO 雷濤

為什么我說大數(shù)據(jù)不等于BI？

大數(shù)據(jù)和BI有很多對立。我們在項目實施中一直遵循這一原則。例如

1.全量思維。不用抽樣建模，再回到DW實施。大數(shù)據(jù)利用全量數(shù)據(jù)直接跑，先在大寬表中找到以前靠業(yè)務(wù)經(jīng)營選擇的字段，即依靠機器學(xué)習(xí)建規(guī)則，再在全局?jǐn)?shù)據(jù)中實施。大數(shù)據(jù)在這個層面首先是基礎(chǔ)設(shè)施，能夠完成以前不能完成的任務(wù)。例如某保險公司，SAS只能跑幾十萬用戶的一種分類模型，現(xiàn)在可以把個險3600萬用戶跑個全量，得到上千個分類，發(fā)現(xiàn)業(yè)務(wù)經(jīng)營給不了事實。這是大數(shù)據(jù)的IT屬性，Hadoop分布式計算帶來的顛覆創(chuàng)新。

2. 個性化。 BI面向決策，面向人的干預(yù)。輸出形式更多的dashboard.report。因此對事實描述更多是基于群體共性，而不是個體刻畫。例如回到保險公司的例子，當(dāng)我們用大數(shù)據(jù)計算出每一個個體客戶的流失風(fēng)險概率，做個性化客戶視圖。而BI系統(tǒng)需要匯總成宏觀統(tǒng)計數(shù)據(jù)。前者幫助我們深刻的了解每一個用戶，適合于精準(zhǔn)推薦類營銷類問題，回答How much how strong的程度類模糊問題；后者幫助決策者掌握宏觀統(tǒng)計趨勢，適合經(jīng)營運營指標(biāo)支撐類問題，準(zhǔn)確回答yes or no的統(tǒng)計意義概率問題。
大數(shù)據(jù)對個體刻畫還是BI的群體描述，引發(fā)了下面第三種差異。

3. Insight or Automation群體共性的描述獲得的Yes or no的問題對于復(fù)雜經(jīng)濟現(xiàn)象越來越難回答，維度指標(biāo)越來越多。例如上面客戶流失風(fēng)險的例子，被BI系統(tǒng)做成統(tǒng)計指標(biāo)后匯報高層做決策，高層形成客戶挽留計劃一類的執(zhí)行策略往往風(fēng)險很大，包括質(zhì)疑數(shù)據(jù)準(zhǔn)確性，執(zhí)行效率反饋周期等等，其結(jié)果就是面對這樣的宏觀不決策不作為。因此，某種意義上，BI形成的Insight，因為沒有形成閉環(huán)干預(yù)，而沒有發(fā)揮作用。

大數(shù)據(jù)強調(diào)Automation. 淘寶更強調(diào)為每一筆網(wǎng)購做自動推薦的生產(chǎn)系統(tǒng)。上面的保險客戶流失例子，大數(shù)據(jù)刻畫客戶后提供給一線銷售，數(shù)據(jù)服務(wù)下沉而不是匯總上報，每一個保險員做微決策微行動，風(fēng)險小反饋及時。大數(shù)據(jù)更強調(diào)提供自動化工具，而不是統(tǒng)計報告。

4. 反饋和實驗方法 因為引入了Automation，和記錄行為數(shù)據(jù)，效果更直接及時。例如互聯(lián)網(wǎng)最多用的AB testing. Hulu每日上線的測試有200多個，可見測試方法在數(shù)據(jù)分析中的重要程度。
有機會展開談?wù)凚I和大數(shù)據(jù)，在這個概念泛濫的大數(shù)據(jù)熱炒時代，啤酒尿布少女懷孕黑人進白宮，各種公司一夜轉(zhuǎn)型大數(shù)據(jù)，如何辨別小數(shù)據(jù)和大數(shù)據(jù)，不僅是技術(shù)基礎(chǔ)，更重要的是思維方式。