身為數(shù)據(jù)科學(xué)家怎么能不掌握這四大技能!
數(shù)據(jù)科學(xué)家往往希望將他們所知道的每一種技術(shù)和算法都應(yīng)用于每一個(gè)問題的解決方案上。相應(yīng)地,這就會使系統(tǒng)非常復(fù)雜難以維護(hù)。
數(shù)據(jù)科學(xué)確實(shí)需要復(fù)雜抽象的模型及大量的復(fù)雜技術(shù)(從Hadoop到Tensorflow)。在這個(gè)充斥著復(fù)雜性的領(lǐng)域,人們會傾向于開發(fā)復(fù)雜的系統(tǒng)和算法,稍不留神就會在開發(fā)中涉及四、五種不同的技術(shù)并使新的熱門算法或框架。然而,像大多數(shù)涉及工程的其他領(lǐng)域一樣,減少復(fù)雜性往往會帶來諸多好處。
如果馮•諾依曼,埃爾溫•薛定諤和愛因斯坦可以幫助我們理解數(shù)學(xué)和物理驅(qū)動(dòng)領(lǐng)域的復(fù)雜性,那么我們數(shù)據(jù)科學(xué)家不能隱藏在復(fù)雜性背后。
工程師的角色就是去簡化任務(wù)。如果你曾經(jīng)建造或看到過魯布•戈德堡機(jī)械(Rube Goldberg machine),你會理解什么是用復(fù)雜方法去完成簡單任務(wù)。一些數(shù)據(jù)科學(xué)家的算法和數(shù)據(jù)系統(tǒng)看起來像是用膠帶和口香糖粘起來的老鼠夾,而不是簡潔有效的解決方案。更簡單的系統(tǒng)意味著隨著時(shí)間推移系統(tǒng)會更加容易維護(hù),并且未來的數(shù)據(jù)科學(xué)家能夠按需添加和刪除模塊。但若你使用三種不同的語言,兩個(gè)數(shù)據(jù)源,十個(gè)算法且沒有留下任何文檔資料,未來的工程師可能會默默詛咒你哦。
簡單的算法和系統(tǒng)也應(yīng)使添加和刪減模塊是容易的。因此當(dāng)需要技術(shù)進(jìn)行改變和更新或者需要?jiǎng)h除模塊時(shí),可憐的未來數(shù)據(jù)科學(xué)家不會陷入和你的代碼一起玩疊疊樂積木游戲(Jenga)的困境 。但會糾結(jié)于“如果刪了這段代碼,系統(tǒng)會不會崩潰”。(這一糾結(jié)的根源是怕出現(xiàn)技術(shù)債務(wù))
知道如何在沒有主鍵的情況下關(guān)聯(lián)匹配數(shù)據(jù)
強(qiáng)大的數(shù)據(jù)專家能做的重要工作之一是:將可能沒有主鍵或明顯聯(lián)系的數(shù)據(jù)集關(guān)聯(lián)在一起。數(shù)據(jù)可以呈現(xiàn)人之間或業(yè)務(wù)之間的日常交互。能夠在這些數(shù)據(jù)中找出統(tǒng)計(jì)模式,是數(shù)據(jù)科學(xué)家可以幫助決策者作出明智決定的重要能力。然而,你想要關(guān)聯(lián)在一起的數(shù)據(jù)并不總是位于相同的系統(tǒng)或有著相同粒度。
與數(shù)據(jù)打交道的人會知道,數(shù)據(jù)并不總是很好的整合在一個(gè)數(shù)據(jù)庫中。比如,財(cái)務(wù)數(shù)據(jù)與IT服務(wù)管理數(shù)據(jù)通常是分開存放的,外部的數(shù)據(jù)源往往可能并不是在同一個(gè)維度進(jìn)行的聚合。這會成為一個(gè)問題,因?yàn)檎页鰯?shù)據(jù)中的價(jià)值有時(shí)確實(shí)會需要來自其他部門或系統(tǒng)的數(shù)據(jù)。

責(zé)任編輯:任我行
- 相關(guān)閱讀
- 碳交易
- 節(jié)能環(huán)保
- 電力法律
- 電力金融
- 綠色電力證書
-
碳中和戰(zhàn)略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國家發(fā)改委、國家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè)
-
碳中和戰(zhàn)略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
深度報(bào)告 | 基于分類監(jiān)管與當(dāng)量協(xié)同的碳市場框架設(shè)計(jì)方案
2020-07-21碳市場,碳排放,碳交易 -
碳市場讓重慶能源轉(zhuǎn)型與經(jīng)濟(jì)發(fā)展并進(jìn)
2020-07-21碳市場,碳排放,重慶
-
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國家發(fā)改委、國家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
2020年二季度福建省統(tǒng)調(diào)燃煤電廠節(jié)能減排信息披露
2020-07-21火電環(huán)保,燃煤電廠,超低排放
-
四川“專線供電”身陷違法困境
2019-12-16專線供電 -
我國能源替代規(guī)范法律問題研究(上)
2019-10-31能源替代規(guī)范法律 -
區(qū)域鏈結(jié)構(gòu)對于數(shù)據(jù)中心有什么影響?這個(gè)影響是好是壞呢!