運(yùn)維中的數(shù)據(jù)運(yùn)營“數(shù)據(jù)的認(rèn)識和應(yīng)用

2017-12-19 20:25:54 運(yùn)維網(wǎng)咖社　點(diǎn)擊量：評論 (0)

基于一線工作中的積累和認(rèn)識，早就想寫一篇數(shù)據(jù)題材的文章了，因?yàn)楦鞣N事情一直拖了又拖，其實(shí)就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個(gè)字，悔透了上學(xué)時(shí)沒好好背書沒

基于一線工作中的積累和認(rèn)識，早就想寫一篇數(shù)據(jù)題材的文章了，因?yàn)楦鞣N事情一直拖了又拖，其實(shí)就是拖延癌在作祟，再就是文筆差、落字慢，腦袋里框架清晰可到了指尖卻敲不出幾個(gè)字，悔透了上學(xué)時(shí)沒好好背書沒好好看文學(xué)巨著，各位朋友一定要以我為鑒，好了轉(zhuǎn)入正題。
  隨著行業(yè)的發(fā)展，運(yùn)維職能在發(fā)生微妙的變化，現(xiàn)在談何為運(yùn)維，其實(shí)運(yùn)維在我看來更像是技術(shù)運(yùn)營，通過運(yùn)營的方式技術(shù)的手段牽頭協(xié)同各部門來保證產(chǎn)品的SLA（服務(wù)質(zhì)量），控制產(chǎn)品的成本和可管理性。作為技術(shù)運(yùn)營來說，最重要的是拿到各種信息來描述產(chǎn)品的各種指標(biāo)，也就是通過數(shù)據(jù)將產(chǎn)品的形態(tài)畫出來，然后通過這些指標(biāo)形成合理的產(chǎn)品決策和戰(zhàn)略方案建議，那么這么信息從哪里來呢，不錯(cuò)，就是從數(shù)據(jù)中來，所以產(chǎn)品中數(shù)據(jù)的應(yīng)用是運(yùn)維工作中最重要的一環(huán)。
  一個(gè)產(chǎn)品在運(yùn)行中會產(chǎn)生各種數(shù)據(jù)，而產(chǎn)品的健康情況、業(yè)務(wù)指標(biāo)就藏在這些海量的數(shù)據(jù)里，數(shù)據(jù)通過匯聚整理形成有組織的信息，這些信息服務(wù)于運(yùn)維就是監(jiān)控告警、異常檢測、apm等，服務(wù)于業(yè)務(wù)部門就是DAU、PV、UV等各種運(yùn)營指標(biāo)，服務(wù)于老板就用于公司決策，繼續(xù)對這些信息進(jìn)行歸納總結(jié)形成知識，對處理方式進(jìn)行歸納總結(jié)形成經(jīng)驗(yàn)，對經(jīng)驗(yàn)抽象總結(jié)形成方法論也就是規(guī)律。現(xiàn)在是概念橫飛的時(shí)代，為了展現(xiàn)技術(shù)的先進(jìn)，什么熱炒什么，但作為一個(gè)一線的從業(yè)者還是要剖開表象看本質(zhì)，對于事物的認(rèn)識必將經(jīng)歷知道、不知道、再知道和簡單、復(fù)雜再簡單的過程，到了第三個(gè)階段可以說是真正知道了，PS現(xiàn)在熱炒的機(jī)器學(xué)習(xí)等說到底其實(shí)就是改變在某一個(gè)點(diǎn)的數(shù)據(jù)處理操作，不要把它神化了。
  回歸到“運(yùn)維中的數(shù)據(jù)應(yīng)用”的主題，我認(rèn)為數(shù)據(jù)應(yīng)用中最重要的有三個(gè)環(huán)節(jié)：采數(shù)據(jù)、管數(shù)據(jù)、用數(shù)據(jù)，其中偏技術(shù)能力的是采數(shù)據(jù)、管數(shù)據(jù)，比如說從海量數(shù)據(jù)里實(shí)時(shí)匯聚計(jì)算出有用的數(shù)據(jù)按照特定條件發(fā)送給相關(guān)人，1G、2G的數(shù)據(jù)好處理，但是1T、2T數(shù)據(jù)的實(shí)時(shí)處理就是個(gè)技術(shù)工作了，這也是考驗(yàn)運(yùn)維人員技術(shù)能力的一個(gè)點(diǎn)，而用數(shù)據(jù)更多的是業(yè)務(wù)能力，業(yè)務(wù)場景的建模。在運(yùn)維工作中，我們將服務(wù)器的CPU、內(nèi)存、IO、網(wǎng)絡(luò)等基礎(chǔ)指標(biāo)進(jìn)行采集，對業(yè)務(wù)日志進(jìn)行采集，對依賴資源的健康情況進(jìn)行采集，形成一個(gè)龐大的基礎(chǔ)數(shù)據(jù)源，對這些數(shù)據(jù)進(jìn)行實(shí)時(shí)收斂畫成曲線就形成了監(jiān)控，對監(jiān)控繼續(xù)收斂將一些能反應(yīng)業(yè)務(wù)健康指標(biāo)的項(xiàng)提煉出來并加上觸發(fā)器就形成了告警，這些監(jiān)控和告警都是需要管理的，因此就誕生了監(jiān)控告警管理系統(tǒng)，但是有了監(jiān)控告警并不能根本解決問題，你還需要看到一些詳細(xì)的信息，就有了日志分析系統(tǒng)........自然而然的一環(huán)扣一環(huán)的發(fā)展。
  現(xiàn)在再看運(yùn)維中的數(shù)據(jù)應(yīng)用是什么？采集服務(wù)器上的數(shù)據(jù)，通過不同維度的收斂聚合做成實(shí)時(shí)監(jiān)控圖像，再針對不同的指標(biāo)添加觸發(fā)器形成告警，告警的同時(shí)附上數(shù)據(jù)分析報(bào)告形成告警分析，為了提前預(yù)防故障，將還沒有形成故障的產(chǎn)品薄弱點(diǎn)做成異常檢測分析報(bào)告定期發(fā)送預(yù)警，為了根因排查必須做到可以隨時(shí)查詢詳細(xì)日志，還需要通過SDK等將代碼內(nèi)部執(zhí)行層面數(shù)據(jù)收集起來進(jìn)行性能分析，通過采集數(shù)據(jù)中各種指標(biāo)的計(jì)算又形成了容量評估，這些對有故障時(shí)流量的調(diào)度也提供依據(jù)，總而言之產(chǎn)品運(yùn)行的數(shù)據(jù)為一切的問題定位和實(shí)際操作提供了數(shù)據(jù)支撐，這些都是運(yùn)維中數(shù)據(jù)應(yīng)用。那么問題來了，怎么做？這就是運(yùn)維層面的技術(shù)方案了，每個(gè)環(huán)節(jié)都對應(yīng)有不同的工具，工具可能會變，但其中的道理是不會變化的，所謂道法自然而術(shù)變?nèi)f千。例如說我現(xiàn)在使用的一個(gè)運(yùn)維數(shù)據(jù)方案，如下：

數(shù)據(jù)的采管用.png

后附（實(shí)時(shí)收集的一個(gè)告警分析）：

責(zé)任編輯：售電衡衡

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實(shí)相關(guān)內(nèi)容。

我要收藏

個(gè)贊