這個(gè)方法論只是一個(gè)安全總體建設(shè)的框架，需要不斷的深入、補(bǔ)充和完善。而安全大數(shù)據(jù)平臺(tái)在未來幾年是企業(yè)安全能力建設(shè)的核心，也是第一步。《網(wǎng)絡(luò)安全體系設(shè)計(jì)方法論》中也提到，數(shù)據(jù)是安全能力的核心。企業(yè)首先就要掌握內(nèi)外部的安全數(shù)據(jù)和威脅情報(bào)，再通過企業(yè)安全人員的能力提升，才能逐步提升整體的安全能力。因此，安全牛首先選擇了“安全大數(shù)據(jù)”這一技術(shù)平臺(tái)的架構(gòu)進(jìn)行了梳理和深入，并于今日發(fā)布研究成果。

 

《安全大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)參考》

 

當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來越多，隨著內(nèi)控與合規(guī)的深入，傳統(tǒng)的分析能力明顯力不從心，越來越需要分析更多的安全信息、并且要更加快速的做出判定和響應(yīng)。另一方面，新型威脅的興起，高級(jí)可持續(xù)攻擊要求有長(zhǎng)時(shí)間的數(shù)據(jù)才能分析入侵行為和評(píng)估遭受的損失。傳統(tǒng)的SIEM很難處理多樣化的非結(jié)構(gòu)數(shù)據(jù)，并且傳統(tǒng)的應(yīng)用/數(shù)據(jù)庫(kù)架構(gòu)局限了系統(tǒng)的性能，其能存儲(chǔ)的歷史數(shù)據(jù)時(shí)長(zhǎng)、存儲(chǔ)事件的匯總度、查詢分析的速度均受到極大的限制。信息安全也面臨大數(shù)據(jù)帶來的挑戰(zhàn)。

 

我們需要更深層次的事件關(guān)聯(lián)處理、分析和展現(xiàn)，而當(dāng)前分布式計(jì)算，存儲(chǔ)和通信，內(nèi)存計(jì)算，智能分析等技術(shù)已經(jīng)逐步成熟應(yīng)用，安全數(shù)據(jù)分析需要使用這些新技術(shù)在事件關(guān)聯(lián)、處理和展現(xiàn)能力上進(jìn)行提升。

 

大數(shù)據(jù)安全分析將包括以下幾個(gè)應(yīng)用領(lǐng)域：

 

安全事件管理和安全管理平臺(tái)；

 

APT高級(jí)持續(xù)威脅檢測(cè)，結(jié)合全包捕獲技術(shù)；

 

0day惡意代碼分析，結(jié)合沙箱技術(shù)；

 

網(wǎng)絡(luò)取證分析；

 

大規(guī)模用戶行為分析，結(jié)合機(jī)器學(xué)習(xí)技術(shù)；

 

安全情報(bào)服務(wù)；

 

業(yè)務(wù)風(fēng)險(xiǎn)安全分析等。

 

目前，基于Hadoop生態(tài)圈的大數(shù)據(jù)平臺(tái)已經(jīng)被業(yè)界廣泛使用,部署規(guī)模從幾十臺(tái)，到幾萬(wàn)臺(tái),可以存儲(chǔ)和分析PB級(jí)別數(shù)據(jù)，從網(wǎng)頁(yè)日志分析,搜索引擎，視頻和語(yǔ)音檢索都需要操作大量數(shù)據(jù)資源。而這些數(shù)據(jù)全部來由Hadoop平臺(tái)來運(yùn)算。Hadoop生態(tài)圈也在不斷完善，能夠同時(shí)實(shí)現(xiàn)并行計(jì)算、高速計(jì)算、流式計(jì)算等計(jì)算框架。

 

安全牛整合了業(yè)內(nèi)資深大數(shù)據(jù)專家的意見，向大家推薦一個(gè)基于Hadoop的安全大數(shù)據(jù)平臺(tái)架構(gòu)，歡迎業(yè)界同仁和企業(yè)客戶與我們共同探討。近期還將邀請(qǐng)這方面的專家與大家進(jìn)行更深入的講座和交流。

 

安全大數(shù)據(jù)平臺(tái)架構(gòu)

 

 

圖 1

 

 

圖 2

 

大數(shù)據(jù)平臺(tái)總體概述

 

此平臺(tái)集數(shù)據(jù)采集、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)存儲(chǔ)與分析、集群監(jiān)控、數(shù)據(jù)同步、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)安全管理等于一身。在保證數(shù)據(jù)安全的前提下，實(shí)現(xiàn)從數(shù)據(jù)接收到存儲(chǔ)維護(hù)再到展現(xiàn)的數(shù)據(jù)管理功能。此平臺(tái)能夠?qū)Ａ繑?shù)據(jù)（包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）進(jìn)行存儲(chǔ)、維護(hù)挖掘等工作。使用目前最前沿的數(shù)據(jù)存數(shù)、分析、管理技術(shù)，以此為基礎(chǔ)針對(duì)數(shù)據(jù)分析的實(shí)時(shí)性，分為在線數(shù)據(jù)分析和離線數(shù)據(jù)分析。

 

在線數(shù)據(jù)分析：往往要求系統(tǒng)對(duì)新數(shù)據(jù)進(jìn)行實(shí)時(shí)分析、實(shí)時(shí)展現(xiàn)，從而達(dá)到不影響用戶體驗(yàn)的目的。

 

離線數(shù)據(jù)分析：對(duì)大多數(shù)反饋時(shí)間要求不高的應(yīng)用，比如離線統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)等，應(yīng)采用離線分析的方式。

 

具備以下特性：

 

先進(jìn)的技術(shù)架構(gòu)，基于Hadoop的先進(jìn)分布式計(jì)算及存儲(chǔ)框架；

 

先進(jìn)的多層架構(gòu)，系統(tǒng)維護(hù)簡(jiǎn)單；

 

縱向、橫向擴(kuò)展能力出眾，為未來BI發(fā)展提供可能；

 

能做到5分鐘之內(nèi)系統(tǒng)擴(kuò)容，支撐更多終端。

 

數(shù)據(jù)采集

 

 

數(shù)據(jù)采集

 

數(shù)據(jù)采集過程中分為三個(gè)部分：第一部分收據(jù)接收、第二部分?jǐn)?shù)據(jù)清洗校驗(yàn)和第三部分?jǐn)?shù)據(jù)寫入（寫入大數(shù)據(jù)平臺(tái)）。每個(gè)部分全部支持跨平臺(tái)（多種開發(fā)語(yǔ)言）、并行化，能夠使數(shù)據(jù)快速準(zhǔn)確的寫入到大數(shù)據(jù)平臺(tái)中。

 

數(shù)據(jù)接收：能夠接收來自各種設(shè)備的所有類型的數(shù)據(jù)。

 

數(shù)據(jù)清洗：實(shí)現(xiàn)并行化數(shù)據(jù)的校驗(yàn)，簡(jiǎn)單處理等。

 

數(shù)據(jù)寫入：校驗(yàn)好的數(shù)據(jù)通過數(shù)據(jù)寫入程序?qū)懭氪髷?shù)據(jù)平臺(tái)。

 

數(shù)據(jù)質(zhì)量管理

 

 

數(shù)據(jù)質(zhì)量管理

 

數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)探查接收到的數(shù)據(jù)發(fā)現(xiàn)和評(píng)估數(shù)據(jù)的內(nèi)容，根據(jù)企業(yè)的數(shù)據(jù)質(zhì)量規(guī)則，將對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢測(cè)。

 

分布式存儲(chǔ)與分析

 

 

分布式存儲(chǔ)與分析

 

A：大數(shù)據(jù)平臺(tái)使用分布式文件系統(tǒng)（HDFS）作為底層存儲(chǔ)。特點(diǎn)如下：

 

1. 支持多數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)（結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)）；

 

2. 存儲(chǔ)空間無(wú)限大；

 

3. 擴(kuò)容簡(jiǎn)易；

 

4. 自動(dòng)化數(shù)據(jù)維護(hù)；

 

5. 支持大文件存儲(chǔ)；

 

6. 容錯(cuò)性強(qiáng)。

 

B：MapReduce并行計(jì)算框架， 對(duì)海量數(shù)據(jù)進(jìn)行分析計(jì)算。特點(diǎn)如下：

 

1. 移動(dòng)計(jì)算（程序）到數(shù)據(jù)端，減少網(wǎng)絡(luò)使用；

 

2. 能夠快速并行的對(duì)海量數(shù)據(jù)進(jìn)行分析計(jì)算；

 

3. 支持多種開發(fā)語(yǔ)言，程序編寫簡(jiǎn)單。

 

C：Spark內(nèi)存計(jì)算框架，對(duì)海量數(shù)據(jù)進(jìn)行快快速計(jì)算。特點(diǎn)如下：

 

1. 支持并行計(jì)算；

 

2. 與MapReduce并行計(jì)算框架相比內(nèi)存計(jì)算框架整合了內(nèi)存計(jì)算的基元，計(jì)算速度更快。

 

D：Storm流數(shù)據(jù)處理框架，實(shí)現(xiàn)實(shí)時(shí)性數(shù)據(jù)處理。特點(diǎn)如下：

 

1. 簡(jiǎn)單編程；

 

2. 多語(yǔ)言支持；

 

3. 支持水平擴(kuò)展；

 

4. 容錯(cuò)性強(qiáng)。

 

E：Hive數(shù)據(jù)倉(cāng)庫(kù)，存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。

 

依賴于分布式存儲(chǔ)和分布式計(jì)算框架。主要功能為將HQL（類SQL）轉(zhuǎn)換為并行計(jì)算框架能夠識(shí)別的程序。

 

F：Hbase分布式數(shù)據(jù)庫(kù)，主要以表格的形式存儲(chǔ)數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)依賴于分布式存儲(chǔ)。特點(diǎn)如下：

 

1. 實(shí)時(shí)相應(yīng)讀取請(qǐng)求；

 

2. 數(shù)據(jù)表的行、列可以無(wú)限擴(kuò)展；

 

3. 數(shù)據(jù)自動(dòng)維護(hù)。

 

G：Elastic Search搜索，基于Lucene的搜索服務(wù)器。

 

它提供了一個(gè)分布式多用戶能力的全文搜索引擎，基于RESTful web接口，可達(dá)到實(shí)時(shí)搜索的能力。

 

集群監(jiān)控

 

 

集群監(jiān)控

 

集群監(jiān)控管理由Ambari、Ganglia、Nagios組成。以實(shí)現(xiàn)對(duì)集群的安裝部署、管理監(jiān)控等功能。

 

Ganglia 主要對(duì)集群的資源進(jìn)行監(jiān)控管理。包括CPU 資源、內(nèi)存資源、網(wǎng)絡(luò)資源。監(jiān)控資源使用百分比，高峰期等，并將此信息繪制成直觀、易于理解的統(tǒng)計(jì)圖。

 

Nagios 對(duì)于集群的安全、資源使用值進(jìn)行監(jiān)控，在發(fā)生問題的情況下向有關(guān)的管理人員發(fā)送郵件給予提示。

 

Ambari 提供界面化的方式實(shí)現(xiàn)集群安裝部署、管理維護(hù)、配置文件修改、集群擴(kuò)容等，同時(shí)與Ganglia、Nagios協(xié)同工作，實(shí)現(xiàn)對(duì)整個(gè)集群的監(jiān)控管理。作為大數(shù)據(jù)平臺(tái)的核心控制系統(tǒng)，對(duì)大數(shù)據(jù)平臺(tái)的各個(gè)環(huán)節(jié)進(jìn)行控制，且對(duì)運(yùn)行過程中的各個(gè)組件的關(guān)系進(jìn)行控制，同時(shí)對(duì)各個(gè)環(huán)節(jié)進(jìn)行監(jiān)控，通過監(jiān)控異常報(bào)警來提高系統(tǒng)的穩(wěn)定性和異常響應(yīng)速度。

 

數(shù)據(jù)展現(xiàn)

 

 

數(shù)據(jù)展現(xiàn)

 

數(shù)據(jù)展現(xiàn)，實(shí)現(xiàn)將大數(shù)據(jù)平臺(tái)存儲(chǔ)的部分?jǐn)?shù)據(jù)按著業(yè)務(wù)需求進(jìn)行展示。

 

數(shù)據(jù)讀取，可實(shí)現(xiàn)根據(jù)業(yè)務(wù)需求對(duì)目標(biāo)數(shù)據(jù)進(jìn)行讀取，讀取后傳遞給數(shù)據(jù)展現(xiàn)模塊。

 

數(shù)據(jù)展現(xiàn)，或得到數(shù)據(jù)后可根據(jù)角色的不同展示不同的數(shù)據(jù)。

 

以上數(shù)據(jù)讀取和數(shù)據(jù)展現(xiàn)過程采用并行跨平臺(tái)化的處理方式實(shí)現(xiàn)。

 

數(shù)據(jù)安全

 

數(shù)據(jù)安全從最初的數(shù)據(jù)接入到最終的數(shù)據(jù)展現(xiàn)的安全問題。

 

中間包括數(shù)據(jù)源系統(tǒng)、數(shù)據(jù)收集、消息系統(tǒng)、實(shí)時(shí)處理、存儲(chǔ)、數(shù)據(jù)庫(kù)等各個(gè)模塊的數(shù)據(jù)安全以及整條線的安全。

 

工作流調(diào)度

 

工作流調(diào)度系統(tǒng)，主要實(shí)現(xiàn)對(duì)于數(shù)據(jù)接入、數(shù)據(jù)預(yù)分析、存儲(chǔ)、挖掘的各個(gè)環(huán)節(jié)進(jìn)行可控的管理調(diào)度。

 

數(shù)據(jù)收集

 

 

數(shù)據(jù)采集

 

數(shù)據(jù)收集，主要實(shí)現(xiàn)各種設(shè)備的不同類型數(shù)據(jù)的收集工作。對(duì)收集到的數(shù)據(jù)初步校驗(yàn)后存入大數(shù)據(jù)平臺(tái)。部分?jǐn)?shù)據(jù)需要進(jìn)一步預(yù)處理，可通過系統(tǒng)API進(jìn)行再次預(yù)處理工作。同時(shí)可實(shí)現(xiàn)將數(shù)據(jù)存儲(chǔ)至Hbase數(shù)據(jù)庫(kù)或者Hive數(shù)據(jù)倉(cāng)庫(kù)內(nèi)。

 

離線處理

 

 

離線處理

 

離線處理，主要實(shí)現(xiàn)對(duì)現(xiàn)有已經(jīng)存儲(chǔ)至大數(shù)據(jù)平臺(tái)的數(shù)據(jù)進(jìn)行分析計(jì)算。用于對(duì)實(shí)時(shí)性要求不高的業(yè)務(wù)需求。可實(shí)現(xiàn)預(yù)測(cè)性分析、數(shù)據(jù)挖掘等操作。

 

實(shí)時(shí)分析

 

 

實(shí)時(shí)分析

 

實(shí)時(shí)分析，用于實(shí)時(shí)顯示動(dòng)態(tài)數(shù)據(jù)信息，可以用于實(shí)現(xiàn)數(shù)據(jù)可視化業(yè)務(wù)的需求。可對(duì)接收到的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，分析完成后存入結(jié)果數(shù)據(jù)庫(kù)或者直接顯示到可視化界面中。