欧美日操-欧美日韩91-欧美日韩99-欧美日韩ay在线观看-xxxx色-xxxx视频在线

基于大數據的網絡異常行為建模方法

2018-03-20 15:28:49 電力信息與通信技術  點擊量: 評論 (0)
隨著網絡技術的發展,網絡攻擊方式復雜多變,傳統檢測技術無法應對未知的攻擊模式,因此異常檢測技術被提出。文章介紹了目前常見的異常檢測技術,并分析了這些技術的優缺點,在此基礎上提出了基于大數據的網絡異常行為建模方法并分析了可行性。通過聚類算法識別偏離正常的流量,并對偏

值,認為不相似度大于這一閾值的離群點為異常。

2)選擇固定數量的離群點,即按照不相似度排序從大到小固定選擇前N個離群點認為是異常。

3)選擇不相似度量值發生突變的點,即觀察經排序后的離群點的不相似度變化曲線,找出變化率有顯著變化的點作為判定異常的閾值。

4)人工檢查各個離群點,根據管理分析人員的經驗來判定是否異常。

上述方法適用不同場景,前2種方法適用于變化不大的網絡環境,第3種方法能根據場景有一定的動態自適應性,第4種方法則是在前3種方法表現不佳的情況下引入管理分析人員的專業知識和經驗作為異常檢測判定的依據。

2.2 自主的網絡行為建模與異常檢測
2.2.1 通過聚類建立初始的檢測模型

首先應用子空間聚類算法的思想,從m維特征中選取k維形成子空間以供進一步分析,若要完全探索特征空間,所要分析的子空間總數為從m個不同元素中取出k個元素的組合數。在每個子空間內將應用基于密度的聚類算法,如DBSCAN、OPTICS等對數據集進行分簇。

以DBSCAN為例,它是一種能夠有效發現識別任意形狀和大小的簇的聚類算法,并且能標注出游離于各分簇之外的離群點,適合于無監督的網絡流量分析場景,且無需事先指定分簇的數量。

對于每個子空間應用如DBSCAN的基于密度的聚類算法后均可得到一組分簇結果和離群點集。為了選取合理的k值,即子空間維度的大小,利用聚類的一個單調性質,稱為向下封閉屬性(downward closure property),這個性質直接說明了如果一個空間中存在有關于數據點密度的某項證據,那么它一定會存在于這一空間的最低維子空間中。本文推薦使用k = 2,也就是會產生N = m(m-1)/2個子空間,分別應用基于密度的聚類算法處理得到N個分簇結果和相應的離群點集合。然后,使用證據積累聚類技術來對這些結果進行融合,形成統一的離群點排序。具體來說,對于任何子空間中的一個離群點,計算它與該子空間中最大簇中心的距離并將其累計到不相似度向量的相應的維度。這一計算方法的思想是明確突出那些在不同子空間中與正常網絡流量相差較遠的流(用與最大簇中心的距離來表示)。這里距離的計算使用馬式距離(Mahalanobis distance),在樣本方差較小時更能突出離群點的不相似度。得出不相似度向量后,將其每一維的取值進行排序就得到所有離群點的不相似度排序。

2.2.2 在高速海量數據流環境中檢測異常并實時更新檢測模型

本文在數據收集過程中采用的基于時間序列的變化檢測技術具有自適應的特性,與大數據處理和流處理技術相配合,能夠很好地適應高速海量數據流環境。其中,在基于時間序列的變化檢測中可以采用連續滑動的時間窗口,從而達到在線實時檢測的效果,能夠更及時地發現新產生的異常。每發現一個存在異常的時間窗口,就會觸發后續的聚類分析及異常檢測處理過程,可以看作是網絡行為模型隨時間窗口行進的不斷動態更新。

 3 結語

大數據處理技術及流處理技術的飛速發展,產生了諸多優秀的聚類算法。這些聚類算法能夠保證初始檢測模型構建的高效性和合理性,且聚類算法屬于無監督學習,確保了檢測機制的普適性。本文提出了基于大數據的網絡異常行為建模,通過聚類算法識別偏離正常的流量,并對偏離流量的異常程度排序,采用基于閾值的方法將異常度高的流量標記為網絡異常行為,其實現步驟和總體框架流程均參考借鑒了已有的研究成果,其可行性也有相應的技術支持。

大云網官方微信售電那點事兒

責任編輯:售電衡衡

免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
?
主站蜘蛛池模板: 美女又黄又免费的视频 | 三级四级特黄在线观看 | 青青草网址 | 亚洲国产精品一区二区三区久久 | 狠狠综合久久久久尤物丿 | 亚洲精品一二三区-久久 | 欧美黑人性大免费高清视频 | 久久综合性 | 精品999视频 | 91精品导航在线网址 | 综合色区 | 国产亚洲精品自在线观看 | 亚洲人jizz日本人处 | 少妇太爽了在线观看 | 高清一级毛片一本到免费观看 | 日韩第九页 | 日韩一级欧美一级在线观看 | 欧美日韩欧美 | 爱情综合症泰剧在线观看全集 | 成人国产亚洲欧美成人综合网 | 一区二区三区 日韩 | 精品免费久久久久国产一区 | 四虎精品影院在线观看视频 | 色噜噜狠狠狠综合曰曰曰 | 欧美日韩高清在线 | 国产成人毛片 | 四虎久久精品国产 | 国产免费一级在线观看 | 日本色一区 | 在线观看免费亚洲 | 啦啦啦高清影视在线观看视频? | 在线a毛片免费视频观看 | 国产aⅴ一区二区 | 亚洲欧美一区二区三区在线观看 | 国产精品观看视频免费完整版 | 欧美日本免费一区二区三区 | 成人一区在线 | 日本高清视频在线三级 | 午夜色网站| 久操五月天 | 国产福利在线观看永久免费 |