發(fā)布時間:2023-09-28 10:11:54
序言:作為思想的載體和知識的探索者,寫作是一種獨特的藝術(shù),我們?yōu)槟鷾蕚淞瞬煌L(fēng)格的5篇網(wǎng)絡(luò)流量分析的方法,期待它們能激發(fā)您的靈感。
關(guān)鍵詞:中小型網(wǎng)絡(luò);流量控制;方法;應(yīng)用
中圖分類號:TP393.06
近年來,隨著經(jīng)濟社會的發(fā)展和科學(xué)技術(shù)的進步,計算機網(wǎng)絡(luò)技術(shù)得到了充分發(fā)展。在這種形勢背景下,網(wǎng)絡(luò)在人們生產(chǎn)生活中的應(yīng)用越來越廣泛,比如,我們可以通過網(wǎng)絡(luò)瀏覽網(wǎng)頁、觀看視頻、網(wǎng)上聊天以及網(wǎng)上購物等。由此可見,網(wǎng)絡(luò)在人們生活中發(fā)揮著重要作用。在網(wǎng)絡(luò)的運行過程中,網(wǎng)絡(luò)流量直接關(guān)系著網(wǎng)絡(luò)的速度,對網(wǎng)絡(luò)功能的發(fā)揮具有重大意義。但是,從現(xiàn)實情況來看,在一些中小型網(wǎng)絡(luò)使用的過程中,由于服務(wù)器管理不當(dāng)、惡意程序以及P2P下載等原因,導(dǎo)致網(wǎng)絡(luò)流量不斷增長,最終致使網(wǎng)絡(luò)出現(xiàn)堵塞,網(wǎng)頁打不開,影響人們的正常工作和學(xué)習(xí)。鑒于此,我們必須采取一些措施控制網(wǎng)絡(luò)流量,使它更好地為人們的生產(chǎn)生活提供服務(wù)。
1 中小型網(wǎng)絡(luò)流量控制方法
1.1 加強對P2P應(yīng)用的管理。在很多中小型網(wǎng)絡(luò)應(yīng)用的過程中,人們會運用到很多P2P應(yīng)用,比如,快車下載、迅雷視頻播放器等。這些P2P應(yīng)用在運行的過程中會占用大量的流量資源,給網(wǎng)速造成嚴重影響。針對這個問題,在中小型網(wǎng)絡(luò)運行中我們可以采取封禁P2P的應(yīng)用端口或者對并發(fā)連接數(shù)進行限制等方法來控制網(wǎng)絡(luò)流量。首先,對P2P的應(yīng)用端口進行封禁。正如上文所述,在中小型網(wǎng)路中各種下載工具和視頻播放工具等P2P占用了很多流量,我們可以使用電腦中的路由器或者防火墻等對P2P應(yīng)用進行封禁。這種方法在運用的早期收到一定的成效,后來的流量控制效果并不是十分理想。其次,限制并發(fā)連接的數(shù)量。當(dāng)我們在運用P2P軟件在網(wǎng)絡(luò)上查找資源的時候,會帶到很多的網(wǎng)絡(luò)連接,此時便會使網(wǎng)絡(luò)流量大量增加。如果我們對連接到主機上的并發(fā)連接數(shù)量進行控制,就可以有效限制它所占用的流量。這種方法有一定的成效,但會在一定程度上對網(wǎng)絡(luò)正常運行造成影響。
1.2 運用專業(yè)的流量控制設(shè)備。在中小型網(wǎng)絡(luò)運行中,我們還可以使用專業(yè)的流量控制設(shè)備對其進行流量控制。就目前的技術(shù)水平來看,主要的流量控制技術(shù)包括深度報文檢測(DPI)和深度流行為檢測(DFI)等。以此技術(shù)為基礎(chǔ),現(xiàn)在應(yīng)用比較多的專業(yè)流量控制設(shè)備廠商主要有華三、思科以及Allot等。這些廠商生產(chǎn)的專業(yè)流量控制設(shè)備具有良好的流量控制作用,但是,它也存在一定的缺陷,比如,專業(yè)流量控制設(shè)備的價格比較昂貴。
1.3 對網(wǎng)絡(luò)用戶的流量和寬帶進行限制。為了控制中小型網(wǎng)絡(luò)中的流量,我們還可以采用限制用戶流量和寬帶的方法進行控制。首先,限制用戶流量。我們可以使用城市熱點或者防火墻等設(shè)備對網(wǎng)絡(luò)中用戶的流量進行控制。這種方法確實發(fā)揮了控制流量的作用,但是,有時用戶正在使用網(wǎng)絡(luò),由于流量限制導(dǎo)致無法上網(wǎng),就會影響到用戶的工作和學(xué)習(xí)。其次,限制用戶寬帶使用數(shù)量。這種方法也在一定程度上發(fā)揮控制網(wǎng)絡(luò)流量的功效,但是,由于用戶無法得到全部寬帶,致使網(wǎng)絡(luò)運行的速度比較緩慢。
2 流量控制方法在中小型校園網(wǎng)絡(luò)中的應(yīng)用
從上文的論述中,我們可以了解到,各種流量控制方法各有優(yōu)劣,在實際的應(yīng)用過程中,我們要從中小型網(wǎng)路的實際情況出發(fā),綜合分析多方面因素,選擇科學(xué)合理的流量控制方法。下面,我們就結(jié)合某學(xué)校一中小型的校園網(wǎng)絡(luò),對流量控制方法的具體應(yīng)用進行分析。
2.1 校園網(wǎng)概況。某學(xué)校為了滿足教學(xué)工作需要,建設(shè)了一個校園網(wǎng)。在該校園網(wǎng)中,由2個10兆的互聯(lián)網(wǎng)與當(dāng)?shù)氐慕炭凭W(wǎng)和電信網(wǎng)進行連接,依據(jù)教學(xué)的功能,校園網(wǎng)中被劃分成多個VLAN,從而為學(xué)校教學(xué)和教務(wù)工作的開展提供網(wǎng)絡(luò)服務(wù)。但是,從現(xiàn)實情況來看,校園網(wǎng)中存在客戶端安全問題、接入控制問題以及上網(wǎng)速度慢問題等,致使校園網(wǎng)在使用的過程中出現(xiàn)網(wǎng)頁打不開甚至斷網(wǎng)等問題,影響了校園網(wǎng)正常功能的發(fā)揮。
在上圖的校園網(wǎng)流量控制設(shè)備部署中,我們利用流量網(wǎng)絡(luò)開關(guān),有效實現(xiàn)了對校園網(wǎng)的流量控制。具體來說,流量控制主要表現(xiàn)在以下幾個方面。(1)對P2P應(yīng)用進行了控制。為了保證P2P應(yīng)用的正常使用同時減少它對網(wǎng)速的影響,我們設(shè)立了P2P應(yīng)用流量通道,對快車、迅雷等P2P應(yīng)用軟件的流量限制在一定范圍之內(nèi),并根據(jù)網(wǎng)速變化作出一些動態(tài)調(diào)整。比如,在校園網(wǎng)高峰期,我們可以適當(dāng)降低對P2P應(yīng)用的限制,當(dāng)校園網(wǎng)處于低谷期,我們可以調(diào)高對P2P應(yīng)用的限制,從而保證校園網(wǎng)絡(luò)的有效利用。(2)對不同用戶實施不同部署。在校園網(wǎng)運行中,針對不同用戶的需求,我們制定了不同的網(wǎng)絡(luò)流量管理方法。比如,針對學(xué)校的辦公網(wǎng)絡(luò),我們可以適當(dāng)限制P2P應(yīng)用的流量,而對于學(xué)校教學(xué)機房中的網(wǎng)絡(luò),則要嚴格控制P2P應(yīng)用的流量,盡量減少這些與教學(xué)無關(guān)的應(yīng)用占用大量的流量,保證教學(xué)網(wǎng)絡(luò)速度。(3)加強校園網(wǎng)接入安全管理。在過去,由于缺乏相應(yīng)的技術(shù)和管理設(shè)備,校園網(wǎng)中對客戶端接入缺乏安全管理,校外其他一些用戶可以隨意接入到校園網(wǎng)中,不僅占用了校園網(wǎng)的流量,而且給校園網(wǎng)安全造成嚴重威脅。針對這個問題,我們可以采取客戶端接入控制和安全性檢測等方法對校園網(wǎng)接入安全進行管理,這樣一來,只有符合要求的用戶才可以接入到校園網(wǎng)中,不僅提高了校園網(wǎng)的運行的安全性,而且對校園網(wǎng)流量控制具有一定的作用。
3 結(jié)束語
綜上所述,近年來,隨著經(jīng)濟社會的發(fā)展,中小型網(wǎng)絡(luò)在我們生產(chǎn)生活中的作用越來越突出。鑒于此,我們要加強對中小型網(wǎng)絡(luò)的管理,使它更好地為人們提供網(wǎng)絡(luò)服務(wù)。但是,在現(xiàn)實中,由于多種原因?qū)е轮行⌒途W(wǎng)絡(luò)流量增加,影響了網(wǎng)絡(luò)的正常運行。針對這個問題,我們在分析網(wǎng)絡(luò)實際情況的基礎(chǔ)上,選擇恰當(dāng)?shù)牧髁靠刂品椒▽W(wǎng)絡(luò)流量進行有效控制,促使中小型網(wǎng)絡(luò)資源得到合理利用。
參考文獻:
[1]鄭林江.基于交換機流量和網(wǎng)絡(luò)線路的監(jiān)控系統(tǒng)[J].計算機應(yīng)用,2009(S2):18-19.
[2]胡俊,程瑾.網(wǎng)絡(luò)流量管理控制技術(shù)在校園網(wǎng)的應(yīng)用研究[J].中國教育信息化,2009(21):58-59.
[3]牛軍,余萍萍,李思恩.校園網(wǎng)流量控制初探[J].中國教育信息化,2009(04):152-153.
[4]劉磊,李聞天,肖.校園網(wǎng)中P2P應(yīng)用的管理策略及流量監(jiān)控初探[J].昆明理工大學(xué)學(xué)報(理工版),2008(03):48-49.
關(guān)鍵詞:網(wǎng)絡(luò)服務(wù)器;流量分析;流量監(jiān)控
中圖分類號:TP393 文獻標(biāo)識碼:A文章編號:1007-9599 (2010) 05-0000-02
Network Server Traffic Analysis
Zhu Ye
(TravelSky Technology Limited,Beijing100029,China)
Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.
KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control
一、前言
今天的數(shù)據(jù)網(wǎng)絡(luò)給我們的生活、工作和人與人之間的溝通帶來了極大的方便,網(wǎng)絡(luò)業(yè)務(wù)日趨豐富,網(wǎng)絡(luò)流量高速增長。同時,網(wǎng)絡(luò)運營商之間的競爭也逐漸激烈,以高投資為特征,追求簡單規(guī)模擴張的粗放型競爭模式已經(jīng)不適應(yīng)當(dāng)前的形式。挖掘現(xiàn)有網(wǎng)絡(luò)資源潛力,控制網(wǎng)絡(luò)互聯(lián)成本,提供有吸引力的增值業(yè)務(wù),提高網(wǎng)絡(luò)運維水平成為在激烈競爭中的制勝策而要實現(xiàn)這些,都離不開可靠、有效的網(wǎng)絡(luò)流量監(jiān)控的有力支撐。
二、網(wǎng)絡(luò)流量監(jiān)控和分析的意義
用戶現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)在長期的網(wǎng)絡(luò)流量分析方面存在不足。主要表現(xiàn)在如下方面:
(一)長期的網(wǎng)絡(luò)和應(yīng)用問題分析能力不足
現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)無法長期的紀錄網(wǎng)絡(luò)和應(yīng)用的運行狀態(tài),無法長期的保存網(wǎng)絡(luò)流量信息,在出現(xiàn)網(wǎng)絡(luò)或應(yīng)用問題時,不能為網(wǎng)絡(luò)技術(shù)人員提供有效的信息依據(jù),問題往往是依靠網(wǎng)絡(luò)技術(shù)人員通過推斷來分析,這樣網(wǎng)絡(luò)問題的分析效率很低,同時很難得到確實的分析結(jié)論。
(二)缺乏對網(wǎng)絡(luò)和應(yīng)用間歇性問題的分析能力
網(wǎng)絡(luò)或應(yīng)用可能出現(xiàn)間歇性故障,這種故障的出現(xiàn)一般很難判斷,在出現(xiàn)后很難分析其產(chǎn)生原因,而再次出現(xiàn)的時間無法確定,因此難以解決,好像網(wǎng)絡(luò)中存在一個不定時的炸彈,使用戶網(wǎng)絡(luò)和應(yīng)用時刻處于危險之中。
(三)對網(wǎng)絡(luò)安全問題的分析能力不足
在發(fā)生網(wǎng)絡(luò)安全問題時,缺乏有效的監(jiān)控分析手段,導(dǎo)致網(wǎng)絡(luò)的安全性降低,例如蠕蟲病毒的爆發(fā),應(yīng)該能夠?qū)θ湎x病毒的傳播情況進行有效的分析。
三、網(wǎng)絡(luò)流量分析內(nèi)容
流量分析系統(tǒng)主要從帶寬的網(wǎng)絡(luò)流量分析、網(wǎng)絡(luò)協(xié)議流量分析、基于網(wǎng)段的業(yè)務(wù)流量分析、網(wǎng)絡(luò)異常流量分析、應(yīng)用服務(wù)異常流量分析等五個方面對網(wǎng)絡(luò)系統(tǒng)進行綜合流量分析。
(一)帶寬的網(wǎng)絡(luò)流量分析
復(fù)雜的網(wǎng)絡(luò)系統(tǒng)上面,不同的應(yīng)用占用不同的帶寬,重要的應(yīng)用是否得到了最佳的帶寬?它占的比例是多少?隊列設(shè)置和網(wǎng)絡(luò)優(yōu)化是否生效?通過基于帶寬的網(wǎng)絡(luò)流量分析會使其更加明確。工具主要有MRTG等,它是一個監(jiān)控網(wǎng)絡(luò)鏈路流量負載的工具軟件, 它通過snmp協(xié)議從設(shè)備得到設(shè)備的流量信息,并將流量負載以包含PNG格式的圖形的HTML 文檔方式顯示給用戶,以非常直觀的形式顯示流量負載。
(二)網(wǎng)絡(luò)協(xié)議流量分析
對網(wǎng)絡(luò)流量進行協(xié)議劃分,真對不同的協(xié)議我們進行流量監(jiān)控和分析,如果某一個協(xié)議在一個時間段內(nèi)出現(xiàn)超常暴漲,就有可能是攻擊流量或蠕蟲病毒出現(xiàn)。Cisco NetFlow V5可以根據(jù)不同的協(xié)議對網(wǎng)絡(luò)流量進行劃分,對不同協(xié)議流量進行分別匯總。
(三)基于網(wǎng)段的業(yè)務(wù)流量分析
流量分析系統(tǒng)可以針對不同的VLAN來進行網(wǎng)絡(luò)流量監(jiān)控,大多數(shù)組織,都是不同的業(yè)務(wù)系統(tǒng)通過VLAN來進行邏輯隔離的,所以可以通過流量分析系統(tǒng)針對不同的VLAN 來對不同的業(yè)務(wù)系統(tǒng)的業(yè)務(wù)流量進行監(jiān)控。Cisco NetFlow V5可以針對不同的VLAN進行流量監(jiān)控。
(四)網(wǎng)絡(luò)異常流量分析
異常流量分析系統(tǒng),支持異常流量發(fā)現(xiàn)和報警,能夠通過對一個時間窗內(nèi)歷史數(shù)據(jù)的自動學(xué)習(xí),獲取包括總體網(wǎng)絡(luò)流量水平、流量波動、流量跳變等在內(nèi)的多種網(wǎng)絡(luò)流量測度,并自動建立當(dāng)前流量的置信度區(qū)間作為流量異常監(jiān)測的基礎(chǔ)。能把焦點放在組織的核心業(yè)務(wù)上。通過積極主動鑒定和防止針對網(wǎng)絡(luò)的安全威脅,保證了服務(wù)水平協(xié)議(SLA)并且改進顧客服務(wù), 從而為組織節(jié)約成本。異常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平臺、PeakFlow Traffic流量管理平臺等。
(五)應(yīng)用服務(wù)異常流量分析
當(dāng)應(yīng)用層出現(xiàn)異常流量時,通過IDS&IPS的協(xié)議分析、協(xié)議識別技術(shù)可以對應(yīng)用層進行深層的流量分析,并通過IPS的安全防護技術(shù)進行反擊。
四、網(wǎng)絡(luò)流量控制解決方案建議
對于目前運營商對網(wǎng)絡(luò)流量控制的需要,論文推薦的流量控制解決方案構(gòu)架是:全網(wǎng)集中監(jiān)視+重點控制。全網(wǎng)集中監(jiān)視反映的是對整個網(wǎng)絡(luò)的性能監(jiān)視和分析。重點控制是在網(wǎng)絡(luò)中的關(guān)鍵位置部署監(jiān)控探針,在網(wǎng)絡(luò)中心設(shè)置管理系統(tǒng),以實現(xiàn)運營商在遠程對重點地區(qū)進行更加細致的監(jiān)視和控制作用。
(一)監(jiān)控探針的放置點建議
國際出口、網(wǎng)絡(luò)互聯(lián)端口、骨干網(wǎng)的重要中繼、重要城市的城域網(wǎng)出口等位置。
(二)全網(wǎng)集中監(jiān)視主要實現(xiàn)的功能
實時監(jiān)測網(wǎng)絡(luò)狀況。能實時獲得網(wǎng)絡(luò)的當(dāng)前運行狀況,減輕運維人員工作負擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時自動告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測。
合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)。通過對網(wǎng)絡(luò)流量的監(jiān)視、數(shù)據(jù)采集和分析,給出詳細的鏈路和節(jié)點流量分析報告,獲得流量分布和流向分布、報文特性和協(xié)議協(xié)分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
引導(dǎo)提供網(wǎng)絡(luò)增值業(yè)務(wù)。通過對業(yè)務(wù)占用帶寬的分布、業(yè)務(wù)會話的統(tǒng)計分析,能夠了解和分析網(wǎng)絡(luò)特性和用戶使用偏好,引導(dǎo)開發(fā)和規(guī)劃新的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)平臺,進行增值業(yè)務(wù)的拓展和市場宣傳,引導(dǎo)用戶需求。
靈活的資費標(biāo)準。通過對用戶上網(wǎng)時長、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站的數(shù)據(jù)分析,擺脫目前單一的包月制,實現(xiàn)基于時間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的資費標(biāo)準。
(三)重點控制實現(xiàn)的功能包括
提供主動的控制功能。不僅僅局限于對網(wǎng)絡(luò)流量狀況的獲得,還能夠提供基于網(wǎng)絡(luò)流量監(jiān)測系統(tǒng)GATE 1000硬件平臺和業(yè)界領(lǐng)先算法的流量控制功能,主動改進網(wǎng)絡(luò)服務(wù)。
滿足重點監(jiān)控需要。可以提供豐富的監(jiān)控特征參數(shù),可以進行靈活的復(fù)合設(shè)定,全面滿足運營商需要,也可以通過定制來實現(xiàn)特定要求。
降低互聯(lián)互通成本。獲得重點出口中繼鏈路的利用率、用戶和協(xié)議分布、源和目的網(wǎng)段間的流量分布和趨勢,提供運營和互聯(lián)成本分析。為網(wǎng)絡(luò)互通、租用中繼以及選擇商業(yè)戰(zhàn)略伙伴決策時提供科學(xué)依據(jù),降低成本。
實現(xiàn)區(qū)分服務(wù),保證服務(wù)質(zhì)量。流量監(jiān)控獲得的數(shù)據(jù),可進行高低優(yōu)先級客戶的網(wǎng)絡(luò)資源占用率分析、服務(wù)質(zhì)量的監(jiān)測。通過資費政策的調(diào)節(jié)、業(yè)務(wù)等級的區(qū)分、在中繼線路上實施流量控制,優(yōu)先保證高優(yōu)先客戶的服務(wù)質(zhì)量。
網(wǎng)絡(luò)安全和抵御DOS攻擊。通過連接會話數(shù)的跟蹤,源目的地址對的分析,TCP流的分析,能夠及時發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量和異常連接,偵測和定位網(wǎng)絡(luò)潛在的安全問題和攻擊行為,保障網(wǎng)絡(luò)安全。
五、IPFIX與PSAMP標(biāo)準
IPFIX(IP Flow Information Export,IP流動信息輸出)是IETF的技術(shù)人員2004年才制訂的一項規(guī)范,使得網(wǎng)絡(luò)中流量統(tǒng)計信息的格式趨于標(biāo)準化。該協(xié)議工作于任何廠商的路由器和管理系統(tǒng)平臺之上,并用于輸出基于路由器的流量統(tǒng)計信息。
IPFIX定義的格式為Cisco的NetFlow Version 9數(shù)據(jù)輸出格式作為基礎(chǔ),可使IP流量信息從一個輸出器(路由器或交換機)傳送到另一個收集器。因為IPFIX具有很強的可擴展性,因此網(wǎng)絡(luò)管理員們可以自由地添加或更改域(特定的參數(shù)和協(xié)議),以便更方便地監(jiān)控IP流量信息。使用模板的方便之處在于網(wǎng)管和廠商不必為了用戶能夠查看流量統(tǒng)計信息,而每次都要更換軟件
為了完整地輸出數(shù)據(jù),路由器一般以七個關(guān)鍵域來表示每股網(wǎng)絡(luò)流量:源IP地址、目的地IP地址、源端口、目的端口、三層協(xié)議類型、服務(wù)類型字節(jié)、輸入邏輯接口。如果不同的包中所有的七個關(guān)鍵域都匹配,那么所有這些包都將被視為屬于同一股流量。此外,一些系統(tǒng)中還有為了網(wǎng)絡(luò)統(tǒng)計進行跟蹤而附加的非關(guān)鍵域,包括源IP掩碼、目的地IP掩碼、源地址自治系統(tǒng)(autonomous system)、目的地自治系統(tǒng)、TCP flag、目的地接口以及IP next-hop等。按照IPFIX標(biāo)準,如果網(wǎng)絡(luò)操作人員想以附加的非關(guān)鍵域來描述包,那么基于模板的格式會在輸出包的報頭之后插入一個新域,并新增新的模板記錄。
六、網(wǎng)絡(luò)監(jiān)測系統(tǒng)框架
采用不同的檢測方法,通過分布式監(jiān)測方式對通過高速IP網(wǎng)絡(luò)的數(shù)據(jù)包進行統(tǒng)計和分析。采集服務(wù)器搜集的數(shù)據(jù)包及統(tǒng)計數(shù)據(jù)被傳送到綜合服務(wù)器,經(jīng)合并處理后存入數(shù)據(jù)庫,并進行進一步的分析處理。在這個過程中,可應(yīng)用Netflow v9、IPFIX以及PSAMP等標(biāo)準和協(xié)議,實現(xiàn)對采集數(shù)據(jù)的編碼與傳輸。與通常的SNMP、Netflow及其它網(wǎng)管標(biāo)準不同的是,該框架采取了PSAMP標(biāo)準及技術(shù),在不降低監(jiān)測與分析效果的情況下,盡量減少檢測數(shù)據(jù)量。
整個框架從總體看,可分為網(wǎng)絡(luò)流量數(shù)據(jù)采集和網(wǎng)絡(luò)數(shù)據(jù)分析兩大部分。
網(wǎng)絡(luò)流量數(shù)據(jù)采集:為適應(yīng)不斷發(fā)展的高速網(wǎng)絡(luò)應(yīng)用,框架中采用了分布式網(wǎng)絡(luò)流量數(shù)據(jù)采集方案,IP流數(shù)據(jù)可從不同的設(shè)備以不同的方法來獲取。利用路由器/交換機的數(shù)據(jù)流量采集功能或是從其他IPFIX/PSAMP數(shù)據(jù)采集設(shè)備,也可直接從網(wǎng)絡(luò)接口卡等網(wǎng)絡(luò)數(shù)據(jù)包攝入設(shè)備來得到網(wǎng)絡(luò)數(shù)據(jù),然后再以不同的標(biāo)準,最終由網(wǎng)絡(luò)流量數(shù)據(jù)采集服務(wù)器將所有傳來的不同格式的數(shù)據(jù)集中。
為體現(xiàn)現(xiàn)代計算機應(yīng)用中的兼容性,框架中對網(wǎng)絡(luò)硬件接口的應(yīng)用方面,突出了其應(yīng)用多樣性。這樣,在原有硬件設(shè)備的基礎(chǔ)上,如普通的網(wǎng)卡(NIC)、基于硬件時間戳的Endace DAG卡或者其它的專用FPGA網(wǎng)絡(luò)接口設(shè)備,都可以在libpcap、winpcap等庫的支持下,由BPF虛擬處理器作為缺省的包捕獲工具。在包捕獲的軟件實現(xiàn)上,采用了多線程機制,使用不同形式的數(shù)據(jù)隊列和數(shù)據(jù)緩沖設(shè)備,以應(yīng)對突發(fā)的大量數(shù)據(jù)包。
接下來對捕獲的數(shù)據(jù)包,分別交由兩種方法和途徑進行處理:在Netflow標(biāo)準支持下,同步完成記帳業(yè)務(wù)。在這種操作模式下,傳送的總的數(shù)據(jù)量可以被統(tǒng)計下來。數(shù)據(jù)分析模塊利用PSAMP協(xié)議,根據(jù)不同的具體需求采取不同的取樣算法,對數(shù)據(jù)包進行過濾和抽取以進行分析處理。這樣就可以根據(jù)實際的需要來進行選擇,以減少傳輸和分析處理的數(shù)據(jù)量。
網(wǎng)絡(luò)數(shù)據(jù)分析:對采集來的網(wǎng)絡(luò)流量數(shù)據(jù),根據(jù)不用的應(yīng)用要進行詳細的分析處理。框架中這個部分的設(shè)計采用以SQL數(shù)據(jù)庫為中心的分布式數(shù)據(jù)集中和分析的方法。
以DBMS為中心的操作可以獲得更好的分析樣本以及統(tǒng)計粒度。此外,為便于網(wǎng)絡(luò)管理人員的操作,框架中應(yīng)用基于Web的直觀的、圖形化的管理界面,所有數(shù)據(jù)輸出都以腳本語言(XML)的形式,直接在Web頁面中顯示。管理人員可以實時觀察網(wǎng)絡(luò)運行狀況,還可以對歷史數(shù)據(jù)進行瀏覽、分析,同時還可這些實時數(shù)據(jù)傳送到其他應(yīng)用系統(tǒng),如分布式入侵檢測系統(tǒng)、網(wǎng)絡(luò)跟蹤等。
七、結(jié)束語
總的來說,在網(wǎng)絡(luò)設(shè)備上配置網(wǎng)絡(luò)流量監(jiān)控系統(tǒng),對網(wǎng)絡(luò)流量進行分析和監(jiān)控,好處還是顯而易見的。特別是對于網(wǎng)絡(luò)流量負荷比較大的網(wǎng)絡(luò)。可以有效的節(jié)省網(wǎng)絡(luò)帶寬和處理資源。也可以作為計費或者流量控制或者網(wǎng)絡(luò)規(guī)劃的參考。
參考文獻
[1]謝希仁.計算機網(wǎng)絡(luò).大連理工大學(xué)出版社
關(guān)鍵詞 流量;分類;檢測;統(tǒng)計;分析
中圖分類號 TN91 文獻標(biāo)識碼 A 文章編號 1674-6708(2016)166-00104-01
近年來寬帶網(wǎng)絡(luò)一直保持高速增長,光纖到桌面已基本實現(xiàn),但網(wǎng)絡(luò)中巨大的流量會對網(wǎng)絡(luò)產(chǎn)生怎樣的影響,這些流量是如何構(gòu)成的,始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營指標(biāo)等、當(dāng)然最重要的還有數(shù)據(jù)的安全性。
不同的網(wǎng)絡(luò),不同觀察點,不同時間的網(wǎng)絡(luò)流量因網(wǎng)絡(luò)規(guī)模,業(yè)務(wù)種類,用戶構(gòu)成和使用習(xí)慣的不同而不同,甚至受突發(fā)事件的影響,網(wǎng)絡(luò)流量在體量規(guī)模,構(gòu)成成分和比例上都有所不同。一個好的流量分類分析系統(tǒng),應(yīng)滿足部署位置上的可移植性,流量規(guī)模的可伸縮性,時間演進的自適應(yīng)性。這時系統(tǒng)不僅需要采用先進的分類技術(shù),也需要代表性的訓(xùn)練數(shù)據(jù)集來確定系統(tǒng)運行參數(shù)。數(shù)據(jù)集主要采用2種方式:PCAP格式和NETFLOW格式,前者捕獲的是包級記錄,后者則是關(guān)于流級得統(tǒng)計信息記錄。
寬帶流量的分析和檢測首先要進行流量的采集,這項工作可以通過交換機或路由器的鏡像端口實現(xiàn),也可以通過光纜分光的方式實現(xiàn)。對捕獲的數(shù)據(jù)進行計算和統(tǒng)計,并把統(tǒng)計數(shù)據(jù)寫入數(shù)據(jù)庫,定期形成網(wǎng)絡(luò)性能和流量參數(shù)的報表,用作分析的依據(jù),在形成足夠數(shù)量的報表數(shù)據(jù)后,可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢,判斷網(wǎng)絡(luò)是否存在瓶頸,并依據(jù)經(jīng)驗,形成經(jīng)驗數(shù)據(jù)庫,使網(wǎng)管系統(tǒng)具備學(xué)習(xí)的基礎(chǔ)和能力。在出現(xiàn)告警或異常情況時,可用來分析對比,判斷是否出現(xiàn)了網(wǎng)絡(luò)的攻擊和入侵,判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征,足夠數(shù)量的數(shù)據(jù)報表也可以指導(dǎo)各類應(yīng)急預(yù)案的制定,在出現(xiàn)異常情況時可按照事先擬定的規(guī)則進行處理。
對于寬帶流量的分析和分類,系統(tǒng)需要進行統(tǒng)計模型的學(xué)習(xí),統(tǒng)計模型的學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法。所謂的監(jiān)督學(xué)習(xí)是需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集合作為經(jīng)驗知識,對寬帶流量的參數(shù)和算法進行訓(xùn)練;而非監(jiān)督學(xué)習(xí)則不需要使用已經(jīng)標(biāo)注過的數(shù)據(jù)集進行訓(xùn)練,只是根據(jù)相關(guān)算法對寬帶流量集進行匯聚。對數(shù)據(jù)集的訓(xùn)練過程中需要由經(jīng)驗豐富的專家參與,并進行大量的基礎(chǔ)數(shù)據(jù)分析工作,網(wǎng)絡(luò)經(jīng)驗數(shù)據(jù)集是流量分析的重要構(gòu)成因素。在實際分析過程中,由于寬帶核心網(wǎng)絡(luò)的流量巨大,所以高性能的預(yù)處理路由器和大規(guī)模刀片服務(wù)器必不可少。為了提高分析效率,可以只分析單向流量,并且在預(yù)處理過程中將IP數(shù)據(jù)報文的載荷去掉。但由于各種網(wǎng)絡(luò)協(xié)議不斷演進,加密的流量不斷增加,各種新應(yīng)用不斷出現(xiàn),網(wǎng)絡(luò)數(shù)據(jù)集的標(biāo)注也變得越來越困難。
網(wǎng)絡(luò)流量的分類和分析中對于標(biāo)準協(xié)議的分析最為準確,可根據(jù)TIP/IP協(xié)議簇中標(biāo)準的服務(wù)端口號對流量報文進行匹配,并根據(jù)端口號的不同將流量對應(yīng)為不同的應(yīng)用。非標(biāo)準協(xié)議可以使用DPI(深度包檢測)在應(yīng)用層對流量進行特征字符串的分析匹配,由于不同的應(yīng)用在TCP/UDP的數(shù)據(jù)包中包含特征字符串,因此在掌握的不同網(wǎng)絡(luò)應(yīng)用的特征字符串后,可以將網(wǎng)絡(luò)流量精確的分類和匹配,缺點是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡(luò)應(yīng)用的特征字符串難找易變,代表性差及加密度高等問題,也導(dǎo)致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡(luò)應(yīng)用的發(fā)展一直是不斷演變的矛盾。
基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性,標(biāo)準的通信協(xié)議易于掌握,私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應(yīng)用則會有較多的變化,或進行加密使用就會影響流量分析的效果,甚至無法識別。有時同一應(yīng)用軟件的不同版本間也會出現(xiàn)不同的流量特征,即版本的變化會造成協(xié)議特征的變化。另外,網(wǎng)絡(luò)中的單向流量、數(shù)據(jù)的時延、抖動都會對流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點和痛點。
運營商的骨干網(wǎng)絡(luò)逐漸向扁平化發(fā)展,網(wǎng)絡(luò)出口的數(shù)量增加和結(jié)構(gòu)日趨復(fù)雜,及動態(tài)路由算法的大量使用,使得網(wǎng)絡(luò)流量在多條鏈路或多個不同ISP之間動態(tài)調(diào)配,導(dǎo)致在某個觀察點只能得到部分流量,這對于依賴雙向流量特征的分析方法無法實施。基于P2P的應(yīng)用目前也在不斷擴大,P2P的發(fā)展使得應(yīng)用和傳輸分離,應(yīng)用端點和傳輸分離,打破了原有的B/S或C/S的傳統(tǒng)傳輸模式,多源頭并發(fā)傳輸使得流量特征模糊化,使得數(shù)據(jù)采集的有效性無法保障。還有一些網(wǎng)絡(luò)應(yīng)用為了逃避被檢測到,常常采用已知協(xié)議的方法,例如FTP、HTTP、POP3等,由于IP地址的區(qū)分,冒用已知協(xié)議并不會影響正常網(wǎng)絡(luò)通信,但給流量分析帶來很大難度。
寬帶網(wǎng)絡(luò)流量分析不僅可以使我們可以清楚的知道網(wǎng)絡(luò)流量的內(nèi)容,還可以為網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)優(yōu)化、運營管理、網(wǎng)絡(luò)安全保障提供依據(jù)和手段。同時,網(wǎng)絡(luò)應(yīng)用在不斷推陳出新,各種私有化的協(xié)議和加密方法不斷出現(xiàn),且由于用戶接入帶寬的不斷提高,核心網(wǎng)流量呈幾何速度增長,這些因素在客觀上也大大增加了網(wǎng)絡(luò)流量分析的難度和成本。現(xiàn)有的網(wǎng)絡(luò)流量分析再次面臨挑戰(zhàn),網(wǎng)絡(luò)流量的分析研究工作需要不斷深入進行。
參考文獻
[1]Nader F.Mir.計算機與通信網(wǎng)絡(luò)[M].潘淑文,等,譯.北京:中國電力出版社,2010,1.
[2]余浩,徐明偉.P2P流檢測技術(shù)研究綜述[J].清華大學(xué)學(xué)報,2009(4):610-620.
[關(guān)鍵詞]網(wǎng)絡(luò)流量流(Flow)
中圖分類號:TP3文獻標(biāo)識碼:A文章編號:1671-7597(2009)1210099-01
隨著IT、網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展和企業(yè)信息化程度的不斷提高,各種網(wǎng)絡(luò)應(yīng)用越來越豐富。因此,如何保證網(wǎng)絡(luò)的可用性和關(guān)鍵業(yè)務(wù)的暢通運行,對網(wǎng)絡(luò)正常健康的發(fā)展將起到至關(guān)重要的作用。維持正常網(wǎng)絡(luò)運轉(zhuǎn),就需要有相應(yīng)的技術(shù)手段,明確了解網(wǎng)絡(luò)上各種應(yīng)用的帶寬占用情況,分析用戶流量行為,以便合理的規(guī)劃和分配網(wǎng)絡(luò)帶寬,有效地保障關(guān)鍵業(yè)務(wù)應(yīng)用的正常運行。尤其是在發(fā)生流量異常的同時,迅速有效的分離和抑制異常流量,對非法業(yè)務(wù)實行遏止,使網(wǎng)絡(luò)流量能保持其健壯性。
常用的網(wǎng)絡(luò)流量和協(xié)議分析有四種方法:
一、基于SNMP
MRTG是最常使用并且最典型的一種基于SNMP的產(chǎn)品。其安裝過程非常簡便,其結(jié)果輸出采用Web頁面方式,因此需要在相應(yīng)的平臺上安裝系統(tǒng),如NT上需要安裝IIS,UNIX則需要安裝apache。MRTG通常被網(wǎng)絡(luò)管理人員用來收集網(wǎng)絡(luò)節(jié)點端口流量統(tǒng)計信息,是典型的監(jiān)視網(wǎng)絡(luò)鏈路流量負荷的工具。MRTG的定制非常方便,一般可以在網(wǎng)絡(luò)的重要節(jié)點端口和故障發(fā)生頻繁的網(wǎng)絡(luò)設(shè)備處利用MRTG進行監(jiān)視,這些監(jiān)視包括:關(guān)鍵鏈路流量和關(guān)鍵節(jié)點性能狀況。
MRTG的優(yōu)點是安裝、定制簡單,結(jié)果采用Web方式輸出方便實用,而且是免費產(chǎn)品,在世界各地有很多的開發(fā)人員不斷對其升級和改進。MRTG的缺點是功能較單一,分析功能不強,其收集到的流量信息是端口的統(tǒng)計信息,不能用于復(fù)雜的分析。
二、基于網(wǎng)絡(luò)探針(Probe)
流量探針是一種用來獲取網(wǎng)絡(luò)流量的硬件設(shè)備,使用時將它串接在需要捕捉流量的鏈路中,通過分流鏈路上的數(shù)字信號而獲取流量信息,分析的結(jié)果存儲在探針的內(nèi)存或磁盤之中,具體的前端展現(xiàn)依賴與之對應(yīng)的專門軟件。因此具有效率高、可靠性高、高速運行不丟包的特點。流量探針安裝非常方便,可以實時將RMON II的流量信息完全記錄下來,這對分析網(wǎng)絡(luò)的性能和故障很有價值。如果將流量探針串接到Catalyst系列交換機端口,開啟端口映射(Span Port)功能,將各個端口的流量映射到安裝了流量探針的端口,則僅通過對一個端口的監(jiān)測就可以收集到多個端口的流量信息。端口映射(Span Port)是由Cisco公司提出的概念,在其Catalyst系列設(shè)備上都可以實現(xiàn)。其它廠商如Foundry公司的交換機也提供端口映射的功能,但現(xiàn)在還不支持跨交換機的映射。
流量探針的安裝很簡單,可以用于高速(千兆)的網(wǎng)絡(luò)而不影響網(wǎng)絡(luò)性能,流量探針可以實時捕捉包,但其成本高,不同的物理鏈路,因其采樣方法也不同,而需要使用不同種探針。
三、基于實時抓包分析
基于實時抓包的分析技術(shù)提供詳細的從物理層到應(yīng)用層的數(shù)據(jù)分析。但該方法主要側(cè)重于協(xié)議分析,而非用戶流量訪問統(tǒng)計和趨勢分析,僅能在短時間內(nèi)對流經(jīng)接口的數(shù)據(jù)包進行分析,無法滿足大流量、長期的抓包和趨勢分析的要求。常見的產(chǎn)品有NAI的Sniffer Pro,免費的tcpdump、ethereal等。
通過端口映射Sniffer Portable可以實時采集多種數(shù)據(jù)并保存到數(shù)據(jù)庫中,同時可以通過其分析部件實時監(jiān)視和顯示這些數(shù)據(jù)的統(tǒng)計信息。利用Sniffer Portable的數(shù)據(jù)捕捉功能可以在短時間內(nèi)對網(wǎng)絡(luò)流量進行實時采集,這些采集到的流量數(shù)據(jù)可以包含整個包的信息,也可以只是包的一部分。利用捕獲到的包可以進行協(xié)議分析、數(shù)據(jù)重組(如重組E-mail)等工作。對包的解碼和分析是Sniffer工具的一個最有特色的,也是最強大的功能。
當(dāng)不采用廠家的特殊硬件系統(tǒng),Sniffer Portable只能用于100Mbit/s
及以下速率鏈路,網(wǎng)絡(luò)中可以安裝多個Sniffer Portable,但它們都是相互獨立的,分別有各自的數(shù)據(jù)庫,收集到的數(shù)據(jù)獨立存放,這對于整個網(wǎng)絡(luò)的分析帶來一定難度,因此它特別適合小范圍內(nèi)的性能維護和分析;Sniffer Portable分析能力特別強大,可以解析近370種協(xié)議。當(dāng)要求對更高速(GE或POS 2.5Gbit/s)的鏈路采集流量,或者是全面收集大型網(wǎng)絡(luò)的流量時,可以采用Sniffer的硬件產(chǎn)品及其分布式系統(tǒng),但其價格昂貴。
四、基于流(Flow)的流量分析
目前基于流的分析技術(shù)主要有兩種:sFlow和NetFlow。sFlow是由InMon、HP和Foundry Networks聯(lián)合開發(fā)的一種網(wǎng)絡(luò)監(jiān)測技術(shù),它采用數(shù)據(jù)流隨機采樣技術(shù),可以適應(yīng)超大網(wǎng)絡(luò)流量(如大于2.5Gbps)環(huán)境下的流量分析,讓用戶詳細、實時地分析網(wǎng)絡(luò)傳輸流的性能、趨勢和存在的問題。目前,僅有HP、Foundry和Extreme Networks等廠商的部分型號的交換機支持sFlow。NetFlow[13]是Cisco公司開發(fā)的技術(shù),它既是一種交換技術(shù),又是一種流量分析技術(shù),同時也是業(yè)界主流的計費技術(shù)之一。它可以回答有關(guān)IP流量的如下問題:誰在什么時間、在什么地方、使用何種協(xié)議、訪問誰、具體的流量是多少等問題。NetFlow因為其技術(shù)和Cisco網(wǎng)絡(luò)產(chǎn)品的市場占有率優(yōu)勢而成為當(dāng)今主流的流量分析技術(shù)之一。NetFlow的配置非常方便、安裝簡單,除了需要在路由器上配置之外,只需要一臺UNIX工作站作為流的收集工作站,所有路由器或交換機上發(fā)送的NetFlow流都將送到此工作站集中,方便處理和分析。NetFlow流信息量特別豐富,可以為流量分布、業(yè)務(wù)分布等性能分析提供最充足的數(shù)據(jù),但需要消耗一定的路由器資源(CPU和內(nèi)存)且不能實時捕捉數(shù)據(jù)包。根據(jù)NetFlow的特點可知,其非常適用于大型的網(wǎng)絡(luò),和流量探針、Sniffer等比較,NetFlow成本最低,實施最方便,而且不受速率的限制,是數(shù)據(jù)流量采集的發(fā)展方向。
基于Flow的分析方法將成為趨勢,在上面所提到的四種方法中,基于Flow的分析方法應(yīng)該是網(wǎng)絡(luò)流量分析技術(shù)的趨勢。這是它的技術(shù)實現(xiàn)理論所決定的。
參考文獻:
[1]朱士瑞,基于小波分析的異常檢測系統(tǒng)[D].江蘇大學(xué)碩士學(xué)位論文,2006.
[2]陳寶鋼、張凌、許勇,基于P2P應(yīng)用的網(wǎng)絡(luò)流量特征分析[J].計算機應(yīng)用,2005,Vol.27,No.3.
[3]顧榮杰、晏蒲柳、鄒濤,基于統(tǒng)計方法的骨干網(wǎng)異常流量建模與預(yù)警方法研究[J].計算機科學(xué),2006,Vol.33,No.2.
關(guān)鍵詞:校園網(wǎng);流量異常分類;異常檢測與處理;流量清洗方法
中圖分類號: TP393 文獻標(biāo)識碼:A
1 引 言
隨著校園網(wǎng)絡(luò)規(guī)模不斷擴大與復(fù)雜化,校園網(wǎng)絡(luò)服務(wù)同時呈現(xiàn)多樣化和復(fù)雜化,對網(wǎng)絡(luò)性能的要求也越來越高。校園網(wǎng)中有教育教學(xué)信息管理系統(tǒng)、網(wǎng)上教學(xué)、視頻會議、電子圖書、電子郵件服務(wù)、網(wǎng)上購物、網(wǎng)上游戲等各種應(yīng)用諸全,稱得上多業(yè)務(wù)網(wǎng)絡(luò),基本上實現(xiàn)與國際互聯(lián)網(wǎng)的完全接軌。多種應(yīng)用基于p2p 、流媒體技術(shù)、云運算等新型技術(shù),需占用大量的校園網(wǎng)絡(luò)有限資源。同時,校園網(wǎng)絡(luò)安全面臨著嚴峻挑戰(zhàn),網(wǎng)絡(luò)流量異常時常發(fā)生,特別是DDOS、蠕蟲、惡意代碼、網(wǎng)絡(luò)掃描及黑客攻擊越來越多,這對網(wǎng)絡(luò)性能、安全管理及網(wǎng)管人員素養(yǎng)提出更高的要求。由于學(xué)校教學(xué)作息時間的規(guī)律性決定校園網(wǎng)絡(luò)行為特征及日常運行也具有規(guī)律,因此正常情況下校園網(wǎng)絡(luò)流量變化也具有規(guī)律性,這就使得網(wǎng)絡(luò)流量異常管理具有規(guī)律可循。本文針對校園網(wǎng)絡(luò)情況首先闡述了流量異常概念、分類;然后對校園網(wǎng)中引起各種流量異常的原因進行分析,并對各類異常提出了相應(yīng)的解決辦法;接著針對目前解決網(wǎng)絡(luò)攻擊異常在方法上存在的不足,設(shè)計出一種異常流量檢測、清洗與回注的解決模型,并對其關(guān)鍵算法進行介紹,最后進行小結(jié)。2 校園網(wǎng)異常流量檢測及處理辦法2.1 流量異常與流量異常
網(wǎng)絡(luò)流量是單位時間內(nèi)通過網(wǎng)絡(luò)設(shè)備或傳輸介質(zhì)的信息量(報文數(shù)、包數(shù)或字節(jié)數(shù))[1-2]。只有知道網(wǎng)絡(luò)正常情況下的行為特征,我們才能判斷什么是流量異常。我們把有限的帶寬資源承載著非預(yù)期的流量,定義為異常流量。異常流量的存在是網(wǎng)絡(luò)流量產(chǎn)生異常的重要情形。
2.2 校園網(wǎng)流量異常產(chǎn)生原因及分類
流量異常一般是指非用戶正常上網(wǎng)產(chǎn)生的流量,比如病毒、網(wǎng)絡(luò)攻擊等造成的流量異常。在校園中,由于資料的有限,一些熱門服務(wù)如網(wǎng)絡(luò)游戲或其他大量的P2P應(yīng)用等,連接用戶數(shù)過多,使得核心設(shè)備不堪負載而出現(xiàn)異常情況比較頻繁。因此,從校園網(wǎng)絡(luò)用戶群體角度考慮,可把網(wǎng)絡(luò)流量異常分為三類:網(wǎng)絡(luò)故障引起的異常、連接數(shù)異常和網(wǎng)絡(luò)攻擊異常。
1)設(shè)備故障異常。因網(wǎng)絡(luò)設(shè)備自身出現(xiàn)故障而引起流量異常,例如校園網(wǎng)中各類服務(wù)器故障、路由器故障、交換機故障以及網(wǎng)線接口故障等。這些故障引網(wǎng)絡(luò)拓樸結(jié)構(gòu)發(fā)生變化或鏈路中斷,從而引起流量異常。
2) 連接數(shù)異常。各用戶爭奪熱門服務(wù)或重要資源,發(fā)起的對外連接數(shù)過多,造成核心設(shè)備負載過大影響正常流量的使用。例如,網(wǎng)絡(luò)相關(guān)課程教學(xué)中學(xué)生同時訪問某一服務(wù)器;課余時段大量學(xué)生使用P2P服務(wù);還有一年一度的高考招生填報志愿時段,客戶訪問量短期猛增而且不可預(yù)測引起網(wǎng)絡(luò)流量異常等多種情況。
3)網(wǎng)絡(luò)攻擊異常。是指網(wǎng)絡(luò)中出現(xiàn)惡意病毒,對網(wǎng)絡(luò)中某個目標(biāo)進行攻擊時出現(xiàn)的異常[3]。校園網(wǎng)中常見的有蠕蟲病毒、DOS/DDOS攻擊和端口掃描攻擊。例如當(dāng)校園網(wǎng)內(nèi)某臺上網(wǎng)主機感染蠕蟲病毒時,導(dǎo)致該主機瘋狂地進行主機探測,這時網(wǎng)絡(luò)中會出現(xiàn)蠕蟲病毒特征包,網(wǎng)絡(luò)中會大量充斥這種包,從而引起業(yè)務(wù)數(shù)據(jù)丟失,網(wǎng)絡(luò)流量過載,或者網(wǎng)絡(luò)擁塞,是非用戶正常上網(wǎng)產(chǎn)生的流量┮斐!
2.3 流量異常檢測與處理
2.3.1 異常監(jiān)控與檢測
在校園環(huán)境下,由于教學(xué)作息時間具有規(guī)律性,各種服務(wù)群體相對穩(wěn)定,使得正常情況下學(xué)校教學(xué)樓、行政樓、學(xué)生公寓等各區(qū)域網(wǎng)絡(luò)流量也呈現(xiàn)出周期性規(guī)律,因此,校園網(wǎng)絡(luò)管理相對容易。
要解決網(wǎng)絡(luò)流量異常問題,重要的是通過監(jiān)控與檢測發(fā)現(xiàn)異常。網(wǎng)絡(luò)輿情監(jiān)測軟件有很多種,但是主要的流程還是差不多,包括信息采集、信息處理和信息服務(wù)三個流程。建議采用MRTG、Sniffer Pro軟件進行異常流量檢測與監(jiān)控。MRTG[1]也是一個非常有用的網(wǎng)絡(luò)流量監(jiān)控軟件,而且是免費的,應(yīng)用方便;它是利用SNMP協(xié)議(對互連的網(wǎng)絡(luò)設(shè)備進行管理時遵循的標(biāo)準協(xié)議)去偵測指定的運行有SNMP協(xié)議的網(wǎng)絡(luò)設(shè)備,每隔幾分鐘采樣并統(tǒng)計其設(shè)備流量。對于校園網(wǎng)絡(luò)的流量統(tǒng)計與分析,只要在一臺電腦上安裝MRTG軟件并進行相關(guān)設(shè)置,如進行snmpd配置允許mrtg讀取其interface(網(wǎng)絡(luò)接口) 流量數(shù)據(jù),就可得實時可視化結(jié)果(圖1所示),從而使管理員可以方便的進行管理。Sniffer Pro是最著名的網(wǎng)絡(luò)流量分析工具之一,是一個具備完整傳統(tǒng)功能的網(wǎng)絡(luò)故障診斷與流量分析工具,不管是在有線網(wǎng)絡(luò)還是在無線網(wǎng)絡(luò)中,它都能夠給予網(wǎng)管管理人員實時的網(wǎng)絡(luò)監(jiān)視、數(shù)據(jù)包捕獲以及故障診斷分析能力。基于便攜式軟件的解決方案具備最高的性價比,提供的主要功能包括監(jiān)控、報表,捕獲、解碼、專家系統(tǒng)智能分析等。
我們通過觀察實時流量圖,結(jié)合查看日志服務(wù)器就能及時了解校園網(wǎng)的運行狀態(tài),從而采取相應(yīng)措施對網(wǎng)絡(luò)出現(xiàn)的問題進行及時調(diào)整和解除。
2.3.2 流量異常處理方法
解決流量異常就是隨時發(fā)現(xiàn)流量異常,及時定位引起網(wǎng)絡(luò)異常情況的源頭,解除異常或有效地控制異常流量的蔓延,及時有針對性地采取措施,保持網(wǎng)絡(luò)暢通、避免網(wǎng)絡(luò)阻塞,同時合理地分配帶寬,保障主要業(yè)務(wù)的正常開展。通過異常檢測與監(jiān)控發(fā)現(xiàn)異常之后,就可針對不同異常類型采取相應(yīng)措施予以解除。
對于設(shè)備故障異常的檢測與解決方法,通常首先采用Ping、tracert查看網(wǎng)絡(luò)連通性和速度,再結(jié)合查看日志進行定位,最后檢測端口與硬件,一般情況下此類異常問題均可解決。
對于連接數(shù)異常最簡單的方法可采用流量優(yōu)化系統(tǒng)(如Skynet優(yōu)化系統(tǒng)),針對各種服務(wù)調(diào)節(jié)閥值[3]進行限流限速,最好對協(xié)議的連接數(shù)進行控制,直接刪除過多的連接數(shù)或發(fā)送阻斷報文,以保障主要的服務(wù)或重要的客戶流量。
對于網(wǎng)絡(luò)攻擊異常解決方法,主要采用主動預(yù)防和設(shè)備攔截等技術(shù)。安裝監(jiān)視、日志或者其他流量分析系統(tǒng), 攻擊發(fā)生時, 就可很快地診斷出攻擊的類型以及攻擊源,要盡可能地修正已發(fā)現(xiàn)的問題和系統(tǒng)漏洞, 識別、跟蹤或禁止這些機器或網(wǎng)絡(luò)對我們的訪問,如對異常流量的端口流量進行限制;把網(wǎng)絡(luò)分為多個子網(wǎng), 并改變IP 地址和主機名,在拒絕服務(wù)攻擊中, 這種方法是一種較為有效的方法;應(yīng)用包過濾的技術(shù), 配置正確的路由器和防火墻,采用防火墻或網(wǎng)關(guān)等設(shè)備進行攔截;從保障主要業(yè)務(wù)不受影響方面考慮可采用異常流量的清洗與回注技術(shù)。
3 校園網(wǎng)異常流量的清洗與回注技術(shù)
目前面對各種入侵攻擊,傳統(tǒng)的防護手段采用防火墻或路由器等設(shè)備攔截。一方面由于防火墻或路由器等設(shè)備均是基于網(wǎng)絡(luò)層的檢測,而大多數(shù)DDOS攻擊可以采用合法協(xié)議進行攻擊,因此傳統(tǒng)的防護手段無法正確識別并加以防護。另一方面異常流量的攔截往往以犧牲服務(wù)質(zhì)量為代價,用戶正常業(yè)務(wù)受到較大影響。鑒于這些不足,我們針對校園網(wǎng)絡(luò)設(shè)計一種異常流量清洗與回注的解決方案,模型如圖2所示。本方案處理過程包括流量采集模塊、異常流量檢測模塊、業(yè)務(wù)管理模塊、異常流量處理模塊。
1)流量采集模塊:采用流量鏡像或者分光的方式把被保護對象的流量復(fù)制緩存空間,或從主干交換機或核心交換機實時采集流量。
2)流量分析與檢測模塊:對實時流量采用深度數(shù)據(jù)包檢測技術(shù)(DPI),也可以通過分析網(wǎng)絡(luò)設(shè)備輸出的NetFlow/NetStream/SFlow流信息(DFI),從而深入識別隱藏在背景流量中的攻擊報文,識別攻擊類型及時并報告業(yè)務(wù)管理模塊。
圖2 校園網(wǎng)異常流量檢測與清洗模型
3)業(yè)務(wù)管理模塊:控制異常流量處理并報告管理信息:從流量分析與檢測模塊中獲取攻擊信息,通知流量處理開啟攻擊防御;攻擊停止或處理完畢時清除緩沖區(qū)和恢復(fù)相關(guān)狀態(tài)值;針對各種檢測和清洗的各種威脅流量,提供豐富的攻擊日志和報表統(tǒng)計功能,包括攻擊前流量信息、清洗后流量信息、攻擊流量大小、時間和排序等信息以及攻擊趨勢分析等各種報表信息,便于了解網(wǎng)絡(luò)流量純觥
4)流量清洗與回注模塊:發(fā)現(xiàn)攻擊報文時,迅速地將被攻擊用戶的流量牽引到異常流量處理模塊來,采用先進的“并行流過濾”、“智能流量檢測”等技術(shù)對其進行清洗。清洗可采用在線和旁路部署兩種方式。采用旁路部署的方法時,可以實現(xiàn)對流量的按需清洗,在任何情況下都不會影響正常流量。當(dāng)采用在線部署模式下,可以實現(xiàn)實時清洗。清洗之后再通過策略路由、MPLS VPN、GRE VPN等方式將干凈回注給用戶,用戶正常業(yè)務(wù)不受任何影響。
流量清洗與回注算法如下:
步驟1 準備:利用BGPBorder協(xié)議(Border Gateway Protocol,邊界網(wǎng)關(guān)協(xié)議),首先和被保護域的旁路設(shè)備建立BGP Peer。
步驟2 清洗啟動:異常流量檢測系統(tǒng)通過鏡像或者分光的方式把被保護對象的流量復(fù)制過來,按照測試部件中的安全策略基線,判斷是否有攻擊發(fā)生,如果發(fā)現(xiàn)有攻擊發(fā)生,立即進入步驟3
步驟3 清洗與回注:發(fā)生攻擊時,業(yè)務(wù)中心通過BGP協(xié)議向旁路設(shè)備發(fā)送BGP更新路由通告,更新旁路設(shè)備上的路由策略,將流經(jīng)所有旁路設(shè)備上的被保護對象的IP流量動態(tài)地牽引到清洗模塊進行清洗,并把清洗后的“干凈”流量回注給被保護對象。
步驟4清洗結(jié)束:當(dāng)檢測模塊檢測到攻擊停止時,清洗模塊根據(jù)事先設(shè)置好的模式,選擇自動或手動停止?fàn)恳瑮壏啪彺婵臻g,返回步驟2。
4 結(jié)束語
隨著校園網(wǎng)規(guī)模擴大和應(yīng)用的復(fù)雜化,網(wǎng)絡(luò)攻擊異常和連接數(shù)異常較普遍,嚴重影響校園網(wǎng)絡(luò)服務(wù)質(zhì)量和網(wǎng)絡(luò)性能,我們應(yīng)該采用主動檢測、預(yù)防控制和設(shè)備攔截技術(shù)為主要處理手段。本文針對校園網(wǎng)提出的各種處理方法實用便捷,引入的流量清洗與回注方案具有一定的參考價值。在校園網(wǎng)絡(luò)中對于重要的業(yè)務(wù)服務(wù)我們建議啟用流量檢測與清洗方案,目前市場上已有異常流量清洗產(chǎn)品,由于實時清洗對預(yù)存容量與速度要求較高,因此一般以硬件產(chǎn)品為主,我們可以根據(jù)業(yè)務(wù)需要選擇┦褂謾
參考文獻
[1] 史忠植.MRTG 的研究與部署[J].計算機應(yīng)用,2004,24(3).
[2] 郝星文,李懷誠.網(wǎng)絡(luò)流量分析系統(tǒng)的設(shè)計與實現(xiàn)[D].北京:北京郵電大學(xué),2005.
[3] 常莉.淺析校園網(wǎng)絡(luò)流量的監(jiān)控策略[J].信息與電腦(理論版),2005,20(2):21-25.
[4] ERIC MAIWALD.網(wǎng)絡(luò)安全實用教程[M].北京: 清華大學(xué)出版社, 2003.
[5] DUFFIELD N,GROSSGLAUSER M. Trajectory sampling for direct traffic observation[J].Preceedings of the ACM SIGCOMM 2000,271-282.
[6] DUFFIELD N, LUND C, THORUP M. Charging from sampled network usage.in: ACM SIGCOMM Internet Measurement Workshop 2001, San Francisco, CA[J].November 1-2,2001,245-256.
[7] DUFFIELD N, LUND C, THORUP M. Properties and Prediction of Flow Statistics from Sampled Packet Streams.in: ACM SIGCOMM Internet Measurement Workshop 2002, Marseille, France[J].November 6-8,2002,159-171.
[8] 高傳善, 錢松榮, 毛迪林. 數(shù)據(jù)通信與計算機網(wǎng)絡(luò)[M] . 北京: 高等教育出版社, 2003.
5網(wǎng)絡(luò)經(jīng)濟 國際貿(mào)易 影響
5計算機 網(wǎng)絡(luò)安全 電子商務(wù)
9廣播電視 無線臺網(wǎng)絡(luò) 信息安全
7高校 網(wǎng)絡(luò) 滲透測試教學(xué)
7計算機 網(wǎng)絡(luò)通信 入侵監(jiān)測 方法