當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復(fù)雜，各種類型的安全數(shù)據(jù)越來越多，傳統(tǒng)的分析能力明顯不再適應(yīng)；另一方面，新型威脅興起，內(nèi)控與合規(guī)深入，傳統(tǒng)的分析方法存在諸多缺陷，越來越需要分析更多的安全信息，更加快速地做出判定和響應(yīng)。

　　網(wǎng)絡(luò)信息安全數(shù)據(jù)自身也面臨大數(shù)據(jù)化的挑戰(zhàn)。

　　1）數(shù)據(jù)越來越多。網(wǎng)絡(luò)已經(jīng)從吉比特每秒邁向了萬兆比特每秒的速率，網(wǎng)絡(luò)安全設(shè)備要分析的數(shù)據(jù)分組數(shù)據(jù)量急劇上升。同時，隨著安全防御的縱深化，安全監(jiān)測的內(nèi)容不斷細(xì)化，除了傳統(tǒng)的攻擊監(jiān)測，還出現(xiàn)了應(yīng)用監(jiān)測、用戶行為監(jiān)測等。此外，隨著APT等新型威脅的興起，全分組捕獲技術(shù)逐步應(yīng)用，海量數(shù)據(jù)處理問題也日益凸顯。

　　2）處理越來越快。對于網(wǎng)絡(luò)設(shè)備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快；對于安全管理平臺、事件分析平臺而言，數(shù)據(jù)源的事件發(fā)送速率越來越快。因此，對安全數(shù)據(jù)處理的性能將直接影響大數(shù)據(jù)的服務(wù)質(zhì)量。

　　3）形態(tài)越來越泛。除了協(xié)議數(shù)據(jù)分組、設(shè)備日志數(shù)據(jù)，安全信息還涉及漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應(yīng)用信息、業(yè)務(wù)信息、外部情報(bào)信息、網(wǎng)絡(luò)環(huán)境數(shù)據(jù)等等。針對安全數(shù)據(jù)形態(tài)多樣化、非結(jié)構(gòu)化的發(fā)展趨勢，統(tǒng)一的數(shù)據(jù)表述方法也變得越來越關(guān)鍵。

　　正是因?yàn)榘踩珨?shù)據(jù)自身的大數(shù)據(jù)化，因此業(yè)界開始研究如何將大數(shù)據(jù)技術(shù)應(yīng)用于安全領(lǐng)域，形成大數(shù)據(jù)安全服務(wù)。

　　1. 網(wǎng)絡(luò)安全大數(shù)據(jù)態(tài)勢感知

　　隨著網(wǎng)絡(luò)規(guī)模和應(yīng)用的迅速擴(kuò)大，網(wǎng)絡(luò)安全威脅不斷增加，單一的網(wǎng)絡(luò)安全防護(hù)技術(shù)已經(jīng)不能滿足需要。網(wǎng)絡(luò)安全態(tài)勢感知能夠從整體上動態(tài)反映網(wǎng)絡(luò)安全狀況并對網(wǎng)絡(luò)安全的發(fā)展趨勢進(jìn)行預(yù)測，大數(shù)據(jù)的特點(diǎn)為大規(guī)模網(wǎng)絡(luò)安全態(tài)勢感知研究的突破創(chuàng)造了機(jī)遇。

　　網(wǎng)絡(luò)安全態(tài)勢感知就是利用數(shù)據(jù)融合、數(shù)據(jù)挖掘、智能分析和可視化等技術(shù)，直觀顯示網(wǎng)絡(luò)環(huán)境的實(shí)時安全狀況，為網(wǎng)絡(luò)安全提供保障。借助網(wǎng)絡(luò)安全態(tài)勢感知，網(wǎng)絡(luò)監(jiān)管人員可以及時了解網(wǎng)絡(luò)的狀態(tài)、受攻擊情況、攻擊來源以及哪些服務(wù)易受到攻擊等情況，對發(fā)起攻擊的網(wǎng)絡(luò)采取措施；網(wǎng)絡(luò)用戶可以清楚地掌握所在網(wǎng)絡(luò)的安全狀態(tài)和趨勢，做好相應(yīng)的防范準(zhǔn)備，避免和減少網(wǎng)絡(luò)中病毒和惡意攻擊帶來的損失；應(yīng)急響應(yīng)組織也可以從網(wǎng)絡(luò)安全態(tài)勢中了解所服務(wù)網(wǎng)絡(luò)的安全狀況和發(fā)展趨勢，為制定有預(yù)見性的應(yīng)急預(yù)案提供基礎(chǔ)。

　　安全態(tài)勢感知通過對系統(tǒng)環(huán)境中潛在的安全影響要素進(jìn)行獲取和理解，以實(shí)現(xiàn)對未來安全發(fā)展趨勢的預(yù)測，是制定安全防御策略的基礎(chǔ)。主要研究包含情報(bào)數(shù)據(jù)采集、安全數(shù)據(jù)整理、數(shù)據(jù)可視化展現(xiàn)、情報(bào)和事件匯聚處理分析、安全態(tài)勢展示等步驟，關(guān)鍵技術(shù)如下。

　?。?）多源異構(gòu)數(shù)據(jù)的融合

　　網(wǎng)絡(luò)運(yùn)行環(huán)境、協(xié)議和應(yīng)用場景等難以統(tǒng)一描述，網(wǎng)絡(luò)安全態(tài)勢感知首先需解決多源異構(gòu)數(shù)據(jù)的融合。數(shù)據(jù)融合主要研究跨領(lǐng)域數(shù)據(jù)的一體化表示機(jī)理，不確定條件下的多源數(shù)據(jù)融合算法，以及異質(zhì)時序數(shù)據(jù)的模式挖掘方法等關(guān)鍵技術(shù)，進(jìn)而解決基于多源異質(zhì)數(shù)據(jù)融合的安全態(tài)勢感知方法、基于安全知識模型的安全態(tài)勢感知方法，以及安全態(tài)勢感知結(jié)果的自適應(yīng)融合策略等關(guān)鍵問題。

　?。?）網(wǎng)絡(luò)特征的選擇提取

　　隨著信息網(wǎng)絡(luò)的復(fù)雜程度不斷提升，網(wǎng)絡(luò)數(shù)據(jù)異常龐大，即便是經(jīng)過數(shù)據(jù)融合后的信息，用戶依然無法有效使用。大數(shù)據(jù)分析技術(shù)，能夠滿足用戶從網(wǎng)絡(luò)大數(shù)據(jù)中獲得信息的需求，對得到的數(shù)據(jù)特征信息進(jìn)一步智能分析，并轉(zhuǎn)述為更高層次的網(wǎng)絡(luò)特征。精準(zhǔn)的網(wǎng)絡(luò)特征能夠有效描述網(wǎng)絡(luò)安全狀態(tài)和受攻擊的風(fēng)險(xiǎn)程度，方便進(jìn)行全網(wǎng)態(tài)勢評估和預(yù)測。

　?。?）安全態(tài)勢感知與預(yù)警

　　網(wǎng)絡(luò)威脅是動態(tài)的，具有不固定性，為實(shí)現(xiàn)主動防御，需采用動態(tài)預(yù)測措施，以便能夠根據(jù)當(dāng)前網(wǎng)絡(luò)走勢判斷未來網(wǎng)絡(luò)安全情況；為用戶提供安全策略，以便做出更正確的決策。網(wǎng)絡(luò)安全態(tài)勢預(yù)警的核心問題就是利用網(wǎng)絡(luò)安全大數(shù)據(jù)模型，實(shí)現(xiàn)對網(wǎng)絡(luò)安全態(tài)勢的實(shí)時感知與預(yù)測。

　　圖1為針對某個企業(yè)的網(wǎng)絡(luò)安全態(tài)勢感知示意，可對云上所有網(wǎng)絡(luò)資產(chǎn)進(jìn)行安全告警，并用機(jī)器學(xué)習(xí)發(fā)現(xiàn)潛在的入侵和高隱蔽性攻擊、回溯攻擊歷史、預(yù)測安全事件等，主要功能包括安全事件告警和檢索、原始日志存儲和分析、安全風(fēng)險(xiǎn)量化和預(yù)測等。

圖1  網(wǎng)絡(luò)安全態(tài)勢感知示意

　　安全感知是安全防御體系的核心，面對APT高級隱蔽攻擊和滲透測試等，是否能夠第一時間識別和發(fā)現(xiàn)安全異常，已逐步成為衡量安全體系優(yōu)劣的關(guān)鍵準(zhǔn)則。

　　2. 網(wǎng)絡(luò)安全大數(shù)據(jù)的可視化

　　網(wǎng)絡(luò)大數(shù)據(jù)帶來的是海量、高速、多變的信息資產(chǎn)，需要尋求經(jīng)濟(jì)的、創(chuàng)新的信息處理方式，快速獲得超越數(shù)據(jù)客觀信息的洞察力和決策力，可視化技術(shù)就在這樣的背景下應(yīng)運(yùn)而生。數(shù)據(jù)可視化容易被人們感知數(shù)據(jù)信息，可以快速識別數(shù)據(jù)模式和數(shù)據(jù)差異并發(fā)現(xiàn)數(shù)據(jù)異常，能夠快速識別并直觀聚類，還能快速發(fā)現(xiàn)新的攻擊模式并對攻擊趨勢做出預(yù)測。因此，針對信息安全問題，諸多企業(yè)希望將其監(jiān)測到的大數(shù)據(jù)轉(zhuǎn)化為信息可視化呈現(xiàn)的各種形式，數(shù)據(jù)可視化已逐步成為網(wǎng)絡(luò)安全技術(shù)和管理的一個關(guān)鍵配置。

　　數(shù)據(jù)可視化通常是在一個具體的問題目標(biāo)框架下，利用宏觀模式視角、微觀單點(diǎn)視角、關(guān)聯(lián)關(guān)系視角，通過形狀、位置、尺寸、方向、色彩、紋理等視覺要素設(shè)計(jì)，得到數(shù)據(jù)的圖形化展示。網(wǎng)絡(luò)安全可視化則是利用人類視覺對模型和結(jié)構(gòu)的獲取能力，將抽象的網(wǎng)絡(luò)和系統(tǒng)數(shù)據(jù)以圖形圖像的方式展現(xiàn)出來，將網(wǎng)絡(luò)異構(gòu)數(shù)據(jù)整合到一起，相互搭配進(jìn)行可視化展示能夠從多個角度來全面準(zhǔn)確地監(jiān)測分析一個網(wǎng)絡(luò)事件，體現(xiàn)當(dāng)前網(wǎng)絡(luò)及設(shè)備的數(shù)據(jù)傳輸、網(wǎng)絡(luò)流量來源及流動方向、受到的攻擊類型等安全情況，從而幫助人們快速分析網(wǎng)絡(luò)狀況，識別網(wǎng)絡(luò)異常或網(wǎng)絡(luò)入侵行為，預(yù)測網(wǎng)絡(luò)安全事件發(fā)展趨勢。

　　目前，網(wǎng)絡(luò)態(tài)勢可視化技術(shù)作為一項(xiàng)新技術(shù)，是網(wǎng)絡(luò)安全態(tài)勢感知與可視化技術(shù)的結(jié)合。網(wǎng)絡(luò)中蘊(yùn)涵的態(tài)勢狀況可以通過可視化圖形方式展示給用戶，利用對圖形圖像的強(qiáng)大處理能力，實(shí)現(xiàn)對網(wǎng)絡(luò)異常行為的分析和檢測。網(wǎng)絡(luò)態(tài)勢可視化充分結(jié)合了計(jì)算機(jī)和人腦在圖像處理方面的優(yōu)勢，提高了對數(shù)據(jù)的綜合分析能力，能夠有效降低誤報(bào)率和漏報(bào)率，提高系統(tǒng)檢測效率，減小反應(yīng)時間，還具備較強(qiáng)的異常行為預(yù)測能力。

　　安全態(tài)勢可視化的目的是生成網(wǎng)絡(luò)安全綜合態(tài)勢圖，以多視圖、多角度、多尺度的方式與用戶進(jìn)行交互，面臨的主要挑戰(zhàn)是如何實(shí)時顯示、處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)，如何支持多數(shù)據(jù)源、多視圖、多平臺協(xié)同的分析，最終協(xié)助網(wǎng)絡(luò)空間安全專家實(shí)現(xiàn)智能化、自動化預(yù)警和防御體系。

　　下面簡要介紹幾款常用的大數(shù)據(jù)可視化分析工具。

　　D3.js 是一款優(yōu)秀的數(shù)據(jù)可視化工具庫。運(yùn)行在 JavaScript 上，并使用 HTML、CSS和SVG。D3.js是開源工具，使用數(shù)據(jù)驅(qū)動的方式創(chuàng)建漂亮的網(wǎng)頁，可實(shí)現(xiàn)實(shí)時交互。

　　ChartBlocks是一個易于使用的在線工具，它無需編碼，便能從電子表格、數(shù)據(jù)庫中構(gòu)建可視化圖表。整個過程可以在圖表向?qū)У闹笇?dǎo)下完成，在 HTML5 框架下使用 JavaScript 庫D3.js創(chuàng)建圖表。

　　Google Charts 以HTML5和SVG為基礎(chǔ)，充分考慮了跨瀏覽器的兼容性，并通過VML支持舊版本的IE瀏覽器，并提供一個非常好的、全面的模板庫。

　　Highcharts是JavaScript API與jQuery的集成產(chǎn)品，使用SVG格式，并使用VML支持舊版瀏覽器。它提供了兩個專門的圖表類型——Highstock和Highmaps，并且配備了一系列的插件，還提供Highcharts云服務(wù)。

　　Tableau 是一款企業(yè)級的大數(shù)據(jù)可視化工具，可輕松創(chuàng)建圖形、表格和地圖。它不僅提供了PC桌面版，還提供了云服務(wù)器解決方案，支持在線生成可視化報(bào)告。

　　Plotly 是一個非常人性化的網(wǎng)絡(luò)工具，可在幾分鐘內(nèi)啟動，從簡單的電子表格中開始創(chuàng)建漂亮的圖表，并為JavaScript和Python等編程語言提供API接口。

　　Visual.ly是一個可視化的內(nèi)容服務(wù)。它提供專門的大數(shù)據(jù)可視化的服務(wù)，支持外包服務(wù)：你只需描述你的項(xiàng)目，服務(wù)團(tuán)隊(duì)將在項(xiàng)目的整個持續(xù)時間內(nèi)提供可視化開發(fā)服務(wù)。

　　3. 網(wǎng)絡(luò)安全大數(shù)據(jù)分析平臺

　　OpenSOC 是一個針對網(wǎng)絡(luò)分組和流的大數(shù)據(jù)分析框架，是大數(shù)據(jù)與安全分析技術(shù)相融合的平臺，能夠?qū)崟r檢測網(wǎng)絡(luò)異常情況并且可不斷擴(kuò)展節(jié)點(diǎn)，存儲采用 Hadoop，實(shí)時索引采用 ElasticSearch，在線流分析采用 Storm。

　　目前，OpenSOC已加入Apache工程，名為Apache Metron。體系架構(gòu)如圖2所示。

圖2  OpenSOC體系架構(gòu)

　　OpenSOC主要功能如下。

　　擴(kuò)展性較強(qiáng)的平臺框架，支持各種Telemetry數(shù)據(jù)流；

　　通過可擴(kuò)展的接收器和分析器可監(jiān)視任何Telemetry數(shù)據(jù)源；

　　支持對Telemetry數(shù)據(jù)流的異常檢測和基于規(guī)則的實(shí)時告警；

　　通過預(yù)設(shè)時間使用Hadoop存儲Telemetry的數(shù)據(jù)流；

　　支持ElasticSearch實(shí)現(xiàn)自動化實(shí)時索引Telemetry數(shù)據(jù)流；

　　支持Hive實(shí)現(xiàn)SQL查詢Hadoop數(shù)據(jù)；

　　能夠兼容ODBC/JDBC和繼承已有的分析工具；

　　具有豐富的分析應(yīng)用，且能夠集成已有的分析工具；

　　支持實(shí)時的Telemetry搜索和跨Telemetry的匹配；

　　支持自動生成報(bào)告、異常報(bào)警等；

　　支持原數(shù)據(jù)分組的抓取、存儲、重組等；

　　支持?jǐn)?shù)據(jù)驅(qū)動的安全檢測與分析模型。

　　OpenSOC 平臺特色包括：

　　免費(fèi)、開源、基于Apache協(xié)議授權(quán)；

　　基于高可擴(kuò)展平臺的（Hadoop、Kafka、Storm）實(shí)現(xiàn)；

　　基于可擴(kuò)展的插件式設(shè)計(jì)；

　　具有靈活的部署模式，支持企業(yè)內(nèi)部或云端部署；

　　具有集中化的人員和數(shù)據(jù)管理流程。