人工智能并不總是被用來做好事。特別是，網(wǎng)絡(luò)攻擊者可以使用AI來增強(qiáng)他們的攻擊和擴(kuò)大他們的行動。微軟（Microsoft）、普渡大學(xué)（Purdue）和本-古里安大學(xué)（Ben-Gurion University）、佐治亞理工學(xué)院、新加坡南洋理工大學(xué)等大學(xué)的研究人員最近發(fā)表了一項調(diào)查，探討了這種“攻擊性人工智能”（offensive AI）對組織的威脅。調(diào)查確定了攻擊對手可以用來支持其攻擊的不同能力，并根據(jù)嚴(yán)重程度對每種能力進(jìn)行排名，提供對攻擊對手的深度洞察。

　　這項調(diào)查考察了現(xiàn)有的關(guān)于攻擊性人工智能的研究，以及來自MITRE、IBM、空客、博世、日立、富士和華為等公司的回應(yīng)，確定了攻擊對手使用人工智能的三個主要動機(jī)：覆蓋率、速度和成功率。人工智能使攻擊者能夠通過破壞機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)來“毒害”機(jī)器學(xué)習(xí)模型，并通過側(cè)信道分析竊取憑證。它可以用于漏洞檢測、滲透測試和證書泄漏檢測等人工智能方法的武器化。安帝科技摘編部分關(guān)鍵內(nèi)容供大家學(xué)習(xí)參考。

　　前言

　　網(wǎng)絡(luò)攻擊活化的今天，能源、效能、政府機(jī)構(gòu)、醫(yī)療和金融等機(jī)構(gòu)一直都是網(wǎng)絡(luò)攻擊的重點(diǎn)目標(biāo)。這些網(wǎng)絡(luò)攻擊都是由經(jīng)驗豐富的黑客手動實(shí)施的。近年來，人工智能（AI）的發(fā)展迅猛，這使得軟件工具的創(chuàng)造成為可能，這些軟件工具有助于實(shí)現(xiàn)預(yù)測、信息檢索和媒體合成等任務(wù)的自動化。在此期間，學(xué)術(shù)界和工業(yè)界的成員利用AI來改善網(wǎng)絡(luò)防御狀況和威脅分析。然而，AI是一把雙刃劍，攻擊者可以利用它來改進(jìn)他們的惡意活動。

　　最近，人們做了很多工作來識別和減輕對基于AI的系統(tǒng)的攻擊（對抗性機(jī)器學(xué)習(xí)）。然而，一個具有人工智能能力的對手能做的遠(yuǎn)不止毒害或愚弄機(jī)器學(xué)習(xí)模型這么簡單。對手可以改進(jìn)他們的戰(zhàn)術(shù)來發(fā)動攻擊，這在以前是不可能的。例如，通過深度學(xué)習(xí)，可以通過模仿上級的面孔和聲音來執(zhí)行高效的魚叉式網(wǎng)絡(luò)釣魚攻擊。也有可能通過網(wǎng)絡(luò)、限制命令和控制（C&C）通信，使用自動化執(zhí)行橫向移動來提高隱形能力。其他能力包括使用人工智能來發(fā)現(xiàn)軟件中的零日漏洞，自動化逆向工程，有效地利用側(cè)通道，構(gòu)建真實(shí)的假角色，并以更高的效率執(zhí)行更多的惡意活動。

　　一、何為攻擊性AI？

　　攻擊性AI有兩種形式：使用AI的攻擊和攻擊AI。例如，對手可以（1）使用AI來提高攻擊的效率（例如，信息收集、攻擊自動化和漏洞發(fā)現(xiàn)）或（2）使用AI的知識來對防御者的AI產(chǎn)品和解決方案進(jìn)行漏洞利用（例如，逃避防御或在產(chǎn)品中植入木馬）。后一種形式的攻擊性人工智能通常被稱為對抗性機(jī)器學(xué)習(xí)。

　　一是使用AI技術(shù)的網(wǎng)絡(luò)攻擊；雖然有很多在網(wǎng)絡(luò)攻擊中使用的AI任務(wù)，但最為常見的不外乎是預(yù)測、生成、分析、獲取和決策。

　　預(yù)測。這是根據(jù)以前觀察到的數(shù)據(jù)做出預(yù)測的任務(wù)。常見的例子有分類、異常檢測和回歸。攻擊性目的預(yù)測的例子，比如基于動作識別智能手機(jī)上的按鍵，選擇攻擊鏈中最薄弱的環(huán)節(jié)以及定位可利用的軟件漏洞。

　　生成。這是創(chuàng)造符合目標(biāo)分布內(nèi)容的任務(wù)，在某些情況下，這需要人類的現(xiàn)實(shí)主義。攻擊性AI使用生成的例子包括篡改媒體證據(jù)、智能口令猜測和流量整形以避免檢測。深度偽造是這類攻擊性人工智能的另一個例子。深度偽造是一種由DL模型創(chuàng)建的可信媒體。該技術(shù)可以通過模擬受害者的聲音或面部來實(shí)施網(wǎng)絡(luò)釣魚攻擊。

　　分析。這是從數(shù)據(jù)或模型中挖掘或提取有用見解的任務(wù)。攻擊性AI分析的一些例子是使用可解釋的人工智能技術(shù)來識別如何更好地隱藏人工制品（例如，在惡意軟件中），以及在組織中聚集或嵌入信息來識別資產(chǎn)或目標(biāo)，用于社會工程。

　　檢索。這是尋找與給定查詢匹配或語義上類似的內(nèi)容的任務(wù)。例如，在攻擊中，檢索算法可以用來跟蹤一個被破壞的監(jiān)控系統(tǒng)中的一個對象或個人，通過對社交媒體帖子進(jìn)行語義分析，找到心懷不滿的員工（作為潛在的內(nèi)部威脅者），并在偵察階段收集開源情報（OSINT）期間對冗長的文件進(jìn)行總結(jié)。

　　決策。制定戰(zhàn)略計劃或協(xié)調(diào)行動的任務(wù)。攻擊性人工智能的例子是使用群體智能來操作一個自治的僵尸網(wǎng)絡(luò)和使用啟發(fā)式攻擊圖來規(guī)劃對網(wǎng)絡(luò)的最優(yōu)攻擊。

　　二是直接針對AI的網(wǎng)絡(luò)攻擊，即對抗性機(jī)器學(xué)習(xí)；網(wǎng)絡(luò)攻擊者基于自身的AI知識，可利用機(jī)器學(xué)習(xí)的漏洞來破壞ML的機(jī)密性、完整性和可用性。典型的手法有修改訓(xùn)練數(shù)據(jù)、修改測試數(shù)據(jù)、分析模型的響應(yīng)、修改訓(xùn)練代碼、修改模型參數(shù)等。

　　修改訓(xùn)練數(shù)據(jù)。在這里，攻擊者修改訓(xùn)練數(shù)據(jù)以損害模型的完整性或可用性。拒絕服務(wù)（Denial of service, DoS）投毒攻擊是指攻擊者降低模型的性能，直至其不可用。后門中毒攻擊或木馬攻擊是指攻擊者教模型識別觸發(fā)行為的不尋常模式（例如，將樣本分類為安全）。這種攻擊的無觸發(fā)版本會導(dǎo)致模型在不向樣本本身添加觸發(fā)模式的情況下錯誤分類測試樣本。

　　修改測試數(shù)據(jù)。在這種情況下，攻擊者修改測試樣本，使它們錯誤分類。例如，改變惡意電子郵件的字母，使其被誤認(rèn)為是合法的，或改變圖像中的幾個像素，以逃避面部識別。因此，這些類型的攻擊通常被稱為逃避攻擊。通過修改測試樣本來增加模型的資源消耗，攻擊者也可以降低模型的性能。

　　分析模型的響應(yīng)。在這里，攻擊者向模型發(fā)送大量精心設(shè)計的查詢，并觀察響應(yīng)，以推斷關(guān)于模型的參數(shù)或訓(xùn)練數(shù)據(jù)的信息。為了了解訓(xùn)練數(shù)據(jù)，有隸屬關(guān)系推理、去匿名化和模型反演攻擊。為了學(xué)習(xí)模型的參數(shù)，有模型竊取/提取、盲點(diǎn)檢測、狀態(tài)預(yù)測。

　　修改訓(xùn)練代碼。在這種情況下，攻擊者通過修改用于訓(xùn)練ML模型的庫（例如，通過一個開源項目）來執(zhí)行供應(yīng)鏈攻擊。例如，一個受損（訓(xùn)練）函數(shù)插入了一個后門。

　　修改模型參數(shù)。在這個攻擊向量中，攻擊者訪問一個經(jīng)過訓(xùn)練的模型（例如，通過一個模型Zoo或安全漏洞），并篡改其參數(shù)來插入一個潛在的行為。這些攻擊可以在軟件或硬件級別上執(zhí)行（又稱故障攻擊）。

　　根據(jù)場景的不同，攻擊者可能不完全了解或訪問目標(biāo)模型：

　　白盒（完全了解）攻擊：攻擊者知道目標(biāo)系統(tǒng)的一切。對于系統(tǒng)防御者來說，這是最糟糕的情況。雖然在實(shí)踐中不太可能發(fā)生，但這個設(shè)置很有趣，因為它為攻擊者的性能提供了一個經(jīng)驗上限。

　　灰盒（有限了解）攻擊：攻擊者對目標(biāo)系統(tǒng)（如學(xué)習(xí)算法、體系結(jié)構(gòu)等）只有部分了解，但對訓(xùn)練數(shù)據(jù)和模型參數(shù)一無所知。

　　黑盒（零了解）攻擊：攻擊者只知道模型被設(shè)計用來執(zhí)行的任務(wù)，以及系統(tǒng)一般使用的是哪種特征（例如，惡意軟件檢測器是否經(jīng)過訓(xùn)練，可以執(zhí)行靜態(tài)或動態(tài)分析）。攻擊者還可以以黑盒的方式分析模型的響應(yīng)，以獲得對某些輸入的反饋。

　　二、攻擊性AI的影響

　　傳統(tǒng)的對手使用手工工作、通用工具和專家知識來達(dá)到他們的目標(biāo)。相比之下，具有人工智能能力的對手可以利用人工智能自動化其任務(wù)，增強(qiáng)其工具，并逃避檢測。這些新能力會影響網(wǎng)絡(luò)攻殺鏈。

　　首先，讓研究人員討論一下為什么對手會考慮在進(jìn)攻一個組織時使用AI。

　　進(jìn)攻性人工智能的三大動因。在研究人員的調(diào)查中，研究人員發(fā)現(xiàn)對手使用人工智能攻擊一個組織有三個核心動機(jī)：覆蓋率、速度和成功率。

　　覆蓋率。通過使用人工智能，對手可以通過自動化來擴(kuò)大其操作規(guī)模，從而減少人力勞動，增加成功的機(jī)會。例如，AI可以用來自動制造和發(fā)起魚叉式釣魚攻擊，根據(jù)從OSINT收集的數(shù)據(jù)進(jìn)行提煉和推理，同時維持對多個組織的攻擊，并在網(wǎng)絡(luò)中獲得更多資產(chǎn)以獲得更強(qiáng)的立足點(diǎn)。換句話說，人工智能使對手能夠以更小的勞動力以更高的精度攻擊更多的組織。

　　速度。有了AI，對手可以更快地達(dá)成目標(biāo)。例如，機(jī)器學(xué)習(xí)可用于幫助提取憑證，在橫向移動時智能地選擇下一個最佳目標(biāo)，監(jiān)視用戶獲取信息（例如，對竊聽的音頻執(zhí)行語音到文本），或在軟件中查找零日漏洞。通過更快地到達(dá)目標(biāo)，對手不僅可以節(jié)省其他冒險活動的時間，還可以減少自己在防御者網(wǎng)絡(luò)中的存在時間。

　　成功率。通過增強(qiáng)AI的操作，對手將增加其成功的可能性。即可以用來（1）通過最小化或偽裝網(wǎng)絡(luò)流量（如C2流量）使操作更秘密，利用防御者人工智能模型如ML-based入侵檢測系統(tǒng)（IDS）的漏洞，（2）識別攻擊機(jī)會良好的社會工程攻擊目標(biāo)和新穎的漏洞，（3）啟用更好的攻擊向量，如在魚叉式釣魚攻擊中使用深度偽造（deepfakes），（4）規(guī)劃最優(yōu)攻擊策略，（5）通過自動機(jī)器人協(xié)調(diào)和惡意軟件混淆加強(qiáng)網(wǎng)絡(luò)的持久性。

　　研究人員注意到，這些動機(jī)并不相互排斥。例如，使用人工智能來自動化釣魚活動可以增加覆蓋率、速度和成功率。

　　人工智能威脅代理。很明顯，一些具有人工智能能力的威脅代理將能夠執(zhí)行比其他代理更復(fù)雜的人工智能攻擊。例如，國家行為者可以潛在地啟動智能自動僵尸網(wǎng)絡(luò)，而黑客激進(jìn)分子可能也很難做到這一點(diǎn)。然而，研究人員多年來觀察到，人工智能已經(jīng)變得越來越容易使用，甚至對新手用戶也是如此。例如，網(wǎng)上有各種各樣的開源深度造假技術(shù)，即插即用。因此，隨著人工智能技術(shù)的普及，某些威脅因子之間的復(fù)雜性差距可能會隨著時間的推移而縮小。

　　新的攻擊目標(biāo)。除了傳統(tǒng)的攻擊目標(biāo)，具有AI能力的對手也有新的攻擊目標(biāo)：

　　破壞。對手可能想要利用其對AI的了解來對組織造成破壞。例如，它可能希望通過毒害其數(shù)據(jù)集來改變性能，或者在模型中植入木馬以供后期利用，從而改變組織產(chǎn)品和解決方案中的ML模型。此外，對手可能想要對AI系統(tǒng)執(zhí)行對抗性機(jī)器學(xué)習(xí)攻擊。例如，在監(jiān)視中逃避檢測，或使財務(wù)或能源預(yù)測模型偏向?qū)κ?。最后，對手也可以使用生成AI以現(xiàn)實(shí)的方式添加或修改證據(jù)。例如，修改或栽植監(jiān)控錄像、醫(yī)療掃描或財務(wù)記錄中的證據(jù)。

　　間諜活動。有了人工智能，對手可以提高其間諜組織和提取/推斷有意義信息的能力。例如，它們可以使用語音到文本算法和情感分析來挖掘有用的音頻記錄或通過聲學(xué)或運(yùn)動側(cè)通道竊取憑證。人工智能還可以用于從加密的網(wǎng)絡(luò)流量中提取潛在信息，并通過組織的社交媒體跟蹤用戶。最后，攻擊者可能希望利用群體智能實(shí)現(xiàn)一個自主的持久立足點(diǎn)。

　　信息盜竊。具有人工智能能力的對手可能想要竊取目標(biāo)組織訓(xùn)練的模型，用于未來的白盒對抗性機(jī)器學(xué)習(xí)攻擊。因此，一些數(shù)據(jù)記錄和專有數(shù)據(jù)集可能作為訓(xùn)練模型的目標(biāo)。特別是，客戶和員工的音頻或視頻記錄可能會被竊取，以制造令人信服的深度假模仿。最后，通過人工智能逆向工程工具，知識產(chǎn)權(quán)可能成為目標(biāo)。

　　新的攻擊能力。通過研究人員的調(diào)查，研究人員已經(jīng)確定了33個進(jìn)攻性AI能力（OAC），直接提高對手的能力，以實(shí)現(xiàn)攻擊步驟。這些OAC可以分為七個類別：（1）自動化，（2）活動彈性，（3）證書盜竊，（4）漏洞利用開發(fā)，（5）信息收集，（6）社會工程，和（7）隱身。這些能力中的每一個都可以與前述介紹的三個激勵因素相關(guān)聯(lián)。

　　圖1

　　在圖1中，研究者展示了OACs并映射了它們對網(wǎng)絡(luò)殺傷鏈的影響（MITRE企業(yè)ATT&CK模型）。圖中的一條邊表示指定的OAC提高了攻擊者實(shí)現(xiàn)給定攻擊步驟的能力。從圖中可以看到進(jìn)攻AI影響著進(jìn)攻模型的各個方面。

　　這些能力可以通過以下兩種方式之一實(shí)現(xiàn)：

　　基于人工智能的工具是在對手的武器庫中執(zhí)行特定任務(wù)的程序。例如，一個用于智能預(yù)測口令、模糊惡意代碼、規(guī)避的流量整形、操縱人物等的工具。這些工具通常以機(jī)器學(xué)習(xí)模型的形式出現(xiàn)。

　　人工智能驅(qū)動的機(jī)器人是自動機(jī)器人，可以執(zhí)行一個或多個攻擊步驟，無需人工干預(yù)，或與其他機(jī)器人協(xié)調(diào)，有效地實(shí)現(xiàn)自己的目標(biāo)。這些機(jī)器人可能使用群智能和機(jī)器學(xué)習(xí)的組合來操作。

　　三、AI的直接網(wǎng)絡(luò)威脅

　　一些組織告訴研究人員，他們認(rèn)為開發(fā)、社會工程和信息收集是最具威脅性的人工智能技術(shù)。他們尤其擔(dān)心人工智能被用于模仿，比如深度造假來實(shí)施釣魚攻擊和逆向工程，這可能會讓攻擊者“竊取”專有算法。此外，他們還擔(dān)心，由于人工智能的自動化過程，對手可能會從一些緩慢的隱蔽行動轉(zhuǎn)變?yōu)樵S多快節(jié)奏的行動，以擊垮防御者，增加他們的成功機(jī)會。

　　但這些擔(dān)憂并沒有刺激國防投資。數(shù)據(jù)認(rèn)證初創(chuàng)公司Attestiv對企業(yè)進(jìn)行的一項調(diào)查顯示，只有不到30%的企業(yè)表示，他們已經(jīng)采取措施減輕深度偽造攻擊的影響。盡管有“深度偽造檢測挑戰(zhàn)”（Deepfake Detection Challenge）和微軟（Microsoft）的“視頻驗證器”（Video Authenticator）等創(chuàng)新，但隨著生成技術(shù)的不斷改進(jìn)，打擊深度偽造可能仍具有挑戰(zhàn)性。

　　事實(shí)上，研究人員預(yù)計，隨著機(jī)器人獲得了令人信服的深度偽造網(wǎng)絡(luò)釣魚呼叫的能力，網(wǎng)絡(luò)釣魚活動將變得更加猖獗。他們還表示，未來幾年，攻擊性人工智能在數(shù)據(jù)收集、模型開發(fā)、培訓(xùn)和評估等領(lǐng)域的應(yīng)用可能會增加。

　　為了避免這些威脅，研究人員建議企業(yè)專注于開發(fā)后處理工具，以保護(hù)軟件在開發(fā)后不被分析。他們還建議將安全性測試、保護(hù)和模型監(jiān)控與MLOps集成起來，這樣組織就可以更容易地維護(hù)安全的系統(tǒng)。MLOps是“機(jī)器學(xué)習(xí)”和“信息技術(shù)操作”的組合，是一門新的學(xué)科，涉及數(shù)據(jù)科學(xué)家和IT專業(yè)人員之間的合作，目的是將機(jī)器學(xué)習(xí)算法產(chǎn)品化。

　　研究人員寫道：“隨著人工智能的快速發(fā)展和開放的可及性，研究人員預(yù)計將看到對組織的攻擊策略發(fā)生明顯的轉(zhuǎn)變?！薄叭斯ぶ悄軐⑹箤κ帜軌蛲瑫r更頻繁地瞄準(zhǔn)更多組織。因此，攻擊對手可能會選擇用數(shù)千次擊敗防御者響應(yīng)團(tuán)隊的嘗試，來獲得一次成功的機(jī)會。事實(shí)上，當(dāng)攻擊對手開始使用AI支持的機(jī)器人時，防御者也將被迫使用機(jī)器人自動化防御。讓人類保持在控制和決定高層戰(zhàn)略的循環(huán)中是一項現(xiàn)實(shí)的和倫理的要求。然而，需要進(jìn)一步的討論和研究，以形成安全、令人滿意的政策?！?/p>

　　研究人員對工業(yè)界和學(xué)術(shù)界對AI對組織的威脅認(rèn)識進(jìn)行了調(diào)查統(tǒng)計?？偟膩碚f，學(xué)術(shù)界認(rèn)為人工智能對組織的威脅比對整個行業(yè)的威脅更大。有人可能會說，這種差異是因為工業(yè)界傾向于更加實(shí)際和立足于當(dāng)前，而學(xué)術(shù)界則考慮潛在的威脅，從而考慮未來。

　　令人驚訝的是，學(xué)術(shù)界和工業(yè)界都認(rèn)為使用AI隱身是最不具威脅性的OAC類別。盡管有大量的研究表明IDS模型是如何脆弱的，但I(xiàn)DS規(guī)避方法被認(rèn)為是智能掃描之后第二大可攻破的OAC。這可能與對手無法在實(shí)際網(wǎng)絡(luò)中評估其基于人工智能的規(guī)避技術(shù)有關(guān)，因此存在檢測風(fēng)險。

　　總的來說，工業(yè)界和學(xué)術(shù)界對于最具威脅性的OACs存在一些分歧。在33個OAC中，最具威脅的10個排名如下：

　　四、小結(jié)

　　攻擊性AI的威脅，工業(yè)界和學(xué)術(shù)界存在不同的認(rèn)識?？梢岳斫鉃槭裁磳M織的最高級別威脅與社會工程攻擊和軟件分析（漏洞檢測和逆向工程）有關(guān)。這是因為這些攻擊超出了防御者的控制。例如，人是最薄弱的環(huán)節(jié)，即使經(jīng)過安全意識培訓(xùn)。然而，對于深度偽造，就更難以減輕這些社會工程攻擊。同樣的道理也適用于軟件分析，在軟件分析中，ML已經(jīng)證明自己可以很好地處理語言，甚至編譯二進(jìn)制文件。學(xué)術(shù)界最關(guān)心生物識別的原因是它幾乎只使用ML，學(xué)術(shù)界很清楚ML的缺陷。

　　相信不久的將來，進(jìn)攻性AI事件將會增加，但只是在攻擊模型的前面和后面（偵查、資源開發(fā)和影響——例如篡改記錄）。這是因為目前AI無法有效地自主學(xué)習(xí)。因此，不太可能在不久的將來看到僵尸網(wǎng)絡(luò)能夠自主且動態(tài)地與各種復(fù)雜系統(tǒng)（比如一個組織的網(wǎng)絡(luò)）交互。因此，由于現(xiàn)代的對手在組織網(wǎng)絡(luò)上的信息有限，他們行動受限，數(shù)據(jù)收集、模型開發(fā)、培訓(xùn)和評估均發(fā)生在離線攻擊中。特別地，注意到DL模型非常大，并且需要大量的資源來運(yùn)行。這使得它們在傳輸?shù)骄W(wǎng)絡(luò)或現(xiàn)場執(zhí)行時易于檢測。然而，隨著DL的增加，模型的足跡將變得不那么異常。預(yù)計不久的將來，網(wǎng)絡(luò)釣魚活動將變得更加猖獗和危險，因為人類和機(jī)器人被賦予了發(fā)出令人信服的深度虛假網(wǎng)絡(luò)釣魚活動的能力。

　　AI是一把雙刃劍。本身用于安全的人工智能技術(shù)也可以被用于攻擊。有些技術(shù)有雙重用途。例如，ML研究拆卸、漏洞檢測和滲透測試。有些技術(shù)可以被重新利用。例如，它不是使用可解釋的 AI 來驗證惡意軟件檢測，而是用于隱藏人工制品。有些技術(shù)是可以逆轉(zhuǎn)的。例如，內(nèi)部檢測模型可以用來幫助掩蓋軌跡和避免檢測。為了幫助提高人們的意識，建議研究人員注意他們的工作成果的影響，即使是防御技術(shù)。一個警告是，“劍”可以干好事，也可干壞事，這取決于持劍者。例如，生成AI（深度造假）更適合攻擊者，但異常檢測更適合防御者。