沒有人喜歡早上起床，但現(xiàn)在人工智能驅(qū)動的算法可以設(shè)置我們的鬧鐘、管理我們家中的溫度設(shè)置以及選擇適合我們心情的播放列表，貪睡按鈕的使用越來越少。人工智能安全輔助系統(tǒng)使我們的車輛更安全，人工智能算法優(yōu)化警察巡邏，使我們開車經(jīng)過和居住的社區(qū)也更安全。在我們周圍，人工智能無處不在，它為塑造我們環(huán)境的工具和設(shè)備提供動力，增強和協(xié)助我們的日常生活，并推動我們選擇吃什么、穿什么、買什么——無論是否經(jīng)過我們的同意。然而，當(dāng)我們的智能設(shè)備開始決定我們當(dāng)中誰是可疑的，當(dāng)一個邊緣化社區(qū)是不成比例地成為警察巡邏的目標(biāo)，當(dāng)一輛自動駕駛汽車撞死一個亂穿馬路的人時。

鑒于人工智能和機器學(xué)習(xí)在戰(zhàn)略競爭中的作用，我們必須了解這些系統(tǒng)帶來的風(fēng)險以及它們創(chuàng)造戰(zhàn)略優(yōu)勢的能力。通過探索對抗性方法，可以開始建立這樣的理解。四類考試對抗性方法的數(shù)量為了解這些系統(tǒng)中的漏洞提供了一個窗口。在本文中，我們將以目標(biāo)識別問題作為基礎(chǔ)示例，探討如何攻擊 AI 系統(tǒng)的學(xué)習(xí)和思維。雖然這個例子發(fā)生沖突，但我們描述的方法也可以在對抗中使用。該分析得出兩個重要結(jié)論：首先，在任何使用人工智能的過程中，人類都必須參與其中。其次，人工智能在大國競爭時代可能無法為美國提供戰(zhàn)略優(yōu)勢，但我們必須繼續(xù)投資并鼓勵人工智能在道德上的使用。

與其他軍事系統(tǒng)一樣，人工智能系統(tǒng)經(jīng)歷了多個不同的生命周期階段——開發(fā)（數(shù)據(jù)收集和訓(xùn)練）、測試、操作和維護。在這些階段中的每一個階段都存在必須識別的獨特漏洞，我們對此進(jìn)行了很多解釋。我們將繼續(xù)開發(fā)一個假設(shè)的人工智能目標(biāo)識別系統(tǒng)，該系統(tǒng)正在學(xué)習(xí)識別敵方裝甲車輛。在每個階段，我們都將探索相關(guān)類別的對抗方法——訓(xùn)練投毒、規(guī)避攻擊、逆向工程和推理攻擊——以及我們?nèi)绾伪Ｗo我們的系統(tǒng)免受每種方法的侵害。

任何人工智能系統(tǒng)開發(fā)的第一步都是問題識別和數(shù)據(jù)收集。隨著我們識別敵方裝甲車的挑戰(zhàn)，我們必須定義我們的問題。我們想識別所有敵方裝甲車，還是只識別特定對手的某種類型？這個問題定義為一組相關(guān)數(shù)據(jù)的收集和準(zhǔn)備提供了信息，在這種情況下，這些數(shù)據(jù)將包括大量感興趣的敵方裝甲車輛的圖像。我們不僅必須積累所有感興趣的車輛的圖像，而且還需要各種條件下的圖像——例如，不同的光線、不同的角度、有限的曝光和備用通道（例如紅外線、日光）。然后由數(shù)據(jù)分析師準(zhǔn)備數(shù)據(jù)，用于人工智能系統(tǒng)的訓(xùn)練。然而，開發(fā)人工智能系統(tǒng)所需的大量數(shù)據(jù)會造成漏洞。數(shù)據(jù)量意味著分析師沒有能力驗證每張收集的圖像是真實的敵方裝甲車，或者圖像代表了裝甲車的全部類型。

這一發(fā)展階段是對手可以通過一種稱為投毒的技術(shù)攻擊人工智能系統(tǒng)的第一個階段。中毒的目的是改變 AI 系統(tǒng)在訓(xùn)練中使用的數(shù)據(jù)，從而使 AI 學(xué)習(xí)到的數(shù)據(jù)存在缺陷。此過程會在系統(tǒng)投入運行之前攻擊系統(tǒng)的完整性。

制作惡意原始數(shù)據(jù)以得出有缺陷的分析結(jié)果的基本方法與傳統(tǒng)的軍事欺騙相同。“水銀行動”是二戰(zhàn)期間盟軍入侵諾曼底之前的一項欺騙行動，旨在攻擊德國的防御分析模型。為了完成這次攻擊，盟軍創(chuàng)建了一支由喬治·巴頓中將領(lǐng)導(dǎo)的幽靈軍隊（中毒數(shù)據(jù)），以歪曲德國人對他們應(yīng)該將防御集中在哪里（模型輸出）的分析（模型）。

如此大規(guī)模的欺騙作戰(zhàn)，在當(dāng)今互聯(lián)互通的社會中可能更難實現(xiàn)，但毒化數(shù)據(jù)是可行的。我們的對手知道我們正在追求支持人工智能的目標(biāo)識別。知道這樣的人工智能系統(tǒng)需要他們當(dāng)前裝甲車輛的訓(xùn)練圖像，對手可以通過操縱他們的車輛外觀來毒化這些訓(xùn)練圖像。這可能就像在他們懷疑可能受到監(jiān)視的車輛上添加一個獨特的符號（如紅星）一樣簡單。然后，我們的人工智能系統(tǒng)將根據(jù)這些故意操縱車輛的有毒圖像進(jìn)行訓(xùn)練，并“學(xué)習(xí)”所有敵方裝甲車輛都有紅星。

雖然這種中毒攻擊會在競爭狀態(tài)下發(fā)生，但當(dāng)對手部署沒有紅星的裝甲車以避免被發(fā)現(xiàn)時，這種影響就會在沖突中體現(xiàn)出來。此外，對手可以在民用車輛上涂上紅星，以誘導(dǎo)我們的人工智能系統(tǒng)錯誤地將平民識別為戰(zhàn)斗人員。

可以通過多種方式確保我們的系統(tǒng)正確學(xué)習(xí)。詳細(xì)的數(shù)據(jù)管理可以幫助減輕風(fēng)險，但會消耗寶貴的時間和資源。相反，可擴展的解決方案包括數(shù)據(jù)治理策略，以提高用于 AI 系統(tǒng)的數(shù)據(jù)的完整性和代表性。在 AI 生命周期的所有階段，適當(dāng)放置技術(shù)控制和訓(xùn)練有素的人員將進(jìn)一步降低中毒攻擊的風(fēng)險。

下一種攻擊類型—一規(guī)避，依賴于類似的基本攻擊原理，但在 AI 系統(tǒng)運行時部署它們。規(guī)避攻擊不是毒化 AI 正在學(xué)習(xí)的內(nèi)容，而是針對 AI 學(xué)習(xí)的應(yīng)用方式。這聽起來可能微不足道。但是，它對攻擊者成功所需的資源以及防御者需要采取的行動具有重大影響。在投毒攻擊中，攻擊者需要控制或操縱用于訓(xùn)練模型的數(shù)據(jù)的能力。在規(guī)避攻擊中，攻擊者至少需要能夠在操作期間控制 AI 系統(tǒng)的輸入。

規(guī)避攻擊非常適合計算機視覺應(yīng)用，例如面部識別、對象檢測和目標(biāo)識別。一種常見的規(guī)避技術(shù)涉及稍微修改某些圖像像素的顏色，以攻擊系統(tǒng)如何應(yīng)用它所學(xué)到的知識。在人眼看來，似乎什么都沒有改變；然而，人工智能現(xiàn)在可能會對圖像進(jìn)行錯誤分類。研究人員展示了這種技術(shù)的效果，當(dāng)一個先前正確識別熊貓圖像的人工智能被顯示看起來是相同的圖像但在整個圖像中添加了人眼無法察覺的顏色時，它被操縱了。人工智能不僅將熊貓誤認(rèn)為是長臂猿，而且非常自信。

還可以訪問系統(tǒng)輸出或預(yù)測的攻擊者可以開發(fā)出更強大（所有熊貓圖像都被錯誤識別）或有針對性（所有熊貓都被視為另一種特定動物）的逃避方法。

規(guī)避攻擊原理也可以在物理世界中使用——例如，戴上特制的太陽鏡來遮擋或改變你在面部識別攝像頭上的圖像，這與偽裝背后的原理相同。在這種情況下，對手的目標(biāo)是模型的感知而不是人類的感知。在軍事環(huán)境中，如果對手知道我們的 AI 瞄準(zhǔn)系統(tǒng)是在帶有沙漠偽裝的坦克上訓(xùn)練的，那么對手的坦克可以簡單地重新涂上林地偽裝，以故意逃避我們的 AI 系統(tǒng)的檢測。人工智能增強的自主偵察系統(tǒng)現(xiàn)在可能無法有效識別目標(biāo)，也無法為指揮官提供及時準(zhǔn)確的情報。

規(guī)避攻擊是研究最廣泛的對抗性方法之一，因此防御所有可能的攻擊媒介將被證明具有挑戰(zhàn)性。然而，強化我們的人工智能系統(tǒng)的步驟可以增加我們對它們按預(yù)期運行的整體信心。其中一個步驟是在部署之前實施評估工具。這些工具針對各種已知的對抗性方法測試 AI 系統(tǒng)，為我們提供對其穩(wěn)健性的定量測量。在操作過程中盡可能保持人員參與也可以減輕規(guī)避攻擊。

前兩類攻擊在開發(fā)和操作期間針對 AI 系統(tǒng)具有相似的基本原則。這些攻擊也與欺騙和偽裝等傳統(tǒng)軍事概念有著天然的相似之處。然而，人工智能系統(tǒng)面臨的風(fēng)險并不那么簡單，在開發(fā)和運營之外還存在潛在的漏洞。人工智能系統(tǒng)在維護或存儲時存在哪些漏洞？如果對手通過網(wǎng)絡(luò)入侵或在戰(zhàn)場上捕獲下一代支持人工智能的無人機來訪問人工智能系統(tǒng)，會有什么風(fēng)險？

在稱為逆向工程的攻擊類別中，攻擊者攻擊 AI 系統(tǒng)的目的是提取 AI 系統(tǒng)所學(xué)的內(nèi)容，并最終使模型得以重建。要進(jìn)行逆向工程攻擊，對手需要能夠?qū)⑤斎氚l(fā)送到模型并觀察輸出。這種攻擊繞過了模型本身的任何加密或混淆。對于我們假設(shè)的目標(biāo)識別 AI，這種攻擊可以由對手發(fā)出不同類型的車輛（輸入）并觀察哪些車輛引起 AI 的響應(yīng)（輸出）來進(jìn)行。雖然這種攻擊需要時間并冒著資源損失的風(fēng)險，但最終對手將能夠了解目標(biāo)識別模型認(rèn)為什么是威脅。

有了這些信息，對手就可以開發(fā)出自己的人工智能系統(tǒng)版本。除了使其他對抗性攻擊更容易開發(fā)之外，直接了解人工智能如何做出決策還使對手能夠預(yù)測我們的反應(yīng)或完全避免它們。這種對我們?nèi)斯ぶ悄茉鰪姏Q策過程的洞察力將對我們在整個沖突過程中的運營安全構(gòu)成重大威脅。

保護我們的系統(tǒng)免受逆向工程可能很困難，特別是因為任務(wù)要求可能要求系統(tǒng)允許許多查詢或加權(quán)輸出，而不是簡單的二元決策。這凸顯了需要一系列量身定制的政策來管理與對抗性方法相關(guān)的風(fēng)險。這些可能包括對支持人工智能的系統(tǒng)的嚴(yán)格問責(zé)，特別是那些部署在邊緣的系統(tǒng)，如無人機或智能護目鏡。此外，我們可以通過只允許授權(quán)用戶查看系統(tǒng)輸出來施加訪問限制。

最后一類攻擊，稱為推理攻擊，與逆向工程有關(guān)。對手不是試圖恢復(fù) AI 系統(tǒng)學(xué)到的東西，而是試圖提取 AI 系統(tǒng)在其學(xué)習(xí)過程中使用的數(shù)據(jù)。這是一個微妙但有意義的區(qū)別，對在敏感或分類數(shù)據(jù)上訓(xùn)練的模型具有重要意義。

為了進(jìn)行推理攻擊，與逆向工程一樣，對手需要能夠?qū)⑤斎氚l(fā)送到模型并觀察輸出。通過一組輸入和輸出，對手可以訓(xùn)練一個對抗性 AI，該 AI 預(yù)測是否使用給定的數(shù)據(jù)點來訓(xùn)練我們的友好模型。

想象一下，我們的目標(biāo)識別 AI 是根據(jù)對手新武器系統(tǒng)的機密圖像進(jìn)行訓(xùn)練的。使用推理攻擊，對手可以得知該武器系統(tǒng)的機密性已被泄露。換句話說，對我們的人工智能系統(tǒng)的推理攻擊可能會促進(jìn)機密情報的妥協(xié)。如果在對抗期間這樣做，可能會對危機和沖突產(chǎn)生重大影響。

與逆向工程非常相似，管理與推理攻擊相關(guān)的風(fēng)險將主要通過策略決策來處理。除了訪問策略決策之外，在 AI 系統(tǒng)的訓(xùn)練中何時使用敏感或機密數(shù)據(jù)、使用什么類型的數(shù)據(jù)以及使用多少數(shù)據(jù)等問題，也將面臨艱難的決策。這些決策需要平衡性能與風(fēng)險，以開發(fā)仍能滿足任務(wù)要求的人工智能系統(tǒng)。

當(dāng)然，這顯然不是對所有對抗方法的詳盡解釋。然而，這個框架應(yīng)該提供一個充分的概述，領(lǐng)導(dǎo)者可以借此探索將人工智能系統(tǒng)整合到我們的隊伍中的積極和消極的全部影響。美國和我們的對手都在追求這項技術(shù)，以在未來的戰(zhàn)略競爭中獲得不對稱優(yōu)勢，雙方都無法贏得這樣的優(yōu)勢。

當(dāng)我們考慮技術(shù)和不對稱優(yōu)勢時，從第一原則開始并考慮對“原材料”的相對獲取是有用的。在人工智能系統(tǒng)中，原材料是數(shù)據(jù)——大量的數(shù)據(jù)。美國是否可以獲得與我們的對手相同質(zhì)量和數(shù)量的數(shù)據(jù)？鑒于美國國家安全中圍繞隱私和數(shù)據(jù)安全的法律因素和社會規(guī)范——它們本身就是關(guān)鍵話題——答案顯然不是“是”。這表明美國在人工智能系統(tǒng)的開發(fā)和部署方面將處于固有劣勢。

訓(xùn)練有素的人員是人工智能系統(tǒng)的另一個關(guān)鍵資源。正如美國陸軍已確定其“以人為本”戰(zhàn)略，擁有合適的人員對于美國在戰(zhàn)略競爭中的成功至關(guān)重要。美國在工業(yè)、學(xué)術(shù)界和軍隊方面都有人才。能否招募、留住這些人員，并將其用于解決棘手的國家安全問題，這是一個值得深思的懸而未決的問題。在短期內(nèi)，應(yīng)該識別已經(jīng)在我們的隊伍中的有才華的人，并且應(yīng)該同步各個組織在人工智能方面的不同努力。

人工智能是一種工具。像任何其他工具一樣，它具有固有的優(yōu)勢和劣勢。通過對這些優(yōu)勢和劣勢進(jìn)行深思熟慮和現(xiàn)實的評估，美國可以在人工智能的風(fēng)險和回報之間找到最佳平衡。雖然人工智能可能無法提供美國在戰(zhàn)略競爭中尋求的最大不對稱優(yōu)勢，但我們也不能將技術(shù)讓給在該領(lǐng)域大量投資的對手.。相反，美國可以而且應(yīng)該支持人工智能的道德使用，促進(jìn)對強大人工智能的研究，并為人工智能系統(tǒng)開發(fā)防御性最佳實踐。在了解人工智能系統(tǒng)的脆弱性和局限性的基礎(chǔ)上實施這些行動和其他行動，將引導(dǎo)美國更有效地將人工智能納入大國競爭時代的戰(zhàn)略。