Yaocylulu

 Adversarial Examples for Semantic Segmentation and Object Detection

（語義分割和目標檢測中的對抗樣本）

作者：Cihang Xie, Jianyu Wang, Zhishuai Zhang, Yuyin Zhou, Lingxi Xie, Alan Yuille, Department of Computer Science, The Johns Hopkins University, Baltimore, MD 21218 USA Baidu Research USA, Sunnyvale, CA 94089 USA

機構：The Johns Hopkins University（美國約翰霍普金斯大學）

全文鏈接：https://arxiv.org/abs/1703.08603

摘要：對抗樣本：給自然圖片加入視覺不可見的噪聲，可能導致深層網絡無法對圖像進行正確分類。

如上樣本x的label為熊貓，在對x添加部分干擾后，在人眼中仍然分為熊貓，但對深度模型，卻將其錯分為長臂猿，且給出了高達99.3%的置信度。

在本文中，我們將對抗樣本擴展到語義分割和目標檢測中。分割和檢測都是建立在對圖像目標分類的基礎上，比如分割是對目標區域或者像素進行分類，目標檢測是對目標proposal分類。思考是否能在一組像素/proposal的基礎上優化損失函數，以產生對抗樣本。以此為基礎，本文提出了一種新的算法：密度對抗生成網絡 (DAG)，它產生了大量的對抗樣本，并應用于最先進的分割和檢測深度網絡上。實驗發現，對抗樣本可以在具有不同訓練數據、不同架構、甚至不同識別任務的網絡之間傳遞的特性（對抗樣本是相對魯棒的, 即神經網絡A生成的對抗樣本，在神經網路B下仍然是，即使B是不同的網絡結構、超參、和訓練數據。因此，神經網絡含有一些內在的盲點和非顯示的特征，其結構與數據分布相關）。實驗證明：具有相同結構的網絡的可移植性更強大。對非均勻擾動進行累加，能獲得更好的傳遞性，為黑盒對抗攻擊提供了一種有效的方法。

介紹：深度網絡在視覺識別和特征表示方面取得了成功，但它們往往對輸入圖像的微小擾動非常敏感。添加視覺上不可感知的噪聲會導致圖像分類失敗。這些添加噪聲的圖像，通常被稱為對抗樣本。噪聲落在大的高維特征空間的一些區域，而這些區域在訓練過程中沒有被探索。因此，研究這一問題不僅有助于理解深層網絡的工作機制，而且為提高網絡訓練的魯棒性提供了機會。

本文生成了用于語義分割和目標檢測的對抗樣本，并展示了它們的可移植性。這個問題很難，因為需要考慮更多目標（例如像素或proposal）的數量級。

基于每個目標都需要經歷一個單獨的分類的過程，作者提出了DAG。DAG是一種同時考慮所有目標并優化整體損失函數的算法。它的實現很簡單，只需要為每個目標指定一個對抗性標簽，并執行迭代梯度反向傳播。

在檢測中產生對抗樣本比在分割中更困難，因為在目標檢測中，目標的數量要大幾個數量級。對于有k個像素的圖像，可能的proposal數量是O（k^2），而像素只有O（k）。如果只考慮proposal的一個子集，在提取出一組新的proposal后，擾動圖像仍然可以被正確識別。為了增加攻擊的魯棒性，在優化中改變IOU率來保護一個在持續增加的合理的proposal數量。在實驗中驗證了當原始圖像上的proposal足夠密集時，擾動圖像上產生的新proposal很可能也會產生錯誤的識別結果。

隨著網絡，數據，任務的差異增大，DAG產生的擾動在一定程度上的傳遞難度增大，但DAG產生的擾動在一定程度上能夠傳遞。有趣的是，加入兩個或更多的擾動可以顯著提高可移植性，為一些未知結構和/或屬性的網絡實施黑盒對抗攻擊提供了一種有效的方法。

本文算法：

1. DAG。

X代表圖片。

代表X的N個檢測目標

代表N個檢測目標的標簽，用表示。

 f( X, tn) ∈R^C 去表示X的第n個目標的分類分數向量（在softmax之前）。生成對抗樣本的目標是，對所有目標的預測結果都為錯。比如對于每個n：

這里的r代表加入X的噪聲。

為了這個目的，干脆給每個目標加入一個對抗標簽l’n。l’n是從其他錯誤標簽里隨機選的。

 用表示。

函數π用來表示這一隨機選擇排列函數。π：。所以：。

包括所有目標的損失函數可以寫為：

通過是的所有目標都被錯誤預測能夠使得L最小化：抑制正確分類，促進期望分類（即對抗分類）。

使用梯度下降來實現最優化。在第m次迭代中，表示當前圖像（可能在添加了幾個擾動之后）為Xm。把正確預測的叫做active target set：

然后計算關于輸入數據的梯度，然后累積所有這些擾動：

注意：就算m增大時，這樣就大大減少了開銷。

為了避免數值不穩定，標準化：

γ＝0.5是固定的超參數。

然后，我們將添加到當前圖像Xm，并繼續下一個迭代。

 如果所有的目標都被預測為期望結果（即對抗結果），則算法終止 ，即，；或達到最大迭代次數，分割任務設為200，檢測任務設為150。

最后的擾動r=。注意，在實踐中我們通常會把原圖減 去均值 作為輸入圖像。所以最終的對抗圖像是 。 代表把每個像素歸一化到[0,255]之間。

 算法流程如下：

2. 為目標檢測算法選擇輸入proposal。

DAG算法的一個關鍵問題是選擇一個合理的τ集作為目標。

在語義分割任務中這個問題容易，目標是對所有像素產生不正確的分類，因此我們可以將每個像素設置為一個單獨的目標，比如對圖像點陣進行密集采樣，這樣計算復雜度與像素總數成正比。

在場景中的目標檢測中，目標選擇就很難了。因為整個可能的目標（邊界盒子的proposal）在數量級上比語義分割大。用簡單點的方法，只考慮通過一個sideway網絡產生的proposal。比如：regional proposal 網絡（RPN，是fast-RCNN結構中的一部分）。但是發現在對抗擾動r加入到原圖像X中時，可能會因為新的輸入X+r產生一個新的proposal，而且網絡可能仍然能夠正確地對這些新提議進行分類。為了解決這一問題，我們通過增加RPN中NMS（非極大值抑制）的閾值，使proposal變得非常密集。

在實踐中把IOU從0.7調到0.9，每張圖片的proposal從300張上升到3000張。使用這個更密集的目標集τ，最有可能的目標邊界框，至少和一個輸入proposal之間的距離只有一個像素，這樣可以使得分類錯誤在相鄰邊界框之間轉移。

從技術上講，考慮RPN生成的proposal，保留所有positive proposals并丟棄其余的。positive proposals滿足以下兩個條件：（1）與最接近的真實物體框之間的IOU大于0.1。（2）對應的ground-truth的類別的置信度得分大于0:1。如果兩個條件都適用于多個ground-truth 目標，選擇IOU大的。proposals的標簽被定義為相應的置信度類。該策略旨在為算法1選擇高質量的目標。

3. 定量評估。

通過測量識別準確率的下降來評估本文方法，即使用原始測試圖像和添加對抗性擾動后的圖像，分別測量：均值IOU(mIOU)用于語義分割，均值平均精度(mAP)用于目標檢測。