MoCo V2：MoCo系列再升級
何凱明從 CVPR 2020 上發表的 MoCo V1（Momentum Contrast for Unsupervised Visual Representation Learning），到前幾天掛在arxiv上面的 MoCo V3（An Empirical Study of Training Self-Supervised Visual Transformers），MoCo一共走過了三個版本。
今天介紹 MoCo 系列第二版 MoCo v2 就是在 SimCLR 發表后結合了 SimCLR 優點的圖像自監督學習方法，MoCo v1 和 v2 是針對 CNN 設計的，而 MoCo v3 是針對 Transformer 結構設計的，反映了 MoCo 系列對視覺模型的普適性。
[TOC]
MoCo V2 的改進
在 SimCLR v1 發布以后，MoCo的作者團隊就迅速地將 SimCLR 的兩個提點的方法移植到了 MoCo 上面，想看下性能的變化，也就是 MoCo v2。結果顯示，MoCo v2 的結果取得了進一步的提升并超過了 SimCLR v1，證明 MoCo 系列方法的地位。因為 MoCo v2 文章只是移植了 SimCLR v1 的技巧而沒有大的創新，所以作者就寫成了一個只有2頁的技術報告，還有長長的一頁引用了大量文章。
有興趣的讀者可以參考MoCo V2的文章，Improved Baselines with Momentum Contrastive Learning。
MoCo V2 之前的相關工作
動量對比（MoCo V1）表明，無監督預訓練可以在多個檢測和分割任務中超過其圖像監督的預訓練，而 SimCLR 進一步減少了無監督和監督預訓練表示之間的線性分類器性能差距。
SimSLR仍然采用端到端的方法，如圖（a）的方式，不過在三個方面改進了實例識別的端到端變體：(i)一個更大的批(4k或8k)，可以提供更多的負樣本；(ii)用MLP頭替換輸出fc投影頭；(iii)更強的數據增強。
在 SimCLR 中具體的來說，就是使用強大的數據增強策略，額外使用了 Gaussian Deblur 的策略和使用巨大的 Batch size，讓自監督學習模型在訓練時的每一步見到足夠多的負樣本 (negative samples)，這樣有助于自監督學習模型學到更好的 visual representations。
使用預測頭 Projection head。在 SimCLR 中，Encoder 得到的2個 visual representation再通過Prediction head 進一步提特征，預測頭是一個 2 層的 MLP，將 visual representation 這個 2048 維的向量 h_i, h_j 進一步映射到 128 維隱空間中，得到新的representation z_i, z_j。利用表征向量 z_i, z_j 去求 Contrastive loss 完成訓練，訓練完畢后扔掉預測頭，保留 Encoder 用于獲取 visual representation。
我們繼續根據 end-to-end 的方法來繼續展開。圖中 End-to-end 的方法：一個Batch的數據假設有 N 張 image，這里面有一個樣本 query q 和它所對應的正樣本 k+， q 和 k+ 來自同一張圖片的不同的 Data Augmentation，這個Batch剩下的數據就是負樣本 (negative samples)。接著將這個 Batch 的數據同時輸入給2個架構相同但參數不同的 Encoder f_q 和 Encoder f_k。然后對兩個 Encoder的輸出使用 Contrastive loss 損失函數使得 query q 和正樣本 k+ 的相似程度盡量地高，使得 query q 和負樣本 k- 的相似程度盡量地低，通過這樣來訓練Encoder f_q 和 Encoder f_k，這個過程就稱之為自監督預訓練。訓練完畢后得到的 Encoder 的輸出就是圖片的 visual representation。
End-to-end 方法的缺點是：因為 Encoder f_q 和 Encoder f_k 的參數都是通過反向傳播來更新的，所以 Batch size 的大小不能太大，否則 NPU 顯存就不夠了。Batch size 的大小限制了負樣本的數量，也限制了自監督模型的性能。SimCLR 是 Google 提出的，有龐大的TPU集群加持，肯定不愁吃不愁穿，但是普通老百姓肯定不能這樣。
MoCo V2 直接上實驗
回到今天的主角身邊，MoCo v2 的亮點是不需要強大的 Google TPU 加持，僅僅使用 8-GPU 就能超越 SimCLR v1 的性能。v2 將 SimCLR的兩個提點的方法 (a 使用預測頭 b 使用強大的數據增強策略) 移植到了 MoCo v1上面，實驗如下。
訓練集：ImageNet 數據集。
評價手段：
- Linear Evaluation：Encoder (ResNet-50) 的參數固定不動，在Encoder后面加分類器（具體就是一個FC層+softmax激活函數），使用全部的 ImageNet label 只訓練分類器的參數，而不訓練 Encoder 的參數)。看最后 Encoder+分類器的性能。
- VOC 目標檢測 使用 Faster R-CNN 檢測器 (C4 backbone)，在 VOC 07+12 trainval set 數據集進行 End-to-end 的 Fine-tune。在 VOC 07 test 數據集進行 Evaluation。
使用預測頭
預測器 Projection head 分類任務的性能只存在于自監督的預訓練過程，在 Linear Evaluation 和下游任務中都是被去掉的。MoCo V1 的 Encoder 簡單使用了 ResNet50，然后輸出通過 L2-norm 處理得到最后的輸出。在 MoCo V2 中把 ResNet 中輸出與1000分類相關的FC層換成了兩層的 FC + Relu，隱藏層為2048維。
Linear Evaluation 結果如下圖：
圖中的 τ 就是損失函數對應的 τ 。在使用預測器且 τ=0.07 時精度從 from 60.6% to 62.9%。
數據增強策略
對數據增強策略，作者在 MoCo v1 的基礎上又添加了 blur augmentation，發現更強的色彩干擾作用有限。只添加 blur augmentation 就可以使得 ImageNet 分類任務的性能從 60.6% 增長到 63.4%，再加上預測頭 Projection head 就可以使性能進一步漲到67.3%。
小結
MoCo v2 把 SimCLR 中的兩個主要提升方法：1）使用強大的數據增強策略，具體就是額外使用了 Gaussian Deblur 的策略；2）使用預測頭 Projection head 到 MoCo 中，并且驗證了 SimCLR 算法的有效性。最后 MoCo v2 的結果更優于 SimCLR v1，證明 MoCo 系列自監督預訓練方法的高效性。
引用
[1] Hadsell, Raia, Sumit Chopra, and Yann LeCun. "Dimensionality reduction by learning an invariant mapping." 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). Vol. 2. IEEE, 2006.
[2] Chen, Ting, et al. "A simple framework for contrastive learning of visual representations." International conference on machine learning. PMLR, 2020.
[3] He, Kaiming, et al. "Momentum contrast for unsupervised visual representation learning." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020.
[4] Chen, Xinlei, et al. "Improved baselines with momentum contrastive learning." arXiv preprint arXiv:2003.04297 (2020).
浙公網安備 33010602011771號