看這個就夠了

我們完全搞懂對比學(xué)習(xí)了嗎？

在實驗室做了一年多的眼底圖像課題，主要是研究如何無監(jiān)督的進(jìn)行疾病分級。無監(jiān)督的圖像分類(分級)其實在自然圖像已經(jīng)研究了很長時間，但是醫(yī)學(xué)圖像和自然圖像不同，往往尺寸超級大而且大小不一，然后圖像的特征都很相似，比如一張疾病的眼底圖像和健康的眼底圖像，其實結(jié)構(gòu)和大體特征是一樣的，病灶區(qū)域通常很小。

一般來說通常做法是統(tǒng)一大小，然后讓分類模型自己學(xué)習(xí)病灶特征，顯然其中有很多問題，這不是今天要討論的。

今天想總結(jié)的是當(dāng)無監(jiān)督式對比學(xué)習(xí)應(yīng)用到其他領(lǐng)域，諸如眼底圖像時，所引起我對對比學(xué)習(xí)的思考。

首先一個大問題就是：怎樣的視角對于對比學(xué)習(xí)來說是好的視角，或者說如何設(shè)計對比學(xué)習(xí)才是有益的？

? 好與壞，這是一個定性問題，當(dāng)我想把這個問題定量化時，出現(xiàn)了很大的問題。對比學(xué)習(xí)是一種無監(jiān)督的方法，最終模型獲得的是特征representation，本來我打算通過做一個下游任務(wù)量化這種特征表達(dá)能力。但是上游特征提取的好，下游病灶分級就一定有提升嗎？或者說下游病灶分級有提升，就能反過來證明特征表達(dá)能力有提高嗎？對于自然圖像或許是，但是對于眼底，其實并不。

? 我們可以簡單將眼底特征理解為結(jié)構(gòu)特征+域特征+病灶特征。域特征或者叫域差異其實可以不考慮，因為對于同一張眼底來說，用兩份數(shù)據(jù)增強做出兩個視角，其實就相當(dāng)于是人為制造兩個差異域了，對比學(xué)習(xí)不正擅長從這兩個差異域中學(xué)到核心不變特征嗎？

? 但是結(jié)構(gòu)特征就是一個令人頭疼的問題，如何讓對比學(xué)習(xí)少學(xué)甚至不學(xué)結(jié)構(gòu)特征，更關(guān)注于小區(qū)域的病灶呢？目前我做的方法是完全打破眼底結(jié)構(gòu)，讓對比學(xué)習(xí)無法輕易學(xué)結(jié)構(gòu)信息，大體上就是分patch。那么如何讓對比學(xué)習(xí)學(xué)病灶信息呢？就是相近位置的眼底patch，健康和病灶patch對比。這樣一來可以學(xué)病灶信息，二來不學(xué)結(jié)構(gòu)信息，第三還可以免去整張圖像輸入模型對比學(xué)習(xí)batchsize小的煩惱。
? 因此，我們尋求具有足夠不變性的表示，以對無關(guān)緊要的變化具有魯棒性，但而不是丟棄下游任務(wù)所需的信息。而視角的選擇控制了特征表示中包含的信息，在對比學(xué)習(xí)中，我們通常關(guān)注于視角之間的相同信息。視圖通常是不同的感覺信號，如照片和聲音，或不同的圖像通道或時間中的切片，但也可能是相同的數(shù)據(jù)張量的不同的“增強”版本。如果共享的信息很小，那么學(xué)習(xí)到的表示可以丟棄更多關(guān)于輸入的信息，并對有害的變量實現(xiàn)更大程度的不變性。我們?nèi)绾尾拍苷业秸_的觀點平衡，只分享我們需要的信息，不多也不少？

? 一組良好的視圖是那些共享在下游任務(wù)中執(zhí)行良好所需的最小信息的視圖。這一想法與最小充分統(tǒng)計量和信息瓶頸理論的思想有關(guān)，這已經(jīng)在表示學(xué)習(xí)文獻(xiàn)中闡明。這一原則也補充了已經(jīng)流行的“InfoMax原則”，該原則指出，表征學(xué)習(xí)的目標(biāo)是要盡可能多地獲取關(guān)于刺激的信息。我們認(rèn)為，最大化信息只有在信息與任務(wù)相關(guān)的情況下才有用。除此之外，學(xué)習(xí)拋出關(guān)于討厭變量信息的表示是更好的，因為它可以提高泛化效果，并降低下游任務(wù)的樣本復(fù)雜性