z今天分享一篇發表在MICCAI 2019上的論文：

Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation

http://www.rzrgm.cn/CZiFan/p/13180440.html 

1 研究背景

訓練網絡  大量標簽數據， 然而  分割任務 標注成本高，因此 半監督方法。

這篇文章針對3D MR圖像的左心房分割任務　　提出了不確定性感知自增強模型，有效地利用無標簽數據。

1. 對于有標簽數據，學生模型 (student model)進行有監督學習。　

2. 對于無標簽數據，通過教師模型 (teacher model)預測分割圖，作為學生模型 (student model)的學習目標，并同時評估學習目標的不確定性。

3. 基于學習目標的不確定性，采用一致性損失函數提高學生模型的性能。

　　　采用了指數移動平均 (exponential moving average, EMA)策略來提高教師模型的預測結果

2 方法

1. 半監督分割 (Semi-supervised segmentation)

監督損失部分（交叉熵損失）Ls+Lc  教師模型和學生模型之間的無監督損失部分

2. 不確定性感知 (Uncertainty-Aware Mean Teacher Framework)

教師模型對于無標簽數據的預測結果是不確定性且有噪聲的，而這些預測結果將作為學生模型學習的一部分(Lc)。

因此作者設計了不確定性感知策略使得學生模型能夠逐漸學習更加可靠的目標。

具體地，對于訓練圖像，教師模型不僅要預測它們的分割圖，還要評估它們的不確定性。

然后學生模型在學習中只選取其中具有更低的不確定性（更加可靠）的數據計算一致性損失 (consistency loss)。

2.3.1 不確定性評估 (Uncertainty Estimation)

不確定評估是由教師模型生成的，具體有：
1. 對于每一個輸入數據，進行 T 次前向傳播獲得預測結果，每一次都隨機對輸入數據加入高斯噪聲或者在網絡中加入隨機dropout。因此每一個體素都有 T 個預測結果，可以表示為『Pt』_t=1^T

2. 采用預測熵 (predictive entropy)大致近似不確定性

P_t^c表示對在第 t 次前向傳播中對屬于第 c 類別概率的預測，最終可以構成一個不確定性張量 U，『u』的集合。

先算出T次向前傳播后的預測值，然后使用了一個信息熵公式求出不確定性

2.3.2 基于不確定性的一致性損失函數 (Uncertainty-Aware Consistency Loss)

有了上一步的教師模型預測的不確定性結果U，可以過濾掉相對不確定的預測，而選取相對可靠的預測作為學生模型的學習目標。