引入

所謂蹺蹺板問題，就是說多目標優化的時候，任務A優化好了，結果發現任務B效果不好。

帕累托最優：Pareto efficiency或Pareto Optimality，代表了一種多目標優化任務中的理想狀態。每次迭代的時候求一個可執行域，可執行域保證每個任務都是有優化的，然后在這個可執行域迭代求個任務的最優解；這個方法簡單粗暴，解決多目標優化構建了一個監督信號，只要能收斂肯定保證了多個目標都得到了比初始值好的效果，但就是很容易不收斂，甚至可執行域都求不出來。

現有研究方向

1. 改進模型架構：PLE、MT-DNN、FDN（北大，AAAI '23）、STEM（騰訊，AAAI '24）、small tower（谷歌）

2. 優化底層算法：改進優化并在非凸損失表面上找到更好的局部最優值。Gradient Surgery for Multi-Task Learning (NeurIPS 2020)

論文一： FDN

背景

盡管PLE模型通過任務的共享特征和特有特征一定程度上緩解了”蹺蹺板“問題，但是在實際的業務當中對PLE模型的使用發現，對于其論文中提出的顯式劃分，可能在模型訓練的過程當中不能很好地來緩解由于“蹺蹺板”所引起的負遷移問題。

什么是負遷移問題？

在各個參與多任務學習的專家網絡角色，由于沒有受到很好的約束，因此其表征出來的特征分布會出現特征放置位置錯誤的現象，即任務A的特征信息中存在任務B特有特征或者任務間可共享的特征，共享特征信息和任務B的特征信息同樣亦如此，如下圖(a)所示，這種現象，被稱為“特征冗余”現象。由于“特征冗余”現象的存在，從而導致多任務學習負遷移問題的產生。因此，“特征冗余”現象被認為是多任務學習中負遷移問題的根本原因所在。

而在理想的條件下，我們希望在多任務學習中的特征分布下圖(b)所示，這樣會極大地緩解多任務學習中存在的負遷移問題。

方法

借鑒 PLE 中 expert 共享和獨有的思路，對每個 task 進行引入各自的 expert，并將各自 task 的 expert 分為共享和獨有兩部分，所有 task 共享的部分組合得到整體共享的 expert，每個 task 的輸入由各自 task 獨有的 expert 和整體共享的 expert 進行組合得到。FDN模型的關鍵部分包括特征分解對模塊和三個約束條件（正交約束、輔助任務約束和特征共享約束）

模型對每個task的學習可以表示為式子(1)，其中task的輸入由共享和獨有兩種特征表征組合：

s、p、g分別為共享、獨有專家和組合函數

特征分解對

如前所示，“特征冗余”是多任務學習中負遷移問題產生的原因，而對于原始的特征輸入，我們認為其中既包含了任務間的共享信息，也包含了任務的特有信息，因此，我們設計了一個特征分解對模塊。如圖2右側所示，特征分解對本質上包含了兩個專家網絡，一個負責抽取任務間可共享信息，一個負責抽取任務特有特征信息。通過這種顯式的劃分，將特征抽取分工明確化。

三個約束條件

簡單的設計DCP模塊無法完成對共享特征和任務特有特征的顯式分解。因此，為了使DCP模塊中的共享和獨有的 expert 網絡捕獲的信息互補，FDN 引入了兩個輔助 loss：一個正交約束條件，使其能夠盡可能將兩個專家表達的信息表征相關性降低，參考了CV領域中生成對抗中用到的正交約束損失函數：

(1) 正交 loss，對 task 共享和獨有的 expert 表征通過Frobenius范數正交得到 loss。

其中K表示task的數量，M表示task k的特征分解對(DCP)數量，f^m_s為表示task k的第m個task共享的特征表征。

(2) 輔助 task loss，對 task 獨有的 expert 表征采用 task 本身的 loss，使 task 獨有的 expert 可以更好地表征 task 本身的獨特性。

其中L_(k,m） 為task k的輔助loss函數，可以選擇和主loss保持一致，y_k為task k的真實標簽，\hat{y}^k_m 為task k中第m個獨有特征表征的task預估

(3) feature fusion約束：經過上述兩個約束后，將原始特征輸入分解為了任務特有特征和另外一部分“準”共享特征，由于在實際業務環境中，原始特征輸入可能包含一些噪聲信息，因此，該“準”共享特征不能直接作為模型最終各個任務的共享特征存在，為了將其中的噪聲進行剔除，我們為所有的“準”共享特征設計了一個特征融合模塊，特征融合模塊的主要作用是將其進行共享特征“提純”，提純之后的數據表征分別流向了各個任務來參與任務的預估表達，該設計被認為是特征共享約束。

實驗

實驗結果如表 2 所示。FDN 在 CTR 和 CVR 上都優于其他模型。

為了展示 FDN 如何更好地解耦任務特定特征和任務共享特征，將專家的特征投影到 2D 空間中并繪制 tSNE（Hinton 2008） 圖（一種非線性降維技術，用于將高維數據嵌入 2D 或 3D 空間以進行可視化），圖 3 顯示 FDN 比其他 SOTA 模型更清楚地區分任務特定特征和任務共享特征。

論文二： Samll tower

背景：

多個目標會相互影響，導致震蕩---你降我升，我升你降。甚至有時還會出現Nan的結果，需要很仔細的調參測試+清洗數據才能訓練出一個理想的模型。

兩個問題：

1.over-parameterization對單任務模型是有價值的，那邊對多任務模型是否成立？

這里以將多個目標的線性組合作為優化目標的例子，認為over-parameterization能夠幫助處理各任務優化目標之間的沖突問題（既減少蹺蹺板問題的出現）。

2.大型模型和小型模型進行多目標學習中表現對比？

通過大量對比實驗，不論是增加任務相關結構的復雜度，還是增加任務共享結構的復雜度，Pareto frontier都會呈現先變好再變差的趨勢。

因此，文章認為over-parameterization并不利于多目標學習中的共享性，進而傷害了多目標學習中的泛化能力。

因此，在多目標學習中，模型大小實質上是對模型有效性和泛化能力的一種平衡

方法

under-parameterized self-auxiliaries的模型結構：利用很少的參數來學習相同的label，從而迫使模型能夠學習到更好的泛化性。由于這個辦法不涉及模型的變更以及label的變更，所以適應性很強。

通過使用較小的模型來提高任務對不同的泛化能力。（任務量變成了原來的兩倍，但是其中有一半任務是under-parameterized，因此也就降低了模型over-parameterized對共享性的破壞力）。

文章認為，這種通過強迫模型學習共享層來提高復數任務的的結構也是一種正則化的手段。

實驗

分別在小/中/大型模型上加入small tower后，兩個任務目標的準確性變化

參考文獻：

FAN： https://arxiv.org/pdf/2302.05031

samll tower：https://arxiv.org/pdf/2008.05808