后深度學習時代下，技術迭代全面進入深水區，以提升模型復雜度為主體的廣告預估模型優化已經不再奏效。美團到店廣告質量預估團隊緊密結合業務特點，發揮深度模型結構靈活多變的優勢，實現了進一步破局。
本文先介紹了美團業務的LBS空間距離約束和長周期性兩大挑戰，然后介紹了上下文、用戶、廣告、訓練方式四個維度的應對方案，具體如下四個技術突破：a.基于位次組合的上下文偏差感知預估；b.基于時空依賴的超長序列建模；c.廣告候選動態化；d.災難遺忘與持續學習，帶動線上指標顯著提升的同時，整理為論文發表在SIGIR、CIKM等國際頂級會議。最后，基于新一輪理解，提出推理量級動態化、評估指標差異化等預估技術新趨勢。

• 背景與簡介

• 1. 背景

• 2. 業務特點與挑戰

• 3. 預估技術簡介

• 預估技術突破

• 1. 上下文：基于位次組合的上下文偏差感知預估

• 2. 用戶：基于時空依賴的超長序列建模

• 3. 廣告：廣告候選動態化

• 4. 訓練方式：災難遺忘與持續學習

• 預估技術新趨勢

背景與簡介

1. 背景

點擊率/轉化率/交易額預估問題，是廣告/推薦領域的核心，預估值準確性與廣告/推薦平臺的營收和發展直接相關。因此，該方向吸引了學術界與工業界的廣泛研究，成為機器學習/深度學習技術應用最成功的領域之一。得益于大規模深度學習框架的推廣以及在圖像、NLP等方向的成功應用，深度學習技術被引入廣告和推薦領域，尤其在點擊率/轉化率/交易額預估問題上，取得了巨大成功，已經成為業界的主流方法。對比傳統的機器學習方法[1][2]，DNN（深度神經網絡）[3][4][5]兼具記憶與泛化性[6]，在擬合能力上體現出更大優勢。然而，經過幾年的發展，深度模型的優化變得越來越困難，既往“拿錘子找釘子”——單方面提升模型復雜度的模式已經不再奏效。在這種大背景下，如何打破新的瓶頸呢？美團到店廣告質量預估團隊在過去的兩年中不斷進行實踐和研究：通過與美團業務特點深度結合，發揮DNN結構設計靈活多變的優勢，大量新模型新技術噴涌而出，團隊探索出了一條破局之路。

2. 業務特點與挑戰

模型整體化方案設計同業務特點緊密相關，團隊的業務形態，主要場景覆蓋美團/大眾點評雙側的搜索廣告，篩選列表廣告，信息流廣告三種業務形式（如圖1所示），意圖依次從強到弱。每一個業務也具體包括餐飲、麗人、休閑娛樂、結婚、酒店等不同品類。豐富的業務特點使得算法需要從多個角度進行結合，為團隊不斷進行新模型的靈活設計提供了廣闊的空間。

圖1 美團/大眾點評雙平臺各自三種廣告形式

進一步理解業務特點，上述的O2O(Online to Offline)業務類型，將線下的商業機會與互聯網結合，同傳統的線上業務的核心差異在兩方面，一方面是Online to Offline中的“to”，從線上到線下過程中，用戶會重點考慮線上線下間的距離因素，因此空間維度的LBS(Location Based Service)距離約束是一個重要特點；另一方面是Online to Offline中的“Offline”，線下門店消費習慣，行為周期具有明顯時間維度特點，例如在月級別固定消費的美甲行為，因此長周期性為另一重要特點。基于以上O2O業務特點，模型整體建模設計有以下空間與時間維度兩方面的挑戰。a. LBS空間距離約束：特點：線上門店/商品需要在有限的距離約束下展示，不同空間位置差異性大。

挑戰：帶來了候選量差異大，上下文刻畫重要等挑戰。

b. 長周期性：特點：門店消費習慣具有周期性強，長期行為影響大等特點。挑戰：用戶的長期興趣建模挑戰大，并且因常規模型訓練方式較難學習周期性，訓練方式存在遺忘歷史信息挑戰。

3. 預估技術簡介

針對LBS距離約束與長周期性兩方面挑戰，下文將簡要介紹CTR(Click-through Rate)預估技術方案。從機器學習分類的角度理解，CTR預估是一個有監督機器學習問題：，最優預測函數被用戶()、廣告()、上下文()三個維度的函數輸入，以及訓練過程的函數求解()所決定，其中上下文包括了請求Query、請求列表上下文、請求地理位置等實時信息。如圖2所示，我們結合LBS距離約束和長周期性這兩個核心挑戰，對CTR預估建模函數（用戶、廣告、上下文和訓練過程）進行優化：

圖2 CTR預估建模關系圖

a. 函數輸入：上下文、用戶、廣告三方面建模基于位次組合的上下文偏差感知預估（上下文）：由于LBS距離約束挑戰，空間位置差異引起不同展示上下文影響大，因此利用深度位次交叉網絡將廣告和位次組合建模，并基于位次信息強化不同請求下的上下文偏差感知。基于時空依賴的超長序列建模（用戶）：針對長周期性與LBS距離約束兩方面挑戰，一方面基于預訓練機制實現了超長序列建模，捕獲用戶周期性行為；另一方面，實現行為序列的時間與空間聯合建模，優化LBS距離約束問題。廣告候選動態化（廣告）：由于LBS距離約束挑戰，空間差異性引起不同位置候選差異大，廣告與用戶兩者表達存在匹配關系（如圖2所示），只有保障了廣告供給的充足性，才能對用戶廣告關系進行更好的建模。因此進行廣告候選量/候選類型/算力資源三方面動態化，提供用戶需求匹配的供給。b. 函數求解：模型訓練方式災難遺忘與持續學習（訓練方式）：針對長周期性挑戰，高維稀疏模型在學習最近數據的同時會遺忘歷史數據，形成災難遺忘。通過具備數據回放能力的記憶結構進行持續學習，實現對周而復始的歷史數據有效刻畫。整體網絡如圖3所示，結合上述User/Ad/Context/Training幾方面優化，實現方式通過表示單元(Representation Unit)，記憶單元(Memory Unit)，組合單元(Combination Unit)三個模塊構成高精度高量級的預估系統。其中表示單元通過加載流式數據，結合超長序列和實時序列，構建時空依賴激活（圖中Representation Unit的User部分）；記憶單元整合歷史與當前數據，在數據流控制的基礎上，一方面提供歷史超長序列的表達學習（圖中Memory Unit的User部分），實現序列長度為2000~10000用戶全生命周期興趣建模。另一方面面對災難遺忘問題[10]，通過具備數據回放能力的記憶結構進行持續學習（圖中Training部分），實現高精度的單點預估。組合單元提供組合能力，在廣告方面，可以將記憶單元的綜合表示與多個泛商品表示進行組合（圖中Ad部分），在上下文方面，可以與多個位次表示進行組合，將單門店的預估能力擴展到多位次多商品(圖中Context部分)，進而感知展示上下文偏差，從而實現高精度高量級的組合預估系統（精排在線預估量級3000+）。

圖3 CTR預估整體網絡圖

下文，我們會從Context、User、Ad、Training四個方面具體介紹技術突破。

預估技術突破

1. 上下文：基于位次組合的上下文偏差感知預估

由于CTR預估模型的訓練通常采用曝光點擊數據，該數據是一種隱式反饋數據，所以會不可避免地產生各種偏差問題，例如位次偏差、選擇性偏差、流行度偏差等。以位次偏差為例（通常也被稱為位置偏差，為與本文LBS的位置區分開，我們稱其為位次偏差），由于在搜索列表頁場景中，用戶存在著從上至下的瀏覽行為習慣，靠前位次的廣告通常會受到更多的關注從而容易有更高的CTR，這種位次傾向會累積到數據中，從而導致數據中存在著偏差問題。此外，受整個列表上下文所產生的點擊差異性而導致的偏差也逐漸受到業界關注，在本文該偏差被稱之上下文偏差。在LBS空間距離約束挑戰下，位次偏差和上下文偏差相較于傳統電商場景更突出，下文具體介紹該問題。展示上下文偏差問題：在O2O場景的LBS距離約束下，不同地理位置相同搜索詞所展示的列表差異極大，而傳統電商由于不存在LBS約束，對于同一搜索詞往往更容易根據熱度去排序展示，在此比較下，LBS的展示上下文對于廣告有著更大的影響，這就導致了在不同的上下文中數據存在較大不同的偏差。對于位次偏差而言，傳統電商的位次偏差更趨向于一個固定偏差，而LBS約束下的位次偏差在不同上下文中是有明顯差異的，例如一線城市相較于三線城市而言，由于廣告的供給更加充足且質量更高，靠前位次廣告容易吸引用戶點擊，更易形成用戶點擊靠前位次的行為習慣。同時，一線城市商戶質量差異小，三線城市商戶質量參差不齊，這就導致廣告受其上下文自然的影響呈現差異，進一步而言，相同廣告在不同自然上下文中點擊率也是有差異的，用戶容易受到不同上下文的影響從而有不一樣的決策，這種差異同樣會累積到數據中導致數據存在上下文偏差。為此，本文將位次偏差及廣告受不同上下文自然影響所帶來的上下文偏差這兩類偏差歸納為展示上下文偏差。在美團業務中，搜索廣告場景的用戶意圖較強，其更關注于靠前廣告位，位次偏差較大，而在篩選列表廣告場景中，意圖不明確的用戶偏向于去瀏覽更多的潛在優質商家，因此上下文偏差較大，團隊結合這些業務特點在各個場景上推進了基于位次組合的上下文偏差感知預估技術。位次組合預估技術框架：基于位次偏差問題，我們首先沉淀出一個深度位次交叉網絡（Deep Position-wise Interaction Network，DPIN）模型框架去同時預估多個位次的CTR。如圖4所示，DPIN模型由三個模塊組成，分別是處理J個（例如200個）候選廣告的基礎模塊（Base Module），處理K個（例如10個）候選廣告位次的深度位次交叉模塊（Deep Position-wise Interaction Module）以及組合J X K（例如2000個）個交叉候選的位次組合模塊（Position-wise Combination Module），不同模塊需預估的樣本數量不一樣，復雜模塊預估的樣本數量少，簡單模塊預估的樣本數量多，由此來提高模型性能和保障服務性能。通過這三個模塊的組合，DPIN模型有能力在服務性能的限制下預估每個廣告在每個位次上的CTR，并學習位次信息和其他信息的深度非線性交叉表示[6]。上下文偏差感知學習：DPIN技術框架具備位次信號的深度交叉能力，從而實現多位次的CTR預估。在此基礎上，由于自然廣告分別排序及廣告插入自然列表的業務特點，我們在廣告預估時可以去考慮已排序好的自然列表，而多位次預估的技術框架賦予了廣告可以去感知其局部自然上下文的能力。因此，我們在DPIN的基礎上考慮每個位次的鄰域自然信息，如圖4所示，深度位次交叉模塊在考慮位次、上下文、用戶位次歷史行為的基礎上通過上下文自然聚合（Position-wise Context Aggregation）模塊去感知并聚合局部自然上下文信息，從而更好地緩解上下文偏差。進一步地，相同上下文中的自然和廣告具有同質性，我們通過基于異質的Listwise損失函數加強自然廣告間的競爭性建模，通過基于同質的自適應采樣加強廣告間關系建模。基于位次組合的上下文偏差感知預估在多個主廣告位落地，并都在衡量廣告營收的RPM(Revenue Per Mille)指標提升2%~3%。詳情，請參考團隊的SIGIR 2021論文《Deep Position-wise Interaction Network for CTR Prediction》[6]。

圖4 基于位次組合的上下文偏差感知網絡

2. 用戶：基于時空依賴的超長序列建模

針對長周期性和LBS約束兩個挑戰，進行用戶建模深度優化。一方面針對長周期問題，基于“長短分離”用戶行為序列設計原則，通過預訓練方式建模長期興趣；另一方面針對LBS約束問題，通過時空建模進行時間與空間的多重依賴關系學習，有效刻畫在不同時空條件的用戶表達。

圖5 不同類目行為的平均點擊間隔天數

用戶長期行為復雜性：在美團O2O場景下，用戶行為習慣存在明顯月級周期性（如圖5所示）， 并且行為間周期性差異較大，例如脫毛/水光針類的周期性大于火鍋/燒烤類，用戶超長序列建模是捕獲周期性行為特點的必要條件。在時空依賴方面，用戶點擊體現出明顯的“長分散、短聚合”特點（如圖6所示），即較短時間內用戶的地理位置聚集在單點，但拉長來看，用戶將漫游到多個地理位置；超長周期內，大部分用戶還會有跨省跨城流動。因此時空聯合聯合建模存在潛能。

圖6 用戶地理位置漫游“長分散、短聚合”特點示例

綜上兩方面問題，整體建模如下：

其中包括 1). 超長序列預訓練：部分，將其建模為一個僅依賴于歷史序列作為輸入、用戶興趣向量作為輸出的子網絡，支撐千級別的超長序列推理性能；2).時空聯合建模：部分的建模。下文具體介紹。超長序列預訓練：針對以上超長序列的性能問題，基于“長短分離”設計，將超長序列單獨預訓練(如圖7所示)，同短期表達分離，超長序列模塊負責將用戶全生命周期序列進行激活和降維，提取用戶長期興趣的表達。主模型負責將用戶長期表達與短期表達結合。線上推理時，超長序列可以直接讀取天級別緩存的表達向量，通過短期表達部分補充因無法實時更新的效果損失，然后再進行長短期興趣表達結合，最終線上性能增加由原先30+ms降至1ms以內，實現千級別序列復雜推理。為能捕捉用戶周期性行為興趣，采用Channel-wise Activator Layer結構設計（如圖7所示），利用長期行為興趣漫游的特點將超長序列切分為能表達不同興趣的時間子序列（Sub Seq），并增加行為動態時間間隔表征后，同差異性屬性進行多通道表達激活，實現基于類目周期性差異的興趣表達。對比業界基于相關檢索的超長序列方案 [7]，上述超長序列預訓練并沒有丟棄不相似的表達，充分建模全部行為。例如燒烤與素食、健身房和快餐之間意圖負相關，但互相卻又強影響，預訓練建模以上負相關等更通用的行為影響，在美團數據集中也取得比檢索方法[7]更顯著的效果。時空聯合建模：依賴美團O2O的業務特點與挑戰，我們充分考量其時間與空間屬性，對用戶的歷史時空信息和當前時空信息進行了充分的建模和交互。我們分辨出用戶行為的三重時空信息，即：用戶點擊發生時的時間、用戶請求發出的地理位置、用戶所點擊的商戶的地理位置。基于上述三重時空信息，我們提出Spatio-temporal Activator Layer（如圖7所示）：三邊時空注意力機制神經網絡來對用戶歷史行為進行建模，通過對請求經緯度信息、商戶經緯度信息和請求時間的交互，囊括了同構空間信息深度交叉（用戶歷史請求位置和用戶當前請求位置、用戶歷史點擊商戶位置和用戶當前目標商戶位置等）、異構空間信息深度交叉（用戶歷史請求位置和用戶當前目標POI位置、用戶歷史點擊商戶位置和用戶當前請求位置）、時間信息深度交叉的三邊時空信息交互機制。針對空間信息交叉，我們進一步采用地理位置哈希編碼和球面距離相結合的方式，以綜合表達絕對空間信息和相對位置信息；針對時間信息交叉，我們也采用絕對與相對時間相結合的方式，有效實現用戶行為序列在不同時空條件下的三邊表達。從業務角度，針對不同的業務特性，我們進行空間信息表達的動態歸一。比如在美食業務中，我們刻畫用戶搜索地和商戶的相對距離信息；而在空間變遷屬性更強的酒店業務中，當用戶搜索詞包含地址詞時，我們刻畫該地址和目標商戶的相對距離信息。最后，經上述網絡編碼后的時空信息經過注意力機制網絡融合，得到LBS場景下用戶超長行為序列對不同請求候選的個性化表達。基于時空依賴的超長序列建模在各個主廣告位落地，RPM提升2%~5%。詳情，請參考團隊的CIKM 2021論文《Trilateral Spatiotemporal Attention Network for User Behavior Modeling in Location-based Search》[8]。

圖7 基于時空依賴的超長序列模型圖

3. 廣告：廣告候選動態化

廣告同用戶存在著匹配關系，在用戶意圖精準理解的基礎上，充分的廣告供給能夠進一步釋放潛能。而在LBS距離約束挑戰下，不同請求的廣告候選存在很大差異。因此如圖8所示，我們從候選量、候選類型、候選算力三個維度構造廣告候選動態化系統，實現精細化的供給匹配，具體優化如下：

圖8 廣告候選動態化三維圖

候選量動態化：在廣告/推薦領域，由于性能和資源限制，召回->粗排->精排->機制，各層之間普遍存在漏斗候選截斷，其中的精排候選數一般設置固定值。美團業務的距離約束特點顯著，大型城市是小型城市平均候選數的59倍。根據城市、商圈等空間粒度進行候選量動態化后，可以在資源固定下最大限度釋放熱門地區的排序效果，特別是大型城市效果明顯，RPM提升約20%。由于候選量大幅度提升，精排模型有更嚴重的選擇性偏差問題——線上面對的擴量候選與此前系統的候選不一致，為擴量前系統候選的超集。將候選擴量對應的流量理解為Explore流量，對CTR模型訓練進行了多階段優化，進一步取得效果[13]，整體優化在部分篩選列表廣告RPS提升5%~10%。候選類型動態化：在候選量動態化的基礎上，我們進一步進行了候選類型動態化。因不同類型均為廣告，我們在此處不采用Ad概念，在某些類目上，受LBS限制門店數較少，而每個門店下的泛商品（門店下更細粒度候選，同門店差異見上圖，例如在結婚品類下的某婚紗照為商品）較多，將候選類型從門店擴展到門店+泛商品后，候選供給在部分類目可以擴大約30倍。并且在業務中，用戶意圖逐漸呈現具體化、明確化與多樣化特點，例如“寫真”等搜索關鍵詞增多，粗粒度的門店候選已經不足以匹配細粒度用戶意圖。通過深度個性化的異構候選混排，能夠匹配細粒度的用戶意圖，給用戶展示最符合其興趣偏好的候選類型。如圖9所示，我們通過組合預估實現異構混排系統，主網絡的高復雜性門店表征通過共有表達的遷移學習，和商品網絡的高數量級商品表征進行維度動態轉換對齊，實現數千量級的門店/泛商品異構混排系統。在部分篩選列表廣告RPM提升10%~15%。

圖9 異構混排網絡

候選算力動態化：通過動態的候選供給我們發現更多的候選能夠帶來效果空間，在此基礎上我們進一步進行算力動態化，從性能角度進一步提升候選量級。廣告系統收到請求后，會經過召回、粗排、精排、機制模塊，最終生成廣告展現順序。其中各模塊的超時時間和資源是固定的，導致總體算力缺乏彈性，容易因候選過多出現總體請求超時而不出廣告的情況，或是候選過少出現多余算力浪費的現象。因此我們進行候選算力動態化，根據流量價值調整每個模塊的耗時，通過全局優化實現在有限算力下收益最大化：首先在工程架構上增加各個服務算力彈性變量，如超時時間、模型復雜度和計算并行度等等，實現了效果和算力的靈活兌換。之后在算法上通過流量價值預估模塊預估當前請求價值，確定各階段打分數。在接下來的各服務階段，結合當前算力消耗與預估價值情況，即時調整后續階段算力彈性變量，進一步釋放了效果空間。在篩選列表廣告RPM提升約2%。候選動態化效果在各個主廣告位落地效果差異較大，RPM提升范圍在2%~15%。同時廣告側優化我們通過多模態表達學習取得效果，詳情后續整理為論文公開。

4. 訓練方式：災難遺忘與持續學習

災難遺忘(Catastrophic Forgetting)[10]是模型學習同人腦學習的一個重要差異，指的是同一個網絡模型，在學習新的任務的時候，因分布變化而導致老任務學習的模型權重損壞。在美團廣告業務，無論是用戶和商戶均存在周期性特點，并且高維稀疏網絡特性會放大這個特點，現象是在擬合新數據模式過程中，遺忘具備周期性的老數據，形成了災難遺忘。下面會介紹長周期性挑戰，與高維稀疏網絡結構問題，以及對應的持續學習解決方案。周期性數據模式：不同于傳統機器學習數據獨立同分布假設(i.i.d.)，CTR預估模型面臨著動態非平穩的外部環境。特別地，在我們的O2O業務中，新用戶、新商戶不停出現，流行元素如小龍蝦、烤肉等不時演變，夾雜著周中簡餐周末大餐等節日性、季節性、星期級，小時級特征，對CTR預估模型的持續學習提出了挑戰，要求我們的模型能夠快速擬合新出現的數據模式。針對這類時變數據的學習任務，一種常見選擇是流式訓練。流式訓練將數據按照時間順序依次喂入模型，以Regret[11]為目標讓模型實時動態地調整模型參數，達到擬合最新數據分布的目的。但是，單純地流式訓練有過分強調新數據模式而遺忘過往學習到的老數據模式的危險。特別地，在我們的O2O業務場景下，存在大量周期性數據模式，下面將以星期級周期為例進行介紹。高維稀疏網絡的結構匹配性：不同于NLP/CV領域，廣告/推薦領域的DNN模型具有顯著的參數不平衡性，即高維度稀疏的Embedding層約有億級~千億級別參數量的參數量，而連接Embedding到Output的FC層(Fully Connected Layers)卻低維稠密，網絡中極度稀疏的Embedding層占據99.99%+的參數量，該不平衡性易于引發老數據模式的遺忘問題。以天級更新模式的星期幾特征為例，線上推理的數據是周六(t, w(t) = 6) 數據，訓練時在未充分納t時刻數據時，會更多的擬合在周五(t-1)特征上，而實際上在上一周的周六(t-7)與線上推理數據(t)具有更強的分布一致性。特別地，如果我們使用星期幾這一離散特征，在高維稀疏的Embedding層在線上推理的t時刻會直接查詢到t-7天的Embedding，而低維稠密的FC層會查詢到t-1的FC層，會引起嚴重的結構不匹配問題，形成星期屬性模式的災難性遺忘。更具一般性地，訓練中存在著周中簡餐，周末大餐等復雜模式的災難遺忘，引起效果大幅退化。面向未來分布的持續學習：為系統性地解決上述問題，我們采用持續學習中的數據回放技術，在流式訓練的基礎上進一步擬合回放的數據，加強模型在無遺忘約束下的持續學習能力。具體地，為結合流式訓練和持續學習的數據回放技術，我們采用FC層分多塔的結構來達成預訓練模型可流式更新、持續學習模型可依賴最新預訓練模型更好地擬合當前數據的效果。如下圖10所示，通過流式訓練我們維護一個預訓練模型；而為避免模型過分擬合最新數據而導致歷史稀疏Embedding層參數和上層FC層參數不匹配的問題，通過數據控制器(Data Controller)維護一份記憶集(Memory Set)，其中的數據為根據未來分布預測，在歷史數據中采樣得到，并將該份記憶集提供給基礎模型用于持續學習，從而在加強對未來分布數據的模型預估能力。持續學習技術在各個主廣告位落地，RPM提升2%~3%。更多詳情已整理為論文投稿中，后續會進行公開。

圖10 災難遺忘與持續學習訓練模式

預估技術新趨勢

上文介紹了基于O2O特點的CTR技術突破，我們將優化方法推廣在轉化率、交易額預估問題，其中LBS距離約束在轉化率中起到更重要的影響，因方法接近，不再進行贅述。同一技術的點擊率預估優化效果在不同業務類型中也存在一定差異，意圖強的搜索廣告場景，上下文差異性更大，Context相關優化有更明顯效果。而在意圖弱的信息流廣告場景，User建模有更大的空間。那么預估技術如何持續突破的系統上線？迭代路徑從前期通過模型復雜度提升，到現階段結合問題的模型靈活設計均取得效果，而未來我們認為將越來越剝離模塊與目標設置的現狀，消除建模中人為的設置假設。如何抽絲剝繭，回歸問題本質？我們認為有如下新趨勢。a. 模型內推理量級動態化廣告系統通常分為召回、粗排、精排（預估）等多個模塊，模塊漏斗遵循的一個核心設計邏輯是簡單模塊打分量級大（例如粗排），復雜模塊打分量級低（例如精排）。以遞歸視角進一步理解子模塊設計，將設計邏輯泛化到模型內，同樣存在簡單的網絡部分打分量大，復雜的網絡部分打分量低，同一個網絡打分量差異化的優化方式。例如粗排常用的雙塔網絡結構(Two-tower Network)在User端打分一次，Ad端打分多次。更具一般性的形式并不局限在表達能力受限的雙塔結構，而在于更充分的應用打分量與復雜度的關系進行靈活設計，例如本文闡述的DPIN(Deep Position-wise Interaction Network)[7]組合網絡部分打分量大，基礎網絡部分打分量小，同在本文闡述的異構混排網絡，超長序列預訓練優化同樣適用于這一趨勢。未來將在更細化的層面進行推理量級動態化，通過每一個局部精度與性能的平衡達到整體的最優平衡。b. 問題間評估指標差異化評測指標是一個比優化方式甚至更重要的問題，點擊率預估最經典的評測指標為AUC，而隨著模型精度的提升，離線AUC提升同線上不一致的情況逐漸增多。回歸到預估問題本身，實際排序系統是在固定請求固定位次下的最優排序，等價尋優User × Context × Time限定條件的Ad最優序。time條件在持續變化難建模，為簡化問題，以User/Context維度分組，近似尋優Ad最優序。基于以上假設，User/Context分組的“組間序”同“組內序”并不具備等價的業務意義。例如個性化優化問題，每一個User作為一組進行分組為例，User Group AUC[12]同線上具有更強的一致性；而在Context中的Position Bias問題中，我們發現通過Position Group AUC(PAUC)[7]評估同線上系統具有更強的一致性。在全局AUC增長挑戰性變大的背景下，不同問題進行差異性評估指標設計，進而指導模型優化，是取得效果的一個關鍵趨勢。c. 鏈路模塊間目標多元化系統整體目標面對排序問題，先是解耦為召回、粗排、精排等多模塊獨立優化，而后針對整體性排序問題，鏈路目標一致性優化成為一個明顯的演進趨勢。在召回->粗排->精排目標一致，取得明顯效果的同時，存在著因多模塊過于同質化、協同共振引起的馬太效應。以召回為例，是否應該由其他路模塊，例如探索路召回來解決這個問題？更具泛化性地，多路召回之間的強互補性，能夠提供給下游更優的候選超集，召回各個路之間面向Diversity Loss進行優化是未來的探索性方向之一。隨著模塊間關系動態變化，廣告系統目標設計存在著一致性與差異性的辯證關系。d. 搜索推薦邊界模糊化從廣告視角，團隊內的搜索廣告、推薦廣告間做法呈現逐步邊界模糊化特點。傳統搜索廣告圍繞意圖明確進行Query理解，進而內容適配。逐漸Query相關的刻畫不能完全滿足用戶意圖的細化，搜索問題逐漸轉變為在Query約束下的個性化匹配問題。邊界模糊化帶來的一個技術現象就是全域數據的運用，搜索、推薦間的全方位深度遷移學習是取得效果的一個關鍵。e. 模型學習非監督化如圖11所示，整個廣告系統中，是在用戶交互、數據、模型之間不斷產生反饋循環，在這個過程中會有偏差循環放大的問題，例如產生偏差的數據會喂入模型影響展示，數據回溯到模型形成進一步歸納偏差。傳統的建模方式是將整個動態的系統簡化為監督問題進行預估建模，優化集合僅為線上集合的子集，效果限制隨迭代愈發明顯。未來針對監督模型無法充分建模的候選超集依然有較大空間。在實際動態演化的廣告系統中，無論是新目標定義、模型優化還是AB Test評測方式都有較大的探索潛能。Debiasing問題優化詳情參照團隊的KDD Cup 2020冠軍技術分享《KDD Cup 2020 Debiasing比賽冠軍技術方案及在美團的實踐》。

圖11 廣告系統中的反饋環路，偏差積累循環

作者簡介

胡可、堅強、張博、漆毅、慶濤、曲檀、程佳、雷軍等，均來自美團廣告平臺技術部。

參考文獻

[1] Friedman J H . Greedy Function Approximation: A Gradient Boosting Machine[J]. Annals of Statistics, 2001, 29(5):1189-1232.[2] Rendle S. Factorization machines[C]//2010 IEEE International conference on data mining. IEEE, 2010: 995-1000.[3] HT Cheng, et al. Wide & Deep Learning for Recommender Systems, 2016[4] Zhou, Guorui, et al. “Deep interest network for click-through rate prediction.” Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018[5] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts. ACM, 2018.[6] Wen, Ling, Chua. A closer look at strategies for memorization.[J]. Clavier Companion, 2014, 6(6):50-52.[7] Huang J, Hu K, Tang Q, et al. Deep Position-wise Interaction Network for CTR Prediction[J]. arXiv preprint arXiv:2106.05482, 2021.[8] Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction[9] Qi, Yi, et al. "Trilateral Spatiotemporal Attention Network for User Behavior Modeling in Location-based Search", CIKM 2021.[10] Overcoming catastrophic forgetting in neural networks[J]. Proceedings of the National Academy of Sciences of the United States of America, 2017.[11] M. Zinkevich. Online convex programming and generalized infinitesimal gradient ascent. In ICML, 2003.[12] Optimized Cost per Click in Taobao Display Advertising[C]// the 23rd ACM SIGKDD International Conference. ACM, 2017.[13] KDD Cup 2020 Debiasing比賽冠軍技術方案及在美團的實踐