火山引擎VeDI：A/B實驗如何應用在APP推薦系統中？
更多技術交流、求職機會，歡迎關注字節跳動數據平臺微信公眾號，回復【1】進入官方交流群
在移動互聯網飛速發展的時代，用戶規模和網絡信息量呈現出爆炸式增長，信息過載加大了用戶選擇的難度，這樣的背景下，推薦系統應運而生，為用戶提供個性化的內容推薦。推薦系統在不斷迭代中，其算法、策略、特征、功能和用戶界面時常得到更新和優化，其中推薦算法的調整尤為關鍵。然而，由于深度學習模型的廣泛應用，推薦算法調整后的用戶體驗和效果難以通過經驗直接判斷。
為了更準確地評估和優化推薦系統，A/B實驗成為了一個不可或缺的工具。A/B實驗能夠量化各項指標的變化，從而對推薦系統的效果進行科學評估，并為后續的優化提供數據支持。本文將以火山引擎數智平臺VeDI旗下的A/B測試平臺（DataTester）為例，介紹字節跳動如何使用其能力，持續實現推薦系統的精準優化。
推薦系統的本質是連接內容和用戶，它構成了 <內容，推薦系統，用戶> 的三元組，A/B實驗也圍繞此三元組展開。下方介紹了推薦系統三元組中，最常使用A/B測試的場景集合，企業可對應到自己的推薦系統中作為參考。
在字節跳動的推薦系統實踐中，A/B實驗在內容側可以進行內容池優化、內容打標優化、視頻封面模型的優化；用戶側（指產品的用戶應用方面）可以通過A/B實驗實現功能優化、性能優化、UI改進等；而在推薦系統方面，可以使用A/B實驗的維度更多，例如多路召回優化、粗排和精排模型迭代升級優化、模型多目標融合優化、重排多樣性/興趣探索優化、廣告收入優化等等，可以說，在推薦系統中，萬物皆可A/B實驗。
需要指出的是，在進行推薦系統內容側A/B實驗時，例如信息流產品可能會做作者發布視頻獎勵、視頻清晰度調整等，改變的是內容側的屬性，但業務中通常觀察的是大盤用戶側的指標。在進行這類實驗時，注意轉化為用戶側實驗并輔助觀測內容側指標來評估，權衡用戶側和內容側的綜合收益后再決策是否上線。以視頻帶貨推薦為例，商家分潤規則調整僅對實驗用戶生效，通過對比實驗組與對照組的指標差異評估對大盤的影響的同時，可以創建并觀察商家入駐率等內容側指標的變化。在大盤收入指標不變、商家入駐率指標有提升，甚至大盤收入指標微跌、商家入駐率顯著提升的情況下，都可以發布上線。
另一個注意點是，A/B實驗上線后，業務會頻繁地查看分析實驗指標。有的實驗在開啟后前幾天可能出現指標下跌，這種情況下不建議立即關閉實驗，因為在實際實踐中，遇到過很多起初指標下跌、后續慢慢回漲的情況，比如在一些信息流平臺的內容的多樣性策略實驗中，當增強興趣探索后，短期可能會因為探索而出現用戶不感興趣的內容變多，導致消費時長下跌；但從長期來看。探索到更多用戶興趣后，用戶黏性更強，用戶消費時長也會慢慢回漲，且更有益于平臺生態。因此在面對實驗開始指標下跌的情況，一般會建議繼續實驗至少一周以上，覆蓋觀察一個完整周后再進行評估會更加準確。
在查看指標時，企業可以多關注實驗指標下鉆分析結果，例如關注不同性別、不同年齡層用戶的指標變化，有的產品也會關注不同活躍度用戶、特別是新用戶和低活用戶的指標變化趨勢，因為這類用戶更決定了產品未來的增長。在DataTester中，可以借助用戶屬性過濾功能，查看指標的下鉆分析數據。
火山引擎DataTester作為火山引擎數智平臺VeDI旗下的核心產品，源于字節跳動長期的技術和業務沉淀。目前，DataTester已經服務了包括美的、華泰證券、博西家電、樂刻健身等知名品牌在內的上百家企業。這些企業通過不斷進行的A/B測試和優化迭代，提升產品與服務質量，從而實現業務持續的優化和增長。
點擊跳轉火山引擎A/B測試了解更多
浙公網安備 33010602011771號