更多技術(shù)交流、求職機(jī)會(huì)，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群

作者：王恩策、徐慶
火山引擎LAS團(tuán)隊(duì)

在移動(dòng)互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代，用戶(hù)規(guī)模和網(wǎng)絡(luò)信息量呈現(xiàn)出爆炸式增長(zhǎng)，信息過(guò)載加大了用戶(hù)選擇的難度，這樣的背景下，推薦系統(tǒng)應(yīng)運(yùn)而生，為用戶(hù)提供個(gè)性化的內(nèi)容推薦。推薦系統(tǒng)在不斷迭代中，其算法、策略、特征、功能和用戶(hù)界面時(shí)常得到更新和優(yōu)化，其中推薦算法的調(diào)整尤為關(guān)鍵。然而，由于深度學(xué)習(xí)模型的廣泛應(yīng)用，推薦算法調(diào)整后的用戶(hù)體驗(yàn)和效果難以通過(guò)經(jīng)驗(yàn)直接判斷。

為了更準(zhǔn)確地評(píng)估和優(yōu)化推薦系統(tǒng)，A/B實(shí)驗(yàn)成為了一個(gè)不可或缺的工具。A/B實(shí)驗(yàn)?zāi)軌蛄炕黜?xiàng)指標(biāo)的變化，從而對(duì)推薦系統(tǒng)的效果進(jìn)行科學(xué)評(píng)估，并為后續(xù)的優(yōu)化提供數(shù)據(jù)支持。本文將以火山引擎數(shù)智平臺(tái)VeDI旗下的A/B測(cè)試平臺(tái)（DataTester）為例，介紹抖音集團(tuán)如何使用其能力，持續(xù)實(shí)現(xiàn)推薦系統(tǒng)的精準(zhǔn)優(yōu)化。

在推薦系統(tǒng)優(yōu)化探索過(guò)程中，不同算法疊加不同的策略或功能效果，要通過(guò)實(shí)驗(yàn)參數(shù)做功能組合的A/B實(shí)驗(yàn)，是找到最優(yōu)策略的最高效的方式，合理的實(shí)驗(yàn)平臺(tái)及實(shí)驗(yàn)配置設(shè)計(jì)，可以達(dá)到幾乎不新增加開(kāi)發(fā)工作量的效果。以火山引擎A/B測(cè)試DataTester為例，它目前支持Number、String、Boolean、Json類(lèi)型的實(shí)驗(yàn)參數(shù)配置，幫助用戶(hù)直接實(shí)現(xiàn)推薦系統(tǒng)策略的不同維度的A/B實(shí)驗(yàn)。

以短視頻APP電商推薦場(chǎng)景為例，假設(shè)商品內(nèi)容展示的時(shí)機(jī)不同，會(huì)對(duì)用戶(hù)的視頻消費(fèi)時(shí)長(zhǎng)和電商GMV產(chǎn)生影響，針對(duì)此策略的A/B實(shí)驗(yàn)可以如下設(shè)計(jì)：

• 對(duì)照組：視頻開(kāi)始播放時(shí)立即展示商品卡片
• 實(shí)驗(yàn)組1：視頻播放5秒后展示商品卡片
• 實(shí)驗(yàn)組2：視頻播放10秒后展示商品卡片

在上述實(shí)驗(yàn)中，火山引擎DataTester可以支持通過(guò)實(shí)驗(yàn)參數(shù)的調(diào)整，直接實(shí)現(xiàn)對(duì)照組、實(shí)驗(yàn)組1、實(shí)驗(yàn)組2的分組。通過(guò)在代碼中解析參數(shù)并實(shí)現(xiàn)視頻播放x秒后展示商品卡片，即可完成實(shí)驗(yàn)。若后續(xù)要新增如“視頻播放8秒后展示商品卡片”的實(shí)驗(yàn)效果，也無(wú)需修改代碼，僅需要繼續(xù)增加一個(gè)新實(shí)驗(yàn)參數(shù)的實(shí)驗(yàn)即可。在此基礎(chǔ)上，可以創(chuàng)建幾十組甚至更多組不同參數(shù)值的實(shí)驗(yàn)，并取得最優(yōu)策略，而過(guò)程中幾乎無(wú)需耗費(fèi)額外的開(kāi)發(fā)人力。

需要注意的是，由于實(shí)驗(yàn)參數(shù)是一個(gè)功能控制配置，因此在進(jìn)行A/B實(shí)驗(yàn)參數(shù)設(shè)計(jì)的時(shí)候需要避免一個(gè)誤區(qū)：不要按實(shí)驗(yàn)設(shè)計(jì)的維度來(lái)設(shè)計(jì)實(shí)驗(yàn)參數(shù)，而要按照功能控制的維度進(jìn)行實(shí)驗(yàn)設(shè)計(jì)。 這一點(diǎn)在移動(dòng)端APP實(shí)驗(yàn)中尤為重要，因?yàn)锳PP產(chǎn)品通常發(fā)版周期長(zhǎng)，變更頻率低，而有了功能控制維度的實(shí)驗(yàn)參數(shù)，就可以在不發(fā)版的情況下，隨時(shí)開(kāi)啟多組不同參數(shù)的A/B實(shí)驗(yàn)，篩選最優(yōu)參數(shù)組合在線(xiàn)上生效。

火山引擎DataTester作為火山引擎數(shù)智平臺(tái)VeDI旗下的核心產(chǎn)品，源于字節(jié)跳動(dòng)長(zhǎng)期的技術(shù)和業(yè)務(wù)沉淀。目前，DataTester已經(jīng)服務(wù)了上百家企業(yè)，包括美的、得到、博西家電、樂(lè)刻健身等知名品牌。這些企業(yè)在業(yè)務(wù)環(huán)節(jié)中得益于DataTester的科學(xué)決策支持，實(shí)現(xiàn)了業(yè)務(wù)的持續(xù)增長(zhǎng)和優(yōu)化。

點(diǎn)擊跳轉(zhuǎn)DataTester了解更多