2023京東零售技術年度盤點

過去一年，圍繞開放生態建設、低價心智等主要方向，京東零售技術團隊持續攻堅。從百億補貼、調整流量分配機制為用戶提供低價品質好貨，到簡化商家進駐流程、優化商家體驗，帶動商家數量增長和平臺生態活躍，再到將大模型結合到內部大量業務場景，探索效率提升……快速響應、助力業務的同時，京東零售技術團隊繼續夯實增強自身能力、探索創新。

我們選取了11項有代表性的技術成果，與大家分享。

• 供應鏈創新技術入圍行業最高獎項

京東長期致力于通過前沿的數智化技術和算法，提高供應鏈效率。2023年，智能供應鏈團隊提出并應用了端到端庫存管理技術和可解釋AI技術，顯著提升了補貨決策的精準度，實現更快的庫存周轉和更高效的供應鏈決策、協同。前者入圍2023年管理科學界最高獎項弗蘭茲厄德曼獎決賽，后者入圍2024年Gartner Power of the Profession供應鏈流程與技術創新獎決賽，也是該獎項唯一亞洲入圍者。

傳統的庫存補貨方法多采用先預測再優化的兩步式方案，導致預測和優化階段割裂。智能供應鏈團隊提出端到端庫存管理技術，基于深度神經網絡模型，直接根據原始的歷史數據輸出最優補貨建議，將預測和優化問題一步式解決，通過縮短決策鏈降低了累積誤差，提升決策的準確度。

另一項痛點問題是需求預測和補貨策略的解釋性不足，導致一線采銷人員和供應商對補貨建議的實際采納率很低。為此智能供應鏈團隊首提可解釋AI技術，實現預測流程白盒化，利用殘差網絡等前沿深度網絡技術，對模型輸出的建議加以清晰明確的歸因和闡釋，構建可解釋性、自適應、高擴展性的預測模型框架，從而使下游業務人員可以清晰理解預測流程和結果。

以這兩項技術為基礎的自動補貨系統，已實現超過85%的自動化率。目前京東在自營商品SKU數量超過1000萬的基礎上，實現采購自動化率超過85%，平均現貨率超過95%，庫存周轉天數降至近30天，在全球范圍達到領先水平。

圖1 京東入圍2023年弗蘭茲厄德曼獎決賽

圖2 京東入圍Gartner 2024年流程與技術創新獎

• 后行為序列時代的人貨匹配技術 更智能地理解用戶和商品

當前，商家經營和營銷進入存量博弈、精耕細作階段，對廣告營銷技術也提出了通過技術創新提高人貨匹配的效率的核心要求。京東零售廣告研發部堅持創新，取得了多項突破性技術進展，共發表頂會論文17篇，累計提交專利申請一百多篇。

（1）將隱私合規保護下的預訓練技術應用于用戶和商品理解算法創新，在合規前提下，借助多方安全計算、群體建模技術來解決數據匱乏問題，提出序列摘要技術，成功將精排模型的序列交互建模部分前置到排序模型之前，將行為序列的長度提升到萬級別，提升了對用戶興趣的刻畫能力。以行業知識+預訓練的方式引入非ID類電商特征，在避免數據組合爆炸的同時解決稀疏表征問題提升泛化能力，是目前電商領域最大的預訓練模型，并提出生成式對比學習序列預訓練方案，提升新品刻畫力。 建設排序大模型（參數量達數百億）提升模型容量，成為京東零售最大在線排序實時模型，并提出了基于數據先驗的增量學習框架，實現了分鐘級更新感知，有效提升在線學習模型對用戶行為變遷的建模能力。

（2）巨幅增長的數據和愈發復雜的算法對算力提出了更高要求，廣告技術團隊將業務、算法、工程進行了co-design推進建設新一代算力體系。主要體現在：異構算力的應用探索與實踐、彈性動態算力分配能力、新一代模型算力系統。CPU+GPU異構硬件技術上，突破業界GPU調度難題，實現了多流多組范式，根據算力負載實現多流多組的動態分配，GPU硬件利用率達到理論上限，比TensorFlow調度提升2倍+吞吐能力。

• 自研融合ReAct/SFT/RAG的大模型基礎應用框架 高效完成微調、部署和應用

2023年，大語言模型絕對是整個技術圈最被熱議的話題之一，關鍵方向之一是如何將大型語言模型的強大能力融入實際業務、產生業務價值。京東零售九數算法中臺推出了一整套大語言模型應用解決方案，一種融合ReAct框架、SFT（指令微調）與RAG（檢索增強生成）技術的應用框架，支持大語言模型學習領域知識，并提升自主決策能力及信息處理的精確度，幫助業務人員高效完成大語言模型的微調、部署和應用，快速落地業務場景。

通過自研大語言模型高效微調（SFT）框架，京東內部可以支持大語言模型高效學習領域知識，并通過編譯優化、算子優化、網絡和IO優化，提升訓練性能40%+，并且支持70B+超大規模模型微調。在信息檢索方面，建設了Embedding無損高性能信息壓縮能力，打通大模型應用開發框架和向量數據庫Vearch，實現信息檢索效率大幅提升。在復雜業務模型自主規劃層面，基于ReAct范式構建Agent LLM，幫助大語言模型理解上下文，精確把握用戶意圖，并在復雜情況下做出決策、執行任務和使用工具。

目前，已在包括知識問答、用戶增長、輿情風險挖掘、數據分析等多個業務場景應用，加速了業務智能化升級。

• 搜推導購體系全面升級 探索用戶高效便捷購物體驗

打造前沿的搜索推薦領域技術，實現用戶與商家之間的精準高效連接，一直是京東零售搜推團隊的關注重點。2023年，通過導購體系的一體化升級，集成了導購路徑引導和算法匹配技術，解決了一系列技術難題，技術成果沉淀數十篇專利和行業頂會論文。

面對導購場景模型和樣本數據的分散以及用戶反饋數據稀疏問題，區別于行業里常見的數據增強等解決方案，創新地提出了預訓練-微調范式，對session鏈路中的用戶行為進行精準預測，隨后在各個導購場景的用戶反饋數據上進行微調，顯著提升了流量分發的準確性。

在主圖及屬性賣點個性化分發從0到1的建設中，一方面優化分發能力，一方面通過“模型+策略”的協同，既構建了高效的優選模型，又根據自身數據特性設計了獨特的負向屬性值過濾策略，極大化提升用戶體驗。

面對圖像搜索的高精準度挑戰，我們將圖搜召回任務建模為一個涉及千萬級圖片百萬級ID數據的Re-ID任務，并通過利用多損失聯合監督，顯著提升了模型特征學習的判別力。為了應對數據巨量化和模型復雜化趨勢，在算力優化方面，通過分布式模型并行技術和稀疏分類采樣策略，大幅提升了GPU顯存效率和模型訓練速度。

去年，我們自主設計并實現了新一代交互式引擎系統，上線了AIGC應用京言。通過反饋式prompt優化、session切分、人類偏好指令對齊增強以及彈性多路檢索等創新技術，持續探索為用戶提供高效便捷購物體驗。

• 商家系統深度改造 提升效率優化體驗

2023年初，京東發布“春曉計劃”，擴展百萬量級的商家進入平臺。京東以往的商家系統以服務企業用戶為主，業務模式眾多、復雜性很高，但新加入的有大量個人商家。如何兼顧原有復雜業務邏輯，又能快速打造適應大量個人商家移動化、簡約化辦公需求的運營系統？如何能簡化運營和快速交付、保障商家規模的快速擴展及商家體驗提升，成為京麥商家系統面臨的主要挑戰。

為此，移動端系統整合原生、Flutter和Taro技術，實現功能間的無縫調用，提高業務功能的快速交付和互通能力，同時以內置的一體化UI組件確保交互設計與實現的統一；商家入駐環節應用OCR、RPA及大模型語義理解能力進行智能化、自動化的審核，提高入駐效率；商品管理環節結合多模態大模型、海量相似商品主體檢索和結構化數據OCR識別等技術，智能生成商品基礎信息；商品營銷上首推【主圖浮層】功能，即通過動態加載營銷利益點實時合成主圖技術；履約、售后、結算正逆向交易環節，采用PaaS化插件業務流程擴展、規則計算引擎動態配置等技術方式快速支持個人小店運營模式。

這些深度改造，大大提高商家入駐效率，個人店入駐時間縮短至約4分鐘，普通店15分鐘，企業店3個工作日內；商品管理環節，商家只需維護庫存和價格即可輕松完成商品上架；營銷信息便捷推送，共同助力商家打造“更快運營、更好服務、更省成本”的開店體驗。

• AIGC技術應用 實現電商創意素材的自動化生成

電商創意素材中包含了大量的商品直觀信息，優秀素材不僅能快速吸引消費者，還可以建立起情感聯系。然而現有創意大多依賴人工制作，存在效率和成本的限制。京東零售技術團隊基于AIGC技術，在圖片、文案、圖文創意等方面進行了技術突破，實現了高質量廣告創意的自動生成。

圖片創意上，技術團隊提出通過類別生成器實現大規模背景生成，并使用個性化生成器從參考圖像學習個性化風格，在保持個性化風格的同時能夠生成高質量的不同類別背景；文案創意上，基于大語言模型通識，結合商詳OCR賣點挖掘、標題、屬性亮點詞等電商數據，通過模型fine-tune、外掛知識庫等方式，實現了滿足用戶偏好的營銷文案創意生成；圖文創意上，提出了一種P&R框架并分為規劃和渲染兩個階段，規劃階段考慮產品外觀和文本語義特征，使用PlanNet生成多樣化、合理的布局，渲染階段慮生成的布局和融合不同組件的空間關系，使用RenderNet生成背景。

以上技術突破成功解決了現有圖片創意生成方法存在擴大生產規模時設計提示詞的低效問題，克服了為特定品牌定制個性化背景時描述細節風格的困難，實現了創意化的圖文生成，超越已有的圖像生成方法，顯著提升了設計效率并降低了制作成本。相關創新性成果已在ACM MM、CIKM、ICME等頂會上發表多篇論文。

• 端智能 面向手機計算環境的端云協同AI技術創新

近年來，隨著移動端設備軟硬件能力的進步，移動端的算力有了很大提升，同時面向移動端的機器學習框架和模型輕量化技術越來越成熟，端上的AI能力逐漸進入大眾視野，端智能在電商領域也開始逐步走向規模化應用。通過持續探索，京東零售技數中心團隊創新突破了端側高性能推理引擎、端側模型分發、異構環境及復雜任務兼容等技術卡點，完成了多個業務應用和落地，并獲得信通院邊緣計算產業全景圖行業認證。目前均已集成端智能SDK，首頁推薦、搜索重排、結算風控業務運行情況良好，日推理次數已經突破億級，為用戶帶來了更好的互交體驗。

核心的技術亮點包括：

（1）高度量化壓縮的端推理引擎：手機端對加載推理引擎體積有嚴格限制，既要引擎小，也要支持多類型業務。目前端側推理引擎控制在1.9M。

（2）高并發場景下的穩定性保障：受限與手機端復雜異構的計算條件，端側推理穩定性是衡量端智能能力的核心因素。目前端推理幾十億次/日，推理成功率超過99%。

（3）異構環境及復雜任務兼容性能力：同一套引擎兼容Android/IOS/鴻蒙3套系統，4種計算芯片，支持多種類型模型，支持內部不同業務多線程調用。

（4）云端協同的工程平臺建設：通過建設端側PythonVM能力，實現同一套代碼邏輯云端共用。建設了模型預加載和模型后加載等多種端模型分發和部署能力，支持云端模型訓練共用一套訓練引擎能力。

• 數據安全屋 “可用不可見”技術驅動的數據合規應用新基建

如何讓數據既能被無障礙使用，同時又確保數據安全、個人隱私不被泄露？近年來成為數據開放流通領域的重要難題。

2023年集團安全、集團大數據平臺、零售隱私計算團隊從0到1共同打造了集團首個“安全屋”系統，落地數據沙箱、聯邦學習、多方安全計算等數據安全計算能力，基于可信平行切面技術實現高效、安全、及可擴展的系統能力，并無縫銜接集團內大數據基座、算法基座和安全基座，為集團內部數據共享應用、外部數據合作等場景提供合規支撐，成為集團數智化基礎設施的重要板塊。

安全屋落地京東自研版本Hive、Spark等安全計算引擎，確保業務層SQL邏輯、UDF算子、復雜數據ETL過程低感知切換，兼具衍生數據脫敏、衍生數據透明加密、入出管控等技術手段，保證數據“可用而不可見”；構建了一套免入侵的安全切面控制技術將大數據平臺與算法開發平臺無縫打通，對關鍵環節植入控制點實現同一個安全策略全局適用；融合硬件安全TEE，提供內存級數據加密運算，可有效保證運行時安全，更深度消除惡意注入和通信竊取等安全隱患；對原有ACL、RBAC權限管控模型進行升維擴展，從技術架構上兼顧系統靈活性和安全管控的統一性。

安全屋已經在集團內外項目中進行廣泛應用，包括精準營銷、金融風控、成本分析等多個場景。隨著數據要素、數據市場的進一步發展，安全屋將在數據融合共享、數據安全計算等領域發揮更重要的作用。

• 數據資產全面升級 實現存算集約化和生產智能化

京東自營和商家自運營模式，以及伴隨的多種運營視角、多種組合計算、多種銷售屬性等觀測方法，相較于行業同等量級，數據處理的難度與復雜度都顯著增加。如何從海量的數據模型與數據指標中提升檢索數據的效率，降低數據存算的成本，快速支撐業務的數據決策與分析，是數據團隊去年聚焦解決的核心課題。過程中沉淀了多級加速引擎、基于代價的智能物化策略、基于One Metric的異構融合服務、基于One Logic的離近在線轉換，顯著提升業務數字化決策效率，也沉淀了多篇軟著與多項技術專利。

對于智能物化與數據加速，行業普遍采用cube預計算+緩存模式，京東創新性落地了基于主動元數據的口徑定義以及基于數據消費場景與消費頻次的正負反饋動態決策，確保整個數據鏈路的存算分配“當下最優”，同時相較于粗粒度的物化策略，模型生命周期參考存儲代價配置，數據查詢鏈路根據RT表現動態尋址，使得數據生產與數據消費形成交互反饋鏈路，決策依據更豐富，決策粒度更精準。

基于圖形語法和多端一體的可視化能力打造層面，京東JMT數據可視化能力可以依托底層指標中臺快速進行智能診斷與歸因，相較于tableau等頭部解決方案，融入了更多圖形語法同時可靈活適配多端多場景。

結合AIGC技術的智能數據問答系統chatBI，基于業務知識與數據資產的Prompt工程，使用本地大模型SFT對實體進行embedding，通過指標服務平臺統一DSL取代了行業普遍NL2SQL的解決方案，解決了人為意識到數據語言的轉換難題，所消耗芯片規模也優于行業水平，在數據智能分析診斷系統里準確率大幅領先。

以上核心技術通過23年的打磨與應用，數據指標開發與共享效率大幅提升，分析看板搭建時間從天級別縮短到小時級別，且業務用戶逐漸可以進行自交付，解決了集中式研發的人力瓶頸，日均指標消費頻次從23年初的百萬級別增長到年末的幾千萬。未來還將在數據加速、智能物化、智能診斷、大模型應用等方面持續深耕，不斷優化數據存算成本，提升數據應用的效率、體驗。

• 宏圖系統 首創即時零售行業一站式LBS網格化運營

即時零售行業進入全品類小時達時代，用戶豐富且真實的"使用場景"切換構成了消費增長新趨勢，品牌需要進行全渠道優化、重新配置資源，尋找成本、效率和體驗的最優解。在此背景下，2023年，京東到家正式發布LBS網格化運營工具“宏圖系統”，通過B2C+O2O全域數據分析，實現人、貨、場基于LBS網格化的供需精準高效匹配，幫助品牌提升全渠道運營效率，創造價值增量。

基于京東+京東到家行業獨特的B2C+O2O零售數字化能力、數據沉淀，宏圖系統能夠實現基于LBS的網格化洞察、識別、分析、判斷各個網格內的供需匹配情況，并輸出用戶、供給、營銷策略。將京東數坊用戶運營平臺、京準通LBS流量運營平臺、京東到家完美門店系統等進行打通，保障執行落地。作為標準化產品，宏圖系統實現了服務模塊的標準化、數據處理全周期流程的標準化和前端頁面的標準化，同時解決了海量數據產出時效性與查詢性能、數據指標交叉計算與驗證導致數據準確性問題、數據安全保障和海量數據操作與渲染性能保障的技術難題。

宏圖系統作為京東到家數字化系統持續為品牌商技術賦能全渠道數字化升級，提升C端獲客能力、降低B端獲客成本，實現全渠道營銷提升。同時基于網格視角對品牌供給情況進行追蹤，幫助鏈接品牌和商家，從供給覆蓋、商品運營方面發現運營問題及機會，為從品牌角度的商品鋪貨，流通運營提供數字化的系統協同能力。

• 自研實現低成本、高質量3D建模

3D建模的本質是理解物理世界并進行數字重構的過程，符合信息傳遞從圖片、視頻到3D的發展趨勢。它在數字孿生、場景重建等場景有廣泛應用，在電商場景中最直接的是商品的3D展示，為用戶提供全面的商品信息、彌補圖片形式單一角度的不足，幫助商家實現業務數據的增長。

3D建模的常見技術路徑包括基于傳統圖形學的方案、基于NeRF的深度學習方案，但從商品展示的效果看，想達到主流商詳圖片和視頻質量的要求(PSNR>40dB)都還有距離。為此，我們設計了一套全新技術方案，針對3D商品展示場景重點突破，可實現商詳圖片級展示質量，并對不同材質、形狀的商品有更好的魯棒性。目前該方案已開展商家試點，上線幾百個SKU，在引單轉化率上表現正向。

3D建模的技術管線分為采集端、服務端、展示端，除了核心建模算法，我們對采集端、展示端的用戶體驗有更多的投入。為了保證采集端的便利性和高質量，設計了一款采集APP，在該APP中實現了詳實的用戶指導、準確的位姿估計、運動模糊控制等功能。在服務端，自研了一套空間編碼算法和全新的3D內容格式(.jdv)，實現了高壓縮、高質量、可交互，將原始采集的400MB素材壓縮到10MB以內；設計了一套圖像分割系統來提取干凈的商品前景，通過準確的位姿估計和容積變換方法來穩定輸出效果，涉及NeRF建模、背景分割等算法，實現了用戶在復雜采集背景下的商品展示效果。在展示端，自研的空間解碼器能夠支持用戶在商詳主圖上可交互式地自由查看商品3D展示。目前仍在繼續降低采集難度、降低環境光照對展示效果影響等問題。

凡是過往，皆為序章。未來，堅持成本、效率、體驗、可信、普惠、突破的技術追求，京東零售技術繼續和大家一起交流成長、向新而行。