ML-Summit2025｜從游戲AI到工程機械，具身智能的實踐與應用

10月16–17日，由CSDN與奇點智能研究院聯合舉辦的2025全球機器學習技術大會于北京召開，全球頂級學者與產業領袖齊聚一堂，大會涵蓋具身智能與智能硬件、AI Infra大模型基礎設施、AI賦能軟件研發與氛圍編程、大模型+行業落地實踐、智能體工程與實踐+開源模型與框架、GenAI產品創新與探索等當下最熱門的技術專題，共同探索AI技術落地產業升級的前沿路徑，推動AI走向更廣闊的應用場景。

會上，網易靈動技術負責人陳贏峰博士以“具身智能技術在工程機械智能化中的應用”為主題，分享了網易從游戲AI技術沉淀到工程機械產業賦能的創新路徑。用游戲里積累的數字孿生、人機交互能力，解決礦山挖掘“效率低、安全差、缺人手”的老問題，為傳統工程機械的智能化轉型提供了“游戲+AI”的獨特解題思路。

1、從游戲AI到工程機械：網易伏羲的“由虛向實”探索

人口紅利消失、傳統作業模式效率低下、高危環境安全風險大等傳統工程機械行業的痛點始終難解。為此，國家能源局在2021年《智能化煤礦建設指南》中提出全面推進采掘設備智能化、生產過程遙控化、管控平臺一體化等要求，行業智能化轉型迫在眉睫。

在這種背景下，網易伏羲以深耕多年的游戲AI技術為切入點，積累了數字孿生、人機協作、低延時傳輸等能力，并向工程機械遷移，孵化出工程機械智能化品牌「網易靈動」。不同于單純的技術復制，網易伏羲的“由虛向實”更強調解決真實場景的問題。一方面，用網易有靈人機協作平臺鏈接游戲中的虛擬交互與現實中的物理任務，既緩解用工壓力，又通過人機協作突破AI能力不均的瓶頸；另一方面，針對具身智能的核心——物理世界數據采集難，用人機協作的模式實現“Human-in-the-Loop”采集數據，形成數據閉環。

2、三段式進階之路，從遠程遙控到全自主作業

在技術路徑上，網易靈動規劃了循序漸進的演進方向：

• 遠程遙控階段：通過攻克網絡延時、傳感缺失、感知錯位三大難題，搭建智能的遠程駕艙；
• 人機協作階段：挖掘機器人具備部分AI能力，可執行簡單的指令，而高級決策由人工主導；
• 全自主作業階段：突破場景復雜、魯棒性不足、安全風險等挑戰，實現挖掘機器人的全自主作業。

為靈活滿足不同行業、不同發展階段的客戶需求，網易靈動提供基礎版、進階版、智控版3種產品方案，現場，陳贏峰博士分享了網易靈動在挖掘機器人遠控和智能化上的進展。

首先是基礎版，在遠程遙控能力上，網易靈動通過自研RTC音視頻傳輸技術，在5G環境下端到端延遲可以控制在130ms，局域網端到端延遲在90ms左右，解決實時操作的安全問題；針對遠程“看不到細節”的痛點，團隊引入AR畫面增強與3D實時重建技術，搭配VR設備實現遠程透傳，讓操作員仿佛坐在挖機駕駛艙內，精準控制每一個動作。

進階版的核心是“讓機器人更聰明”——不僅能執行指令，還能自己“感知環境、精準操作”?？刂茖用妫瑘F隊摒棄傳統挖機控制方式，通過學習建立液壓控制模型與反饋機制，將液壓臂自動控制精度提升至5cm，末端負載感知精度小于150N，就算新手也能輕松完成高難度動作；感知層面，挖掘機器人具備了行人檢測、作業設備識別、作業面地勢實時感知及卡車位姿估計等能力，避免作業碰撞和誤傷；功能上，進階版支持自動甩方、自動平地、自動刷坡，甚至能與人協作完成自動裝車，讓挖掘機器人不再是“工具”，而是能“幫把手”的伙伴。

智控版則能完成更多智能高階任務。人機協作自動裝車（智控版）支持3D視圖監控、卡車自動匹配與任務結果查詢，無需人工干預就能完成區域自動裝車；人機協作導航挖溝作業（智控版）能自動規劃路徑，實時顯示總里程、剩余距離，能夠適應不同的工地環境，讓機器人從“聽人指揮”變成了“自己想辦法完成任務”，離“全自主作業”更近了一步。

3、具身智能的實踐路徑：模型進化與數據開放的雙輪驅動

回顧行業具身智能的演進脈絡：從RT-1的“圖像+指令”驅動機械臂，到PaLM-E的多模態任務理解；從RT-2的“視覺-語言-動作”融合，到π0的“跨本體泛化控制”，再到首個適用于人形機器人全自由度的VLA模型——Helix。具身智能大模型的演進始終圍繞一個核心：讓機器人真正理解環境、規劃任務、執行操作。

網易靈動認為，當前階段具身智能在工程機械領域會先行落地。在挖掘機裝車場景中，“感知-決策-規劃-控制”的傳統框架由人為設計，限制了系統的靈活性和泛化能力。為此，網易靈動發布“機械智心”具身智能訓練框架，用強化學習（仿真環境反復練習）、專家數據學習（模仿挖機師傅的軌跡）、視頻數據學習（從視頻里學常識）三階段融合的方式，突破單一學習模式的局限。

基于這個框架，團隊打造了全球首個露天礦山裝車場景具身智能模型“靈掘”，基于示范數據實現料堆整理的手法學習，解決裝車之外長尾環節無人化難題，如地面物料、搭建作業平臺等，模型泛化強、可適配不同卡車位置和作業模式。該模型通過視頻預測任務訓練世界模型，隨著數據量持續增加，模型從一開始不知如何下挖，到學會挖滿一斗，進而完成一整套裝卸與裝車作業。

這也是首次在工程機械智能化行業驗證了數據規模定律（Data Scaling Laws），為后續工程機械智能化的發展指明了方向——持續獲取更多數據。因此，網易靈動對外公開了數據集開放計劃，推動行業技術普惠，包括：

• TB級真實挖機作業視頻數據集，涵蓋不同品牌挖機、不同光照以及不同采掘平臺場景。
• 百萬級挖機作業示范軌跡數據集，其中涵蓋激光數據、視覺圖像以及IMU等傳感器數據。

*開放數據地址：
①https://huggingface.co/datasets/fuxi-robot/excavator-video
②https://huggingface.co/datasets/fuxi-robot/excavator-motion

這兩大數據集不僅是工程機械領域規模最大的開放數據集，更是具身智能機器人領域內首個垂直領域規模最大的開放數據集。目前，這些數據集已在Hugging Face平臺上發布，為行業研究提供寶貴資源。

此外，今年9月，針對攪拌站、發電廠、港口、化工廠等場景的智能化升級需求，網易靈動推出全球首款面向全域場景的具身智能無人裝載機——“靈載”，提供了可規?；瘡椭频臉藯U解決方案。

未來，隨著具身智能技術的進一步成熟，網易伏羲將繼續深耕工程機械領域，用AI為傳統行業注入新動能。當游戲里的數字孿生等技術走進礦山，當具身智能模型學會挖掘作業，我們看到的不僅是技術的進步，更是一個人機協同、安全高效的智能工程機械時代正緩緩到來。