轉載學習：具身智能安全：內涵及治理（第二十一期CCF秀湖會議報告）

背景與意義

• 具身智能被視為AI創新的下一波浪潮，其核心是“機器人 + 大模型”（如“DeepSeek + 宇樹”模式）。
• 這種將大模型技術與物理實體（機器人）深度融合的系統，其硬件、軟件、算法和數據都存在安全風險，惡意攻擊可導致現實危害，威脅人身安全與用戶隱私。
• 鑒于具身智能的安全挑戰同時涉及技術、法律、倫理和社會層面，CCF組織了本次會議，邀請多位專家學者進行研討。

會議概覽

• 會議圍繞“具身智能安全”主題，組織了五個專題討論。
• 本文旨在總結會議觀點，梳理研究實踐，展望未來發展，并在內涵、防護治理方面形成初步共識。

專題討論詳細內容

專題一：具身智能及其安全總體展望

• 具身智能定義：基于物理實體進行感知和行動，通過與環境的交互來理解問題、做出決策并執行動作，產生智能行為和適應性的AI系統（如機器人、自動駕駛汽車）。
• 核心優勢：利用多模態大模型（視覺、聽覺等）獲得強大的泛化、理解、推理和復雜操作能力。
• 獨特的安全挑戰：
  • 跨域特性：同時存在于物理域（硬件）和信息域（軟件/算法），安全邊界模糊。
  • 物理交互性：一旦系統失控或遭受攻擊，后果不僅限于信息域，可直接造成物理世界的嚴重破壞（設備損壞、人員傷亡，甚至社會/國家安全威脅），風險遠大于純軟件AI。
  • 攻擊面擴大：除傳統AI安全威脅外，還需面對硬件漏洞、惡意物理信號干擾（聲、光、電磁）等新型攻擊。
• 專家觀點與挑戰：
  • 集群機器人安全（金耀初）：可解釋性不足（黑箱特性）是提升安全與隱私保護的關鍵障礙；實時性與高安全要求、人-集群可信交互是難點。
  • 三維物理環境中的具身安全（王震）：挑戰在于將大模型能力從二維信息空間擴展到三維物理空間（多模態融合，3D理解與重建）、算法效率/精度優化（計算資源限制下的任務規劃與泛化）、復雜動態環境的魯棒控制（不確定條件下的安全執行）；強調安全是系統工程，需“全鏈路安全保障體系”。
  • 信息物理系統（CPS）視角下的威脅范式（朱浩瑾）：核心是網絡攻擊可通過具身智能直接映射為物理危害。風險包括本體感知安全（傳感器欺騙）、智能決策安全（模型后門/數據投毒篡改決策）、硬件執行安全（控制指令劫持）；特別提出適配器安全是嵌入式/可信AI關鍵瓶頸。
  • 產業實踐與挑戰（何銀軍，宇樹科技）：以人形機器人為例，闡述了驅動技術、運動控制、感知系統、通用AI集成等工程挑戰；指出Sim-to-Real遷移、模型部署優化、實時決策與魯棒執行是關鍵問題；呼吁產業鏈上游到下游協同創新。

專題二：具身智能算法及控制安全

• 定義與重要性：在交互過程中確保具身智能體決策與執行行為的安全可靠。對機器人、自動駕駛、智能制造等高動態場景至關重要。
• 核心挑戰：需要同時滿足決策正確性、實時性、安全性和控制魯棒性等多重、有時相互沖突的要求。
• 專家觀點與研究前沿：
  • 可信大模型平臺（陶建華）：核心挑戰是可信性與可解釋性。
    • 研究前沿：知識圖譜增強大模型事實性、探針/對抗攻擊/可視化理解模型黑箱、生成內容安全審核。
  • 人機交互與高效部署（李樹濤）：核心是實現自然高效的安全人機交互。
    • 技術進展：多模態情感/意圖識別、復雜場景理解（人-人交互、開放域視覺問答）、安全高效部署；未來方向：利用大語言模型（LLM）生成指令/加深多模態學習、模型壓縮、端云協同優化。
  • AI原生安全與風險評估（沈超）：風險超越傳統網絡安全（CIA三要素：機密性、完整性、可用性），威脅個人/社會/國家安全。
    • 研究實踐：為AI Agent建立風險矩陣評估；
    • 未來方向：建立系統化AI安全評估框架與基準確認可信AI在復雜場景效果提升可解釋性以增強安全。
  • 端云協同效率與安全（王志波）：挑戰在于資源受限的終端部署萬億級大模型。端云協同引入模型部署策略、資源調度、任務協同等復雜性和新風險（隱私泄露、內容可信度、數據遺忘）。提及自適應紅隊測試和遺忘學習的新隱私風險；
    • 未來方向：輕量化端側模型、安全高效的端云協同框架。
  • 可信智能體構建（吳秉哲）：挑戰是智能體落地的合規性、可靠性、防御脆弱性。
    • 可信要素：風險智能感知（識別/理解潛在風險）、可靠性增強（行為穩定與安全）、推理可解釋性、全鏈路數據隱私保護。
• 共識：
  • 承認端到端架構前景但需克服數據和技術瓶頸。
  • 大小腦協同分層框架在復雜場景表現優異。
  • 重點共識：
    1. 關注端側模型安全風險：模型壓縮/剪枝/量化對安全的影響需深入研究和評估，需設置“安全護欄”（前置/后置評估）。
    2. 明確能力邊界：設計初期即考慮安全，設定任務特定能力邊界，融入“本質安全”理念。
    3. 推動法律法規完善：明確責任歸屬（如自動駕駛事故），填補法律空白，促進良性發展。

專題三：信息物理系統（CPS）融合下具身智能安全

• 具身智能作為復雜CPS：集成感知、計算、通信、控制，物理與信息空間要素相互映射交互協同的系統。安全具有復雜性和多樣性。
• 專家觀點與研究前沿：
  • 具身本質與安全維度（蔣樹強）：智能與物理體驗不可分。系統分“大腦”（決策）、“小腦”（控制）、“本體”（硬件）。安全是廣義、多維度概念（身性、交互性、自主性等），超越算法安全，需研究多智能能力組合下的安全（感知+問答+行為等）。
  • 移動群智感知安全（蘇洲）：攻擊類型：通信干擾、感知數據污染、隱私泄露。
    • 防護策略：基于區塊鏈的安全數據共享、基于主觀邏輯的信任管理、基于前景理論的安全決策。
    • 未來方向：多模態安全感知、動態信任信譽機制、自適應防御機制。
  • 工控視角分層安全（李默涵）：安全層次化分析（微觀-機器人級：訪問控制與執行安全；中觀-車間級：內網防護與流程協同；宏觀-企業級：服務接口安全與供應鏈韌性）。
  • 跨域威脅本質（冀曉宇）：核心是跨域安全威脅。根源在于數字與物理域映射失配導致的“帶外脆弱性”，可致“精神致幻”（錯誤決策）和“肉身失控”（危險行為）。
    • 攻擊范式：物理攻擊信號→物理組件入口→利用算法脆弱性→物理/環境威脅。
    • 防護理念：“先天基因編輯”（設計嵌入安全）優于“后天注射疫苗”（部署安全防御）。
  • 感知安全風險（胡鵬飛）：攻擊特性：物理性、隱蔽性、多樣性。防御需多模態、跨物理域（聲/光/電磁/電力）。
    • 未來方向：系統化開發新型攻擊方案發掘風險點、探索感知系統安全邊界、融合多學科知識（物理/信號處理/材料）提升防御韌性。
• 共識：
  1. 物理與信息攻擊聯動帶來系統性威脅：物理攻擊（傳感器感知/執行器控制攻擊）可導致信息域錯誤決策，造成更嚴重的跨域危害。
  2. 需定義“安全執行邊界”：綜合考慮內部結構（動態感知/自我保護/功能降級能力設計）和外部環境（干擾信號/惡意攻擊者能力）。
  3. 實現“端到端安全”需“腦身”配合：信息域（魯棒算法）與物理域（健壯傳感器/執行器防護）協同設置防護；具身智能體需具備主動性與適應性以應對環境變化和新威脅。

專題四：具身智能多模態及對齊安全

• 背景：多模態大模型增強具身智能感知能力（視覺、聽覺、觸覺等）與推理能力，但也引入新的攻擊面（視覺對抗樣本越獄等）。
• 關鍵安全問題：行為與人類價值觀對齊至關重要，需防止其在復雜物理/社會環境中產生惡意行為。
• 專家觀點與研究前沿：
  • 軟硬件協同可信構建（呂勇強）：硬件層面（利用可信芯片/加固機制構建安全平臺）；軟件/系統層面（人因工程設計直觀安全界面、魯棒異常檢測）；目標是建立軟硬件一體、可形式化驗證的安全架構。
  • 操作可解釋性提升（董豪）：
    • 研究前沿：物理引擎仿真 + 3D模型 + 真實圖像生成數據集，解決Sim-to-Real難題；探索利用LLM生成策略描述作為解釋機制；主動探索學習實現高效可靠決策。
  • 四層安全防御框架（李琦）：風險覆蓋網絡環境（API安全/環境可信）、代碼邏輯（供應鏈/漏洞防御）、模型決策可靠性（避免事實幻覺）、輸出價值對齊（符合價值觀）。
    • 對策：網絡行為分析、代碼觸發路徑漏洞檢測、激活預測事實錯誤、安全對齊技術價值觀糾正。
  • 內生與外生安全視角（楊耀東）：
    • 內生安全：具身大模型自發遵循人類價值觀的能力（如何實現/驗證價值對齊）。
    • 外生安全：抵御對抗攻擊和分布外場景失效的魯棒性（如何提升開放環境韌性）。
    • 獨特挑戰：具身模型需同時對齊數據、人類偏好、客觀物理反饋和物理規律。
    • 呼吁：亟需技術與社會層面共同推進研究、立法與治理，開發保障價值對齊與物理魯棒性的方法。
• 共識：
  1. 多模態是核心能力，需關注新模態帶來的安全風險：物理部署需求全模態感知（視覺/文本/聽覺/觸覺等），引入新模態時需同步規劃前后端安全防護以應對擴大的攻擊面。
  2. 對齊是關鍵安全環節：必須同時滿足人類價值觀對齊（社會公共利益）和物理規律對齊（客觀物理反饋和限制），二者相互驗證補充提升系統安全性。

專題五：具身智能網絡通信及數據安全

• 核心問題：終端采集隱私數據、與云端交互時，需確保數據在采集、傳輸、存儲、處理全流程的安全與隱私，同時不影響智能操作。
• 專家觀點與研究前沿：
  • 網絡體系結構安全本質（羅洪斌）：TCP/IP體系內生安全不足。
    • 未來方向：探索兼容現有生態的基礎性安全創新網絡架構（借鑒基礎科學原理/對稱性），尋求安全機制與開放性的平衡。
  • 大模型驅動的數據安全（王騫）：挑戰在于數據保護策略（加密/脫敏/訪問控制）、訓練數據遺忘（結構化遺忘技術）、抵抗對抗攻擊、隱私增強學習（差分隱私/聯邦學習的可行性與效率）。呼吁共建安全基準、提升可解釋性。
  • 宏觀社會安全反思（田臣）：需超越單系統安全，探索AI（尤其具身智能）對社會的系統性失業、財富集中、生存挑戰）。研究需融合微觀（行為）與宏觀（社會結構/經濟/倫理）層面。
  • IoT感知層安全與隱私（靳文強）：
    • 挑戰與方向：隱私保護下的高效感知方法；識別音頻/數據輸入新風險（耳機振動竊聽、傳感器推斷屏幕輸入）；開發輕量嵌入式防御機制。
  • 可驗證安全約束與密碼學（成秀珍）：
    • 核心挑戰：如何在保護數據隱私的同時驗證多方安全約束的執行（如協同感知規則/控制策略合規）。
    • 研究前沿：應用安全多方計算（SMC）和零知識證明（ZKP）技術解決此問題，設計高效實用的協議并集成到實際具身智能場景（協同感知/分布式控制/策略驗證）。
• 共識：
  1. 安全與異構融合是通信核心需求：邊緣多樣性、系統異構性對通信協議各層提出新要求，同時須保障通信數據安全與隱私。
  2. 辯證看待低時延需求：
     • 高動態場景（如自動駕駛）要求低時延設計/本地算力。
     • 通信要求不高的場景可考慮系統綜合成本設計網絡協議，避免絕對低時延的不必要消耗。

共識與倡議

共識

1. 戰略地位與創新性：具身智能是邁向通用人工智能（AGI）的最可能路徑（人機物融合新質生產力），是智能科學新范式，是科技創新的必由之路。
2. 固有安全風險與緊迫性：作為橫跨物理域和信息域的復雜系統，面臨更復雜的軟硬件協同安全風險。一旦失控后果嚴重，急需開展研究并制定評測標準。
3. 信息物理融合安全特殊性：安全問題從信息空間延展到物理空間，必須特別關注信息物理融合安全帶來的獨特挑戰。
4. 人機交互安全重要性：必須關注避免人身損害的交互安全問題，研究相應防護技術。
5. 全流程與跨領域安全：安全涵蓋軟硬件協同、全流程全生命周期。需要不同安全領域研究者合作。伴隨技術革新，將產生安全責任歸屬、法律監管、倫理等新社會問題，需要文理/工法等學科的交叉合作研究。

倡議

1. 建立健全體系框架與標準：
   • 建立系統化的具身智能安全體系框架。既要關注傳統安全問題在新場景下的變化，更要主動發掘其獨有的安全挑戰。
   • 綜合考慮學科交叉需求和實際適用性，建立具身智能安全標準與評測平臺。
   • 形成覆蓋全流程全生命周期的標準評測規范。
2. 推動關鍵軟硬件自主可控：
   • 推動具身智能核心軟硬件國產化、自主化，打造安全可靠自主的產業鏈供應鏈。
   • 保障產業安全，提升國際話語權。
3. 促進產學研深度融合與人才培養：
   • 促進產業界、學術界和教育界的優勢互補與深度合作。
   • 培養具備深厚學科交叉背景（如AI安全、控制工程、網絡通信、密碼學、倫理學、法學）和國際競爭力的復合型人才。
   • 形成人才驅動與技術創新并進的局面，保障產業健康良性發展。