我們非常高興地宣布，LeRobot 迎來一系列重大升級，讓開源的機器人學習比以往更強大、更可擴展、也更易用！從重構的數據集到靈活的編輯工具、新的仿真環境，以及面向硬件的全新插件系統，LeRobot 正在持續演進，以滿足前沿具身智能 (Embodied AI) 不斷發展的需求。

簡要總結

LeRobot v0.4.0 為開源機器人領域帶來重要升級：引入可擴展的 Datasets v3.0、強大的新 VLA (視覺-語言-動作) 模型如 PI0.5 與 GR00T N1.5，以及全新的插件系統，簡化硬件集成。該版本還新增對 LIBERO 與 Meta-World 仿真的支持、簡化多 GPU 訓練，并上線全新的 Hugging Face 機器人學習課程。

數據集：為下一波大規模機器人學習做好準備

我們徹底重構了數據集基礎設施，推出 LeRobotDataset v3.0，采用全新的分塊式 Episode 格式與流式讀取能力。這對于處理超大規模數據集 (如 OXE (Open X Embodiment) 與 Droid) 是一次范式躍遷，帶來前所未有的效率與可擴展性。

Datasets v3.0 有何新變化？

• 分塊式 Episodes，面向超大規模：新格式支持 OXE 量級 (> 400 GB) 的數據集，顯著提升可擴展性。
• 高效視頻存儲與流式讀取：更快的加載速度與順暢的視頻數據流式訪問。
• 統一的 Parquet 元數據：告別分散的 JSON！所有 Episode 的元數據現統一存放于結構化的 Parquet 文件中，便于管理與訪問。
• 更快的加載與更好的性能：顯著縮短數據集初始化時間，內存使用更高效。

我們還提供了轉換腳本，幫助你將現有 v2.1 數據集一鍵遷移到新的 v3.0 格式，確保平滑過渡。更多細節可閱讀我們此前的 博客文章。開源機器人的學習能力持續升級中！

新特性：數據集編輯工具！

使用 LeRobot 數據集從未如此輕松！我們新增了一套強大的數據集靈活編輯工具。

借助全新的命令行工具 lerobot-edit-dataset，你可以：

• 從現有數據集中刪除指定的 Episodes。
• 按比例或 Episode 索引拆分數據集。
• 輕松添加或移除特征字段。
• 將多個數據集合并為一個統一數據集。

# 將多個數據集合并為單一數據集
lerobot-edit-dataset \
    --repo_id lerobot/pusht_merged \
    --operation.type merge \
    --operation.repo_ids "['lerobot/pusht_train', 'lerobot/pusht_val']"

# 刪除部分 episodes 并保存為新數據集（保留原數據集）
lerobot-edit-dataset \
    --repo_id lerobot/pusht \
    --new_repo_id lerobot/pusht_after_deletion \
    --operation.type delete_episodes \
    --operation.episode_indices "[0, 2, 5]"

這些工具將大幅簡化你的工作流，讓你以前所未有的方式策劃與優化機器人數據集。更多詳情請查閱 文檔！

仿真環境：擴展你的訓練場

我們持續擴展 LeRobot 的仿真能力，為你的機器人策略提供更豐富、更多樣化的訓練環境。

LIBERO 支持

LeRobot 現已正式支持 LIBERO——這是 VLA (視覺-語言-動作) 策略中規模最大的開源基準之一，涵蓋超過 130 個任務！這一步為打造 VLA 策略的首選評測樞紐奠定了基礎，提供便捷的集成方式與統一的評測配置。

前往查看 LIBERO 數據集 與我們的 文檔 開始上手！

Meta-World 集成

我們已集成 Meta-World，它是評測機器人操作多任務與泛化能力的一流基準，包含 50+ 種多樣化的操作任務。配合我們對 gymnasium ≥ 1.0.0 與 mujoco ≥ 3.0.0 的標準化使用，這一集成為確定性的隨機種子與穩健的仿真基礎提供了保障。

立即使用 Meta-World 數據集 訓練你的策略吧！

代碼庫：人人可用的強力工具

我們讓機器人控制更加靈活與易用，解鎖數據采集與模型訓練的新可能。

全新的數據處理 Pipeline

讓數據從機器人流向模型 (再流回去！) 并不容易。原始傳感器數據、關節位置與語言指令，與人工智能模型期望的輸入并不一致。模型需要在正確設備上的規范化、按批次的張量，而你的機器人硬件則需要特定格式的動作命令。

我們很高興地推出 Processors：一個模塊化的數據處理 Pipeline，可充當通用的“數據翻譯器”。你可以把它想象為一條裝配線，每個 ProcessorStep 只處理一個明確的工序——例如歸一化、文本 Token 化、或將數據移到 GPU。

你可以將這些步驟串聯起來，構建強大的 Pipeline，精準管理你的數據流。我們還提供了兩類開箱即用的 Pipeline，進一步降低使用門檻：

• PolicyProcessorPipeline：面向模型。專為高性能訓練與推理處理按批次的張量。
• RobotProcessorPipeline：面向硬件。以單條數據 (如單次觀測或動作) 為粒度，服務于實時機器人控制。

# 獲取環境狀態
obs = robot.get_observation()

# 重命名、打批、歸一化、文本分詞、移動到設備 ...
obs_processed = preprocess(obs)

# 推理
action = model.select_action(obs_processed)

# 反歸一化、移動設備 ...
action_processed = postprocess(action)

# 執行動作
robot.send_action(action_processed)

這個系統讓任何策略與任何機器人都能簡單互聯，確保你的數據在每一步都處于“剛剛好”的格式。詳情可閱讀我們的 Processors 入門文檔。

多 GPU 訓練更簡單

大規模機器人策略的訓練現在更快了！我們將 Accelerate 直接整合進訓練 Pipeline，只需 一條命令 即可在多塊 GPU 上無縫擴展你的實驗：

accelerate launch \
  --multi_gpu \
  --num_processes=$NUM_GPUs \
  $(which lerobot-train) \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_trained_policy \
  --policy.type=$POLICY_TYPE \
  # ... 更多訓練配置參數

無論是對策略進行微調，還是開展大規模實驗，LeRobot 現在都能替你處理分布式訓練的全部復雜性。這意味著你可以大幅縮短訓練時間：約 2 塊 GPU 可減半，約 3 塊 GPU 可降至三分之一，更多 GPU 效率更高。

查閱 文檔 加速你的機器人學習！

策略：釋放開放世界泛化能力

PI0 與 PI0.5

在開源機器人領域的一個重要里程碑中，我們將 Physical Intelligence 的 pi0 與 pi0.5 策略集成進了 LeRobot！這些 VLA (視覺-語言-動作) 模型在解決開放世界泛化問題上邁出了重要一步。那么，π0.5 的革命性體現在哪里？

• 開放世界泛化：能夠適應完全陌生的環境與情境，在物理、語義與環境層面實現跨域泛化。
• 異構數據共訓練：從多模態網頁數據、自然語言指令、子任務命令與多環境機器人數據的多樣組合中學習。
• Physical Intelligence 合作：特別感謝 Physical Intelligence 團隊 的開創性工作！

你可以在 Hugging Face Hub 上找到這些模型：pi0.5_base、pi0_base 及它們的 Libero 微調版本。更多細節請參考 Physical Intelligence 的研究博客。

GR00T N1.5

另一項令人振奮的進展是，我們與 NVIDIA 機器人團隊攜手，將 GR00T N1.5 集成進 LeRobot！這是一款面向泛化的開源基礎模型，能夠進行跨本體的推理與技能遷移。它接收多模態輸入 (如語言與圖像) ，可在多樣環境中執行復雜的操作任務，標志著通用機器人又一大步。GR00T N1.5 為何與眾不同？

• 泛化推理與技能：作為跨本體的基礎模型，GR00T N1.5 擅長泛化推理與操作任務，并提升了語言跟隨能力。
• 大規模異構訓練：訓練數據覆蓋真實人形機器人采集數據、NVIDIA Isaac GR00T Blueprint 生成的合成數據，以及互聯網規模的視頻數據。
• 與 NVIDIA 合作：我們很高興與 NVIDIA 團隊 合作，將這一前沿模型帶給開源的 LeRobot 社區！

你可以在 Hugging Face Hub 上找到該模型：GR00T-N1.5-3B。更多信息請查看 NVIDIA 的研究頁面 與 官方 GitHub 倉庫。

這些策略在 lerobot 中的原生集成，讓機器人學習更開放、更可復現。立即試用、分享你的訓練運行結果，讓我們共同推動具身智能的前沿！

機器人：插件系統引領硬件集成新紀元

對硬件愛好者而言的重磅消息！我們發布了全新的插件系統，徹底改造了第三方硬件與 LeRobot 的集成方式。現在，只需一次 pip install，就能連接任意機器人、相機或遙操作設備，無需修改核心庫。

核心優勢

• 可擴展性：在獨立的 Python 包中開發并集成自定義硬件。
• 規模化：支持不斷增長的設備生態，而不會“增肥”核心庫。
• 社區友好：降低社區貢獻門檻，促進更高效的協作。

想要創建自己的插件？請閱讀我們的 文檔。

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

Reachy 2 集成

得益于全新插件系統，我們已將 Pollen Robotics 的 Reachy 2 集成到 LeRobot 中！Reachy 2 同時支持真實機器人控制與仿真，讓你可以立即開展遙操作與自主演示實驗。

手機集成

得益于強大的新 Pipeline 系統，你現在可以直接用手機 (iOS/Android) 遙操作你的從動機械臂。手機作為遙操作設備，RobotProcessor Pipeline 負責全部數據變換，讓你輕松在不同動作空間 (如末端執行器空間) 驅動機器人。查看示例。

Hugging Face 機器人學習課程

我們上線了一門全面、可自學、且完全開源的課程，旨在讓機器人學習真正“人人可學”！如果你對真實世界中的機器人如何學習感興趣，這是絕佳的起點。

在這門課程中，你將學到：

• 理解經典機器人學的基礎知識。
• 使用生成式模型進行模仿學習 (VAE、擴散模型等) 。
• 將強化學習應用于真實機器人。
• 探索最新的通用機器人策略，如 PI0 與 SmolVLA。

加入 Hugging Face Robotics 組織 一起學習吧！

深入講解：現代機器人學習教程

我們還發布了一篇動手實踐的現代機器人學習教程，系統梳理近期的關鍵進展。該指南從第一性原理重新推導現代技術，并提供可直接運行的示例代碼，全面基于 LeRobot 與 Hugging Face。

教程托管在一個 Space 中，包含大量基于 LeRobot 的實操示例，所有模型與數據集均在 Hugging Face Hub 上。同時你也可以查看 我們的論文 以獲得更全面的概覽。

團隊總結

除了以上重大功能，這個版本還包含大量的錯誤修復、文檔改進、依賴更新、更多示例與更好的基礎設施，只為讓你在使用 LeRobot 時獲得更順滑、更可靠的體驗。

衷心感謝每一位社區成員的寶貴貢獻、反饋與支持。我們對開源機器人的未來無比期待，也迫不及待地想與你一起構建下一步！

更多精彩，敬請期待 ?? 現在就從 這里 開始吧！
—— LeRobot 團隊 ??

英文原文: https://huggingface.co/blog/lerobot-release-v040

原文作者: Steven Palma, Michel Aractingi, Pepijn Kooijmans, Caroline Pascal, Jade Choghari, Francesco Capuano, Adil Zouitine, Martino Russi, Thomas Wolf

譯者: Luke, Hugging Face Fellow