P1 调研:具身智能数据软件管道全景(采集 → 标注 → 清洗/策展 → 评测 → 格式/处理)
日期:2026-08-28(预写) · 作者:Platform 调研 agent 方法:WebSearch + 网页抓取逐项查证(非记忆复述),关键论断均附来源链接;检索日期 2026-08-27。 范围:开源 + 商用方案,五段各 5–10 个;重点核验 ARES(a16z)、Encord、Scale AI、Labellerr、Avala、Labelbox、SuperAnnotate、LanceDB、Roboflow、CVAT、Label Studio 及 2025–2026 新平台。 结论先行:具身数据管道尚无"一家通吃"平台;开源栈(LeRobot v3 + Label Studio/CVAT + Rerun + lerobot-lancedb + 自有评测协议)可覆盖 90% 需求,商用采购仅在 LiDAR/点云级标注与全球采集网络两处有不可替代性。
0. 全景速览表
| 段 | 方案 | 形态 | 许可/定价 | LeRobot 兼容 |
|---|---|---|---|---|
| 采集 | LeRobot 原生 record/teleoperate | 开源自部署 | Apache 2.0,免费 | 原生 |
| 采集 | phosphobot(phospho) | 开源 + SaaS 看板 | 开源仓库;Quest app 免费 | 原生(输出 LeRobot v2) |
| 采集 | GELLO | 开源(软硬皆 MIT) | 免费,硬件约 $300/臂 | 需适配层 |
| 采集 | Scale AI Physical AI Data Engine | 商用服务+平台 | 定制报价(白手套) | 无公开承诺 |
| 采集 | Encord Physical AI | SaaS/VPC/本地 | 定制报价 | 经 MCAP/RLDS 间接 |
| 采集 | Labelbox Terra / LBRx | 商用全栈(含硬件) | Volume 报价 | 无公开承诺 |
| 采集 | Avala | 服务+平台 | $20–40/hr(标注档) | RLDS/HDF5/OXE 输出 |
| 采集 | Labellerr | SaaS(可自托管) | 免费/Pro $499 月 | 声称支持机器人数据 |
| 标注 | Encord | SaaS/VPC/本地 | 免费/团队/企业(报价) | 间接 |
| 标注 | Scale AI | 商用 | 报价 | 间接 |
| 标注 | Labelbox | SaaS | ~$1.5k/月起→$50k+/年 | 间接 |
| 标注 | SuperAnnotate | SaaS | Starter(1k items 免费)/报价 | 间接 |
| 标注 | Labellerr | SaaS/自托管 | 免费/$499 月/定制 | 声称支持 |
| 标注 | CVAT | 开源自部署 + 云 | MIT;云 Solo/Team ~$33/user 月,企业 $12k/年起 | 需自行转换 |
| 标注 | Label Studio | 开源自部署 + 云 | Apache 2.0;HumanSignal $99/月+$49/user | 需自行转换 |
| 标注 | Roboflow | SaaS | 免费 + Core $79–99/月 | 无原生 LeRobot 导出 |
| 清洗/策展 | ARES(a16z) | 开源自部署 | Apache 2.0 | 原生吃 OXE/RLDS,非 LeRobot |
| 清洗/策展 | Encord Active | 开源工具包 | 开源(2023 发布) | 间接 |
| 清洗/策展 | FiftyOne(Voxel51) | 开源 + 企业版 | OSS Apache 2.0;企业报价 | 间接 |
| 清洗/策展 | Lightly | 开源 SSL 库 + 商用平台 | LightlySSL MIT | 间接(视觉帧级) |
| 清洗/策展 | Rerun | 开源 SDK + 商业 | MIT/Apache 双许可 | 有社区集成路径 |
| 清洗/策展 | Foxglove | 商用(2024 起闭源) | 免费 3 席/10GB;Pro $20/月起 | MCAP 桥接 |
| 清洗/策展 | Cleanlab | 开源库 + SaaS | 库 MIT;TLM 按量 | 弱(非具身专用) |
| 评测 | LeRobot 内建 eval | 开源 | Apache 2.0 | 原生(含 LIBERO 集成) |
| 评测 | LIBERO(+PRO) | 开源基准 | MIT(仓内另有许可疑虑留痕) | 官方转换脚本生态 |
| 评测 | SimplerEnv | 开源 | 开源(CoRL 2024) | 代理评测 |
| 评测 | RoboArena | 社区真机基准 | 开源论文/社区运行 | DROID 平台 |
| 评测 | AgiBot World(挑战赛) | 开源数据+评测工具 | 开源;评测用 Genie Sim 3.0 | 默认 LeRobot 格式 |
| 评测 | NVIDIA Isaac Lab/GR00T | 开源框架+模型 | Lab BSD-3;GR00T 权重许可分版本 | GR00T 数据管线兼容 LeRobot |
| 格式 | LeRobot Dataset v3.0 | 开放格式+工具 | Apache 2.0 | 本体 |
| 格式 | lerobot-lancedb(Lance) | 开源伴生包 | 开源 | 原生(v3↔Lance) |
| 格式 | RLDS / Open X-Embodiment | 开放格式 | TFDS/OXE 开放 | 转换工具齐全 |
| 格式 | MCAP | 开放容器格式 | 开源 | 经 Encord/ROS 桥接 |
| 格式 | EmbodiFlow(IO-AI) | 商用 SaaS + 免费工具 | 平台收费;LeRobot Studio 免费 | 原生(v2↔v3 转换) |
1. 采集段(真机/人类演示数据获取)
1.1 LeRobot 官方工具链(record / teleoperate)
- 核心能力:
lerobot-record一键录制多相机+状态+动作 episode 并直传 HF Hub;teleoperate 支持主从臂、键盘、VR 等多种 Leader 设备;配套 dataset 卡与在线可视化(Hubvisualize_dataset)。 - 许可:Apache 2.0(HF 开源仓库)。定价:免费。部署:自部署/本地。
- 具身针对性:为具身模仿学习而生(ACT/Diffusion Policy/VLA 全家桶)。LeRobot 兼容:即本体。
- 案例:HF 官方博客宣布 v3.0 格式与 DROID 1.0.1 大规模迁移(博客、迁移教程)。
1.2 phosphobot / phospho starter pack
- 核心能力:机器人控制+录制+VLA 训练一体化软件;Meta Quest VR 遥操作 app,录制自动存 LeRobot v2 格式并上传 HF 账号;含双臂 teleop、数据集合并/拆分修复工具。
- 许可:开源仓库(GitHub);SaaS 看板另计。定价:开源免费。部署:本地 + 云看板。
- 具身针对性:专为低成本机械臂(SO-10x 等)数据采集设计。LeRobot 兼容:原生输出。
- 案例:官方文档 Quest 遥操作教程(docs)、Seeed Studio 集成指南(wiki)。
1.3 GELLO(通用低成本遥操作)
- 核心能力:3D 打印主臂(Dynamixel 舵机,约 $300/臂)+ 软件框架;论文验证双 UR5 双臂遥操作采集效率优于键盘/3D 鼠标(arXiv:2309.13037)。
- 许可:软件与机械 CAD 均 MIT(gello_software、gello_mechanical)。定价:免费(硬件 BOM 自购)。部署:本地。
- 具身针对性:为"低成本、大批量人类演示采集"设计;支持 UR5/xArm/Panda/Kinova。LeRobot 兼容:需自写适配器映射到 LeRobot action space。
- 案例:项目页与论文(site)。
1.4 Scale AI — Physical AI Data Engine
- 核心能力:"数据铸造厂":全球机器人数据工厂 + 分布式采集者 + 客户自有硬件托管运营;号称每天采集上传 1000+ 小时演示数据;双臂遥操作平台、Scale Harness(无机器人自体感知采集装备);数据经内部 policy 微调+评测验证后才上架;多模态 grounding 标注随数据交付。
- 许可:闭源。定价:定制报价,白手套服务(dedicated 工程+运营团队)。部署:SaaS + 全球采集设施(SOC 2 Type II、ISO 27001)。
- 具身针对性:目前业内最大规模的具身真机采集网络。LeRobot 兼容:无公开承诺(交付格式按客户规格)。
- 案例:官网明示合作伙伴含 Generalist 与 Physical Intelligence;与 Universal Robots 合作把 Data Engine 嵌入 UR AI Trainer(scale.com/physical-ai、UR 合作公告)。
1.5 Encord — Physical AI 数据方案
- 核心能力:采集+QC+标注+部署反馈一站式:现场操作员(in-field operators)采集与质检;标注含视频帧级、LiDAR 点云(多传感器融合、合并点云视图);部署侧远程遥操作失败回收形成反馈闭环;原生导入 MCAP/ROSBAG;支持 VPC/本地部署;SOC2/HIPAA/GDPR。
- 许可:闭源。定价:定制报价(免费/团队/企业三档,价格不公开)。部署:SaaS 优先 + VPC/on-prem。
- 具身针对性:官网即"物理 AI 多模态数据层"定位。LeRobot 兼容:无原生,经 RLDS/MCAP 转换间接。
- 案例:公开客户 300+ 团队,含 Woven by Toyota、Zipline、Skydio、Forterra、Agility Robotics、Pickle Robot、Archetype、Yutori(physical-ai 页)。
1.6 Labelbox Terra(+ Labelbox Robotics / LBRx)
- 核心能力:全栈机器人数据引擎:自动分类、验证并引导式调度(steer)采集以持续提升数据多样性;专用采集硬件(purpose-built hardware);视频、轨迹、多模态标注一体;2025-11 成立 Applied Research 部门(LBRx 机器人部门)交付高质量多样数据。
- 许可:闭源。定价:机器人数据产品按 volume 报价;平台订阅口径约 $1,500/月起、企业 $50k+/年。部署:SaaS。
- 具身针对性:直接对标机器人基础模型数据。LeRobot 兼容:无公开承诺。
- 案例:Terra 产品页、定价综述、TrueLabel 分析。
1.7 Avala — Physical AI Infrastructure-as-a-Service
- 核心能力:人类活动数据采集网络(15,000+ 训练操作员、10 台 ALOHA 双臂机组、2000+ 小时 egocentric 采集、50Hz 多传感器);自研自动标注管线(SAM3 混合、3D 人体 70 关键点、MANO 手部、深度图)覆盖 80–90% 工作量,人力复核其余;输出 RLDS / HDF5 / Open X-Embodiment 兼容格式。
- 许可:闭源服务。定价:标注档 $20–40/小时(采集另议),规模化毛利 60–80%。部署:服务+SaaS(GDPR、SOC2)。
- 具身针对性:为 humanoid/操作臂的人类演示+4D 标注专门设计。LeRobot 兼容:经 RLDS/OXE 转换(lerobot 有 RLDS→LeRobot 转换生态)。
- 案例:官网列示 Figure、Galbot、Unitree、Agility、1X 为目标客群,NVIDIA GR00T/DeepMind/PI 为基础模型层客户(robotics 用例页)。
1.8 Labellerr
- 核心能力:SaaS 标注平台 + 采集服务:LiDAR/相机/传感器数据处理,支持自动驾驶、仓储机器人、humanoid 训练数据;SAM2 视频标注、智能反馈环;提供自托管选项。
- 许可:闭源(SaaS)。定价:Researcher 免费 / Pro $499 月(另有 $9,999/年 口径)/ Enterprise 定制。部署:SaaS + 自托管。
- 具身针对性:有专门 robotics/egocentric 数据产品线。LeRobot 兼容:无原生格式承诺。
- 案例:LinkedIn 称 40+ 机构使用,含 Stanford、UC Davis、Volvo、Toyota AI、Coupang(robotics-data 页、LinkedIn、F6S 定价)。
1.9 其他新兴采集玩家(2025–2026)
- Nferent AI:定制化具身数据采集服务(nferent.ai)。
- Humyn:物理 AI 训练数据+仿真数据指南与交付(humynlabs.ai)。
- Noitom Robotics:动捕系具身数据采集(noitomrobotics.com)。
- Orbbec:推出"无机器人"采集硬件平台(EGO/UMI/WristCam),与 Labelbox Terra 同赛道(见 Labelbox 检索上下文)。
- DROID 平台:社区标准化的真机采集平台(RLDS 生态),RoboArena 即构建其上(robo-arena.github.io)。
2. 标注段
2.1 Encord(标注部分)
- 核心能力:视频原生(帧级时间轴、同步多流)、LiDAR/3D 点云(cuboid、多边形、合并视图)、多模态分类与本体管理;NVIDIA Cosmos Reason/Embed 模型平台内可用;MLOps 侧接自动标注与 QA 工作流。
- 许可/定价:闭源;免费/团队/企业三档,全部付费档需定制报价(Label Studio 评测中的定价观察)。
- 部署:SaaS / VPC / 本地。具身针对性:目前商用标注平台中物理 AI 叙事最完整者。LeRobot 兼容:间接(RLDS/MCAP 导入导出需转换层)。
- 案例:Woven by Toyota、Skydio、Agility Robotics 等(来源)。
2.2 Scale AI(标注部分)
- 核心能力:机器人演示数据的多模态 grounding 标注 + 人工专家反馈(RLHF-for-robotics);标注随采集交付,内部评测验证"标注带来可测性能提升"。
- 许可/定价:闭源、定制报价。部署:SaaS。具身针对性:与采集网络一体化。LeRobot 兼容:无公开承诺。
- 案例:Generalist、Physical Intelligence、UR(来源)。
2.3 Labelbox
- 核心能力:多模态(视频/轨迹/文本)标注 + Terra 机器人数据引擎;video 与 trajectory 标注类型面向机器人基础模型。
- 许可/定价:闭源 SaaS;平台约 $1,500/月起至企业 $50k+/年,机器人数据 volume 报价(综述、TrueLabel)。
- 具身针对性:2025 年起以 Terra/LBRx 重注机器人。LeRobot 兼容:无公开承诺。
2.4 SuperAnnotate
- 核心能力:多模态标注平台(图像/视频/文本/音频/LiDAR/点云),企业级 workforce 管理;面向 frontier labs 与 robotics 的数据基础设施定位。
- 许可/定价:闭源 SaaS;Starter(1,000 items 免费)/Pro/Enterprise,价格需询价(评测、官网)。
- 具身针对性:LiDAR/3D 能力齐备但非具身专用。LeRobot 兼容:无。
2.5 Labellerr
- 见 1.8;标注侧含 SAM2 视频分割、遮挡关键帧锚定等机器人向能力(博客案例)。
2.6 CVAT(Computer Vision Annotation Tool)
- 核心能力:图像/视频/3D 点云标注(bbox、多边形、mask、关键点);SAM 半自动/自动标注;19+ 导出格式(COCO/YOLO 等);Python SDK;任务分配与 review 链路。
- 许可:CVAT Community MIT(GitHub)。定价:自部署免费;CVAT Online:Free(1–2 人)→ Solo/Team 约 $33/user/月(年付约 $23)→ Enterprise $12,000/年起(定价页)。
- 部署:开源自部署 + 官方云。具身针对性:出自 Intel 机器人团队,3D/点云原生,但不理解 episode/动作序列。LeRobot 兼容:需自行把视频帧标注对齐回 LeRobot 时间轴。
2.7 Label Studio(HumanSignal)
- 核心能力:多模态标注(图像/视频/时间序列/音频/文本/Rich text),可配置标注模板(XML),ML backend 钩子接自动标注模型;27.6k GitHub stars。
- 许可:Community Apache 2.0(GitHub)。定价:HumanSignal 云 $99/月起 + $49/额外席位/月;自部署免费(定价)。
- 部署:开源自部署(SaaS/本地)+ 官方云。具身针对性:通用型,时间序列标注可用于传感器流。LeRobot 兼容:无原生;以 parquet 任务导入 + 结果回写最可行。
2.8 Roboflow
- 核心能力:CV 全流程(标注/增强/训练/部署),40+ 数据集导出格式,RF-DETR 等开源模型(Apache 2.0)与 Inference 服务器。
- 许可:平台闭源 SaaS;开源组件 Apache 2.0(open-source 页)。定价:免费档 + Core $79/月(年付,月付 $99)(定价、第三方核实)。
- 具身针对性:a16z 在 ARES 文中评价其"偏通用计算机视觉、较少 robotics 专注"(原文)。LeRobot 兼容:无原生 LeRobot 导出(格式清单不含,formats)。
2.9 Avala(自动标注)
- 见 1.7:自动标注承担 80–90%,人工复核交付 4D 真值;输出 RLDS/HDF5/OXE。
2.10 ARES(自动标注引擎)
- 见 3.1:VLM 结构化抽取 + GroundingDINO/SAM 伪标签,2500 条 ECoT 级标注 10 分钟/$5。
3. 清洗 / 策展段(数据理解、质量、选择)
3.1 ARES(Automatic Robot Evaluation System,a16z)
- 核心能力:开源机器人数据平台,三段式:
- Ingestion:VLM 把原始 episode 转成结构化字段(任务、成功率、表面、光照、干扰物等 Pydantic schema → SQLite),Nomic 嵌入文本/轨迹 → FAISS 索引;
- Annotation:Modal 云上跑 GroundingDINO + SAM(5FPS)产出检测/分割存 MongoDB;VLM 伪标签(成功判定 gpt-4o @1FPS 最优);
- Curation/Analysis:Streamlit 前端做结构化过滤 + UMAP 聚类探索 + 文本/轨迹近邻检索(找相似 episode、发现 OOD 动作)→ 导出 CSV/Parquet 训练切片。
- 成本实测:gpt-4o 约 $0.01/episode;5000 episode 检测+分割 <$10(Modal 免费额度内)。
- 许可:Apache 2.0(GitHub)。定价:免费(自付 API/算力)。部署:本地 Docker/devcontainer(MongoDB+SQLite+FAISS)。
- 具身针对性:目前唯一的开源"机器人数据策展平台";作者 Jacob Phillips,a16z American Dynamism Engineering Fellows 计划产物,2025-04 发布;单人研究型项目,长期维护需自行评估。
- LeRobot 兼容:原生只吃 Open X-Embodiment(TFDS/RLDS),不支持 LeRobot 格式——这是关键缺口。已在 HF Hub 发布 5000 条已摄取 OXE rollouts(a16z 发布文)。
- 评测基准:基于 PI π0 公开演示构建 20 视频/11 任务成败判别基准(见 4 段)。
3.2 Encord Active
- 核心能力:开源 CV 数据质量/策展工具包:质量指标库、嵌入可视化、模型错误分析、active learning 优先级排序。
- 许可:开源(2023-01 官宣 fully open source,BusinessWire、GitHub)。部署:本地 Python。
- 具身针对性:帧级视觉质量,不感知动作/状态序列。LeRobot 兼容:无原生。
3.3 FiftyOne(Voxel51)
- 核心能力:CV/多模态数据集可视化、策展、模型评估;嵌入聚类、重复/错误检测、数据集版本管理;企业版多用户协作。
- 许可:OSS Apache 2.0(GitHub);企业版 Team/Growth/Custom 报价制(对比)。定价:OSS 免费;280 万+ 安装。
- 具身针对性:通用 CV 起家,现也主打 physical AI 叙事;视频支持强。LeRobot 兼容:无原生(视频帧+元表可导入)。
3.4 Lightly
- 核心能力:自监督表征做数据选择(coreset selection):从大量冗余视觉数据挑最有价值帧/片段;开源 LightlySSL(MIT)+ 商用策展平台(云管线、主动学习闭环)。
- 许可:LightlySSL MIT(GitHub)。定价:库免费;平台报价制。
- 具身针对性:帧级多样性选择可用于 episode 内冗余压缩;不做动作空间分析。LeRobot 兼容:无原生。
3.5 Rerun
- 核心能力:"物理 AI 数据层":开源 SDK(Python/Rust/C++)log 多模态数据(图像/点云/张量/时间序列)→ 本地 .rrd 存储 → 查询、可视化、训练一体("visualize, query, and stream to train")。
- 许可:MIT OR Apache-2.0 双许可(GitHub)。定价:开源免费;公司 2025-03 获 $17M 种子轮(Point72 Point Seven 领投,累计 $20.2M),Meta/Google 在用(官方博客、SiliconANGLE)。
- 具身针对性:机器人/AV/无人机原生场景。LeRobot 兼容:社区已有 LeRobot episode → Rerun 查看路径(Rerun 定位即数据层)。
3.6 Foxglove
- 核心能力:机器人数据平台:可视化、回放、远程观测、数据管理;MCAP 格式母公司;机器人全生命周期调试。
- 许可:2024-03 起 Studio 不再开源(社区争议,Open Robotics 论坛讨论)。
- 定价:免费档(3 用户/10 设备/10GB 云存储);Pro $20/月起 + 用量;开发者席位 $42/user/月(定价)。
- 具身针对性:ROS 生态强绑定。LeRobot 兼容:无原生;经 MCAP/ROS 桥接。
3.7 Cleanlab
- 核心能力:confident learning 自动检出标签错误/异常样本(开源库),商业 TLM 提供可信度评分。
- 许可:库 MIT(GitHub)。定价:库免费;TLM 免费档+按量。
- 具身针对性:表格/文本/图像通用,具身需自行定义"标签"(如任务成败)后可用。LeRobot 兼容:无。
3.8 lerobot-lancedb 的策展辅助
4. 评测段
4.1 LeRobot 内建评测
- 核心能力:
evaluate流程支持仿真与真机 policy 评测;官方文档含 LIBERO 数据集以 LeRobot 格式使用的集成(HF docs);lerobot-record可带 checkpoint 做真机推理评测(xvla-agibot-world 模型卡)。 - 许可:Apache 2.0。部署:本地。针对性:与训练同一框架,评测即回归测试。
4.2 LIBERO(+ LIBERO-PRO)
- 核心能力:130 任务/4 套件(Spatial/Object/Goal/100)的终身学习操作基准,65K 演示;社区事实上的 VLA 对照基准。
- 许可:仓库 MIT(LICENSE)。注意:本仓历史记录中存在"LIBERO 许可冲突"疑虑(见 memory),但本次公开检索未发现 MIT 之外的限制条款;差异疑与资产再分发条款或内部口径有关,建议按 SOURCE_REGISTER 流程留痕复核后再商用。
- 扩展:LIBERO-PRO 评测扩展(GitHub)。LeRobot 兼容:AgiBot World 官方仓提供 LIBERO→LeRobot 转换脚本(来源)。
4.3 SimplerEnv(SIMPLER)
- 核心能力:把真机 setup(Bridge/Franka Kitchen 等)复刻进仿真做 policy 评测,宣称与真机表现强相关;CoRL 2024 论文。
- 许可/定价:开源(GitHub、项目页)。用途:checkpoint 选择与跨模型对照的廉价代理评测。
4.4 RoboArena
- 核心能力:社区运营的分布式真机评测:全球评测者在同构 DROID 平台上异步跑 policy(17 任务),人负责重置与判定;把真机评测吞吐量放大几个量级;CoRL 2025(arXiv:2506.18123);后续 RobotArena∞(ICLR 2026)做 real-to-sim 规模化。
- 许可/定价:社区运行(robo-arena.github.io)。对我们的意义:P3 众包真机评测的成熟范式(同构装置+异步执行+人工重置)。
4.5 AgiBot World(挑战赛与评测工具)
- 核心能力:100+ 台同构机器人采的 1M+ 轨迹/100+ 场景开源数据(IROS 2025 最佳论文);默认使用 LeRobot 数据格式与 dataloader;Challenge 2025 提供可下载评测工具,Challenge 2026 以 Genie Sim 3.0 做 Sim2Real 评测。
- 许可:数据开源(GitHub、官网、The Robot Report 报道)。
- LeRobot 兼容:原生(这是大型数据集阵营向 LeRobot 格式看齐的最强信号)。
4.6 NVIDIA Isaac Lab / GR00T / Cosmos
- 核心能力:Isaac Lab 开源机器人学习框架(GPU 并行仿真);GR00T 提供开放数据与数据管线+基础模型+Omniverse/Cosmos 仿真合成;Cosmos 世界基础模型生成合成数据。
- 许可:Isaac Lab BSD-3-Clause(部分 Apache-2.0)(官方文档);GR00T N1 权重曾为 gated 非商用研究许可,N1.7 转向更开放/可商用口径(NVIDIA、GitHub、第三方梳理);以 NVIDIA 官方许可页为准。
- LeRobot 兼容:GR00T 生态与 LeRobot 数据格式有互转工具链(社区活跃)。
4.7 评测方法论警示
- 2025 审计论文《What Are We Actually Benchmarking in Robot Manipulation?》对 LIBERO/CALVIN/SimplerEnv/RoboCasa/RoboTwin 2.0 做系统性审计,提醒"基准分是泛化的代理而非终点"(arXiv:2606.04233)——支撑我们坚持自有 P1/P3 真机协议作为验收 SSOT 的立场。
- ARES 内建 PI π0 演示基准(20 视频/11 任务 VLM 成败判别,gpt-4o 最优)可作为"VLM 自动判成败"的参考配方(GitHub eval 章节)。
5. 格式 / 处理段
5.1 LeRobot Dataset v3.0(事实标准候选)
- 核心能力:Parquet(分块元数据)+ MP4(视频流)+ JSON(info/stats)布局;v3.0 引入多 episode 文件组织以支撑大规模数据集;一行命令
python -m lerobot.datasets.v30.convert_dataset完成 v2.1→v3.0;HF Hub 原生托管与流式加载。 - 许可:Apache 2.0。案例:DROID 1.0.1 大规模迁移示范(官方博客、v3 文档)。
5.2 lerobot-lancedb(Lance 布局加速)
- 核心能力:LeRobot v3 → Lance 列式布局一次性转换,之后本地盘/对象存储直训;官方称读取 1.7–6× 提速、存储省 42%(具身数据案例);含 dataset doctor;v0.3 起并入 LeRobot 原生 Lance 支持。
- 许可:开源(GitHub、LanceDB 文档、性能案例博客)。
- LanceDB 本体:OSS Apache 2.0(FAQ);云版免费档约 1GB,Business/Enterprise 报价(对比)。
5.3 RLDS / Open X-Embodiment
- 核心能力:TFDS 的 episode 数据规范;OXE 汇聚 22 机器人/21 机构/150K+ 任务,是 ARES、Avala 等的事实输入格式。
- 许可:开放(各子数据集许可不一)。与 LeRobot:互转工具成熟(lerobot 官方及社区转换器)。来源:a16z ARES 文、Avala 输出格式。
5.4 MCAP
- 核心能力:开源容器文件格式:自描述、快写快 seek、前向兼容,机器人 pub/sub 日志事实标准;Encord 原生导入;Foxglove 母项目。
- 许可:开源(mcap.dev、GitHub)。与 LeRobot:仅在 ROS 桥接场景出现,需转换。
5.5 传统学术格式(HDF5 / zarr)
- robomimic(HDF5)与 Diffusion Policy(zarr)生态各自沿用历史格式(robomimic、diffusion_policy);向 LeRobot 迁移已是社区主流动作(见 v3.0 迁移教程以 DROID 为例)。
5.6 EmbodiFlow(IO-AI / 艾欧智能)— 2026 新
- 核心能力:中文具身数据标注/检查/可视化平台,宣称兼容 LeRobot 与 ROS;免费浏览器工具 LeRobot Studio(无需登录,视频/曲线/原始特征同步检视,支持 v2↔v3 双向转换)。
- 许可/定价:平台商用(报价未公开);LeRobot Studio 免费。部署:SaaS。
- LeRobot 兼容:原生(平台页、LeRobot 指南、工具页)。
5.7 ARIO(开放数据标准)
- 面向具身智能的开源数据标准联盟(all-in-one 表征,含多传感器/动作/语言)(ARIO Alliance)。观察项,未大规模采用。
5.8 Rerun .rrd
- "log once, train anywhere":SDK 记录即存储即训练源;对回放调试与 episode 审计极便利(rerun.io)。
6. 2025–2026 趋势备注(不影响五段结论,供决策参考)
- a16z 连续下注:ARES(开源数据平台,2025-04)→ Mind Robotics(Rivian 创始人 RJ Scaringe,"部署产生数据、数据改进模型"的工业飞轮,2026-03)(公告)。
- 合成/替代数据路线崛起:General Intuition 用海量游戏数据+手柄输入训物理 AI 基础模型,$320M Series A / $2.3B 赌注(PitchBook、TechCrunch);Odyssey(odyssey.ml)走世界模型路线(检索未发现其数据集开源,官网)。
- RL 环境创业潮:TechCrunch 2025-09 综述(链接)。
- 物理 AI 融资:WSJ 口径至 2025-02 已 $26.7B(经 Rerun 报道转引,SiliconANGLE)。
- 中国阵营:AgiBot World(开源+LeRobot 默认)、ARIO 标准、IO-AI/EmbodiFlow、Nexdata 8000㎡ 具身采集设施(检索来源)——具身数据基础设施的"中国速度"明显。
7. 最优组合建议(针对:已有 LeRobot v3 实操 + P1/P3 评测协议)
推荐栈
| 环节 | 选择 | 不选谁 | 理由 |
|---|---|---|---|
| 格式/存储(地基) | LeRobot Dataset v3.0 为唯一交换格式;>50 episode 数据集本地转 Lance(lerobot-lancedb) | RLDS 主格式、私有格式 | v3 已被 AgiBot World(1M+ 轨迹)默认采用,事实标准正在形成;Lance 转换换 1.7–6× 读取与 42% 存储节省,且 doctor 工具直接服务策展 |
| 采集 | LeRobot 原生 record/teleoperate 为主 + phosphobot(Quest app)降低众包操作员门槛;GELLO(全 MIT,~$300/臂)作多臂低成本备选 | Scale/Labelbox Terra/Encord 采集服务 | 开源栈采集边际成本近零、数据不出域;商用采集网络六位数起步且与"数据权属最小投影"边界冲突;phosphobot 自动产 LeRobot 格式、对非技术操作员最友好 |
| 标注 | Label Studio(Apache 2.0 自部署) 做人工 QC/语言指令/成败标签界面 + 自建自动标注管线(GroundingDINO+SAM@5FPS + VLM@1FPS,照抄 ARES 配方,实测 ~$0.01/episode、2500 条复杂标注 $5/10 分钟) | CVAT(除非 LiDAR/点云成为刚需)、Roboflow(无 LeRobot 导出、2D 偏科) | Label Studio 许可干净、XML 模板可深度定制成"具身 QC 工单";Roboflow 被 a16z 明评"较少 robotics 专注"且无 LeRobot 格式 |
| 清洗/策展 | 借 ARES 架构(SQLite 结构化 + FAISS 嵌入 + 近邻检索 + UMAP)自建 LeRobot-v3 原生策 Curator(ARES 只吃 OXE/RLDS,无法直接用,但配方可移植);Rerun(MIT/Apache)嵌入管道做 episode 视频复核与 OOD 抽查 | Encord Active/FiftyOne(帧级、无动作序列概念)、Foxglove(已闭源+ROS 绑定) | 策展是具身数据质量的核心杠杆(Figure 引 a16z 文:策展后 1/3 数据量换 40% 吞吐提升);自建部分仅是"schema+检索",不是重研发 |
| 评测 | P1/P3 自有真机协议保持验收 SSOT(已预注册、有严格对照配方);LIBERO(MIT,商用前按 SOURCE_REGISTER 复核许可留痕)+ SimplerEnv 作离线回归代理;借鉴 RoboArena 分布式模式扩展 P3 众包真机评测;VLM 自动成败判定照 ARES π0 基准配方 | 全盘外购评测(无此类商用产品) | 评测协议是本仓最难复制的差异化资产;2025 审计论文证明公共基准只是泛化代理;RoboArena 验证了"同构装置+异步执行+人工重置"与我们众包模式天然同构 |
一句话理由
全部核心环节落在 MIT/Apache 级开源许可 + LeRobot 原生格式 上:零许可风险(可商用、可对客户交付)、与现有 v3 实操零迁移成本、自动标注成本 ~$0.01/episode 可随众包规模线性扩展、数据主权完整(不出域、不做最小投影以外的暴露);商用采购只保留一个触发器——客户垂域出现 LiDAR/点云级标注需求时评估 Encord(唯一原生 MCAP+VPC+物理 AI 专线且客户名单可验证的商用平台),采集网络(Scale/Terra/Avala)在拿到六位数级客户订单前不碰。
风险与开放问题
- ARES 为单人研究项目(2025-04 发布),若采纳其配方需 fork 自维护,不可依赖上游。
- LIBERO "许可冲突"记忆与公开 MIT 检索结果矛盾——商用前按本仓 SOURCE_REGISTER 流程复核资产再分发条款。
- GR00T/Cosmos 权重许可按版本浮动(N1 gated 非商用 → N1.7 开放),引用前查当版许可页。
- 定价信息多为 2026-08 检索快照,商用询价时以厂商实时报价为准(Encord/Scale/Labelbox/SuperAnnotate 均不公开价格)。
附:本次查证的主要来源索引
- ARES:https://a16z.com/ares-an-open-source-platform-for-robot-data/ · https://github.com/jacobphillips99/ares
- Scale AI:https://scale.com/physical-ai · https://www.universal-robots.com/news-and-media/news-center/universal-robots-scale-ai-launch-imitation-learning-system-accelerate-ai-training-lab-to-factory/
- Encord:https://encord.com/physical-ai-data/ · https://encord.com/blog/embodied-ai/ · https://labelstud.io/learningcenter/encord-data-labeling-platform-review/
- Labelbox Terra:https://labelbox.com/products/terra/ · https://www.dataxpower.com/blog/data-annotation-tools-comparison-2026 · https://truelabel.ai/data-annotation-companies
- SuperAnnotate:https://www.superannotate.com/ · https://autolabelling.com/superannotate/
- Labellerr:https://www.labellerr.com/robotics-data · https://www.linkedin.com/company/labellerr · https://autolabelling.com/labellerr/
- Avala:https://avala.ai/usecases/robotics · https://avala.ai/academy/what-is-avala
- CVAT:https://github.com/cvat-ai/cvat · https://www.cvat.ai/pricing/cvat-online
- Label Studio:https://github.com/HumanSignal/label-studio · https://humansignal.com/pricing/
- Roboflow:https://roboflow.com/pricing · https://roboflow.com/formats · https://roboflow.com/open-source
- LanceDB/lerobot-lancedb:https://github.com/lancedb/lerobot-lancedb · https://docs.lancedb.com/integrations/lerobotdataset · https://www.lancedb.com/blog/china-merchants-lancedb-story · https://docs.lancedb.com/faq/faq-oss
- LeRobot v3:https://huggingface.co/blog/lerobot-datasets-v3 · https://huggingface.co/docs/lerobot/lerobot-dataset-v3 · https://huggingface.co/docs/lerobot/en/libero
- Rerun:https://github.com/rerun-io/rerun · https://rerun.io/blog/physical-ai-data · https://siliconangle.com/2025/03/20/rerun-gets-17m-build-essential-data-infrastructure-ai-powered-robots-drones-cars/
- Foxglove/MCAP:https://foxglove.dev/pricing · https://mcap.dev/ · https://discourse.openrobotics.org/t/foxglove-2-0-integrated-ui-new-pricing-and-open-source-changes/36583
- FiftyOne:https://github.com/voxel51/fiftyone · https://docs.voxel51.com/enterprise/overview.html
- Lightly:https://github.com/lightly-ai/lightly · https://www.lightly.ai/blog/data-annotation-tools
- Cleanlab:https://github.com/cleanlab/cleanlab · https://cleanlab.ai/blog/series-a-announcement/
- GELLO:https://github.com/wuphilipp/gello_software · https://wuphilipp.github.io/gello_site/
- phosphobot:https://github.com/phospho-app/phosphobot · https://docs.phospho.ai/examples/teleop
- LIBERO:https://github.com/Lifelong-Robot-Learning/LIBERO · https://github.com/Zxy-MLlab/LIBERO-PRO
- SimplerEnv:https://simpler-env.github.io/ · https://github.com/simpler-env/SimplerEnv
- RoboArena:https://robo-arena.github.io/ · https://arxiv.org/html/2506.18123v1
- AgiBot World:https://github.com/OpenDriveLab/Agibot-World · https://agibot-world.com/ · https://www.therobotreport.com/agibot-world-2026-dataset-open-source-accelerate-embodied-ai-development/
- NVIDIA:https://developer.nvidia.com/isaac/gr00t · https://isaac-sim.github.io/IsaacLab/main/index.html · https://github.com/Nvidia/Isaac-GR00T
- EmbodiFlow/IO-AI:https://io-ai.tech/zh/embodiflow/ · https://io-ai.tech/platform/en/guides/Pipeline/LeRobot/LeRobotV2V3Format/ · https://io-ai.tech/lerobot/
- 评测审计:https://arxiv.org/html/2606.04233v1
- 趋势:https://a16z.com/announcement/investing-in-mind-robotics/ · https://pitchbook.com/news/articles/general-intuition-is-turning-video-game-clips-into-ai-training-data-for-robots · https://techcrunch.com/2026/07/08/this-startup-thinks-robotics-is-about-to-have-its-chatgpt-moment/ · https://techcrunch.com/2025/09/21/silicon-valley-bets-big-on-environments-to-train-ai-agents/