Ego-Exo4D 调研:采集协议对标与借鉴
2026-09-15。用户提供三链接触发。源:官网、arXiv 2311.18259(摘要页);docs 站两次连接失败未取(POCO/AV speech 等标注细节待补,标 ⊕待查)。
一、它是什么(已核实事实)
- 规模:1286 小时 / 740 佩戴者 / 13 城市 / 123 场地 / 5035 takes,8 类技能场景(烹饪 564h 最大、攀岩 1401 takes 最多)
- 协议:Aria 眼镜(ego:8MP RGB+2 SLAM 相机)+ 每场景 4-5 台固定 GoPro(exo),标定+时间同步配对;7 麦克风阵列;IMU 800Hz+1000Hz、气压计、磁力计;Aria MPS 出 6DoF/眼动/点云
- 语言标注三套(与视频严格同步):专家解说(教练级,其新颖标注)/ 边做边叙述(tutorial 体)/ 原子动作一句话
- 四大基准:关键步骤识别、熟练度估计、跨视角关系、姿态估计;eval.ai 挑战赛带奖金
- 许可:签署审批 2 天 + CLI 下载;研究许可(⊕商用边界待查);录制有正式知情同意与伦理规程
二、对我们的五处借鉴(按价值排序)
1. Ego+Exo 配对协议 → 10 万小时采集设计的新分层档
配对数据是跨视角翻译/关系类任务的唯一原料(单 ego 数据做不了)。我们场景(实训/文旅)天然有"固定机位"条件:4-5 台 GoPro/场景的成本换稀缺配对 modality——询价单报价分层可加"配对档"(素材+配对 / 成品+配对),对应其 cross-view 基准的需求侧。
2. IMU 800Hz 事实 → 询价单硬件门槛获行业锚
Aria 实测 800Hz/1000Hz——我们"IMU≥200Hz"门槛(Android 主力 200Hz+Watch 800Hz 变体)被头部实践背书:主流达标、高配对齐,路线不变。
3. 熟练度估计基准 → 判据库"效用"维的外部锚
他们的 proficiency benchmark 把"数据/技能效用度量"基准化了——我们的合格小时(效用含量)可对齐该基准做外部校准(同 CaP-Bench 之于 agent 路线的用法:外部锚防自证)。⊕需读基准定义后定对齐方式。
4. 专家解说标注 → 采集网络的数据提价抓手
教练/教师级解说=其新颖标注=稀缺。我们网络里的"训练师"(政策新职业)正可产出此层——人手一份解说技能 = 数据分层提价(对齐询价单成品档),且灵活用工新业态叙事再+1。
5. 腕部相机流 = 我们的独有 modality 机会
其 ego=眼镜、exo=固定机位,无腕部流。EgoStandard 的 egopro 线(腕部)已消失,而我们 Orbbec 设备单含腕带相机——腕部 ego 流是两个头部数据集都没覆盖的空档,采集协议设计里值得单列研究位(⊕小样本先行验证训练价值再定档)。
三、生态位对照(不用慌也不用轻敌)
| 维度 | Ego-Exo4D | 我们 |
|---|---|---|
| 规模 | 1286h(封顶) | 单订单 10 万小时级 |
| 定位 | 研究数据集+基准 | 商用采集网络+计量 |
| 权利 | 研究许可 | 商用授权链路(同意书/版权闸) |
| 验证 | 基准(对人) | 六道闸+合格小时(对数据) |
| 中国场景 | 无 | 政企/文旅/实训独占 |
互补关系:他们证明 ego 数据科学价值并立了基准,我们做商用供给+计量。不动我们的定位,只吸收协议与基准。
四、待办
- [ ] 询价单 v0.3 候选:配对档定价 + 腕部流研究位(⊕设备到货后小样本验证)
- [ ] 判据库:proficiency 基准定义精读(⊕docs 站恢复后)→ 效用维外部锚方案
- [ ] 训练师解说技能 → 采集 SOP 试点候选(与实景实训专项合流)
- [ ] 许可商用边界核查(若拟用其语言标注做锚库)