无感采集设备与实时引导可行性 v0
2026-09-15。用户构想:智能眼镜 EGO(图像+IMU+声音,隐形线外挂电池)+ 垂域第三人称相机 + sEMG 手环 ≈ 无感采集;端侧 agent 实时引导采集避废提效。配套询价单 v0.3 研究位。
一、分件成熟度(9/15 实查)
| 部件 | 成熟度 | 依据 |
|---|---|---|
| exo 第三人称相机 | 9/10 | EgoExo4D 协议照抄(标定+同步有先例) |
| 隐形线外挂电池 | 9/10 | 影视惯例;后颈/腰包+镜腿磁吸;认证与线材疲劳为注记非障碍 |
| 端侧 QC 规则 | 8/10 | 帧冻结/模糊/亮度/位姿全是成熟件(Calibra 端侧前移) |
| 眼镜现成品路线 | 8/10 可开工 | Rokid Glasses SDK 2025-09 开放(CXR-M 实时音视频+传感器)、雷鸟开放平台分层 SDK;待实测:长录发热/存储、IMU 原始流粒度 |
| 眼镜全定制 | 6.5/10 | ODM 500+ 量级/数百万 NRE/6-12 月/认证;Aria 为 spec 参照不外卖 |
| 端侧 agent | 7/10 | 伴生手机跑 Qwen 级小模型;勿塞眼镜 SoC |
| sEMG 手环 | 4.5/10 野外 | gForcePro+(8 通道干电极/开源 SDK)可购;出汗移动信噪比衰减→用途降级为抓握事件粗标记+力度参考,不做精细重建;列为可选研究位(与 Orbbec 腕带相机并列) |
三个"缝"工程专项:多源时间同步(2-4 周)、长录热/存储实测、合规前置(近无感→知情同意+场景告知义务,个保法红线)。
二、agent 实时引导:三环架构(核心设计)
设计原则:采集进行中尽量不打断(只拦硬错误),反馈集中在 take 之间;每 take 反馈 ≤3 句。
Loop 0 · 信号级哨兵(手机端,无 LLM,<1 秒)
眼镜经 CXR-M 类 SDK 流到伴生手机,跑纯规则: - 冻结帧(帧哈希差)/ 模糊(Laplacian 方差)/ 亮度出界 / 音频电平异常 - IMU 静止(任务应进行中)/ 剧烈晃动 / 姿态不合理(眼镜滑落) - 电量/存储/温度健康 → 即时语音短提示("画面停住了,请唤醒眼镜")。这层=闸②端侧前移,零模型成本。
Loop 1 · 会话级引导 agent(手机/边缘 LLM,take 间,10-60 秒)
每 take 结束,小模型(Qwen 3-8B 级量化;现场有 WiFi 升云端大模型)收三样输入: - take 摘要信号(Loop 0 命中记录 + 时长/照度/IMU 活动度统计) - 抽样帧 3-6 张 - 任务单描述(SOP checklist 数字化版本) 产出: 1. 评分卡(对齐/时长/覆盖/光线四项) 2. ≤3 句反馈:"刚才第 2 次抓取手挡住了镜头,下次右手放低一点" 3. 决策:过 / 建议重拍 / 升级人工 技术复用:语义一致性判定 = 闸④ QwenEngine 的边缘化改写;SOP checklist = 采集手册结构化。
Loop 2 · 日级教练与计量(云端,我方 veripack 全链)
日终批次过六道闸 → 读数回流: - 采集者画像(哪类错误高频)→ 次日 agent 开场针对性培训 - 合格小时读数 → 结算 - 判据库自进化:现场新错误模式沉淀为新 Loop 0 规则/Loop 1 提示词——评估器枢纽理论的采集现场版
2.5 iPhone 实现专项(9/15 补,用户问询)
三环在 iOS 全可落地:Loop 0 = AVFoundation+Vision+CoreMotion(系统内置免费 30fps);Loop 1 = Foundation Models 框架端上 3B(文本引导够用+隐私叙事)或 MLX 量化 Qwen-VL 小模型/云 API;语音 = Speech 框架+系统 TTS。 - 关键实查:Rokid CXR-M SDK 官方支持 iOS(rokid.github.io/mobile-sdk-ios-docs,App Store 有官方 app iOS 13+)——"国产眼镜仅安卓"假设被推翻 - 待实测两项(进 W1-2):①iOS 端 CXR-M 实时视频流深度(拍照/互传已确认)②iPhone CoreMotion 100Hz 单机够不到 ≥200Hz 门槛→Apple Watch 800Hz 变体或眼镜自带 IMU 流(询价单既有解法) - iOS 红利:机型一致性(适配成本低于安卓碎片)+ 端上推理合规叙事 - Phase A 改双手机轨:iOS + Android 各连一副并行一周定主力
三、Phase A · 8 周验证(现成品,全可购)
| 周 | 内容 |
|---|---|
| W1-2 | 硬件到位(Rokid/雷鸟+gForcePro+×2+GoPro×2);SDK 取流打通;同步方案定版 |
| W3-4 | Loop 0 规则哨兵 app(10 类规则+语音提示);用 sim50 已知废片模式做回归测试集 |
| W5-6 | Loop 1 agent(云端 API 先行);SOP checklist 数字化;评分卡+反馈生成联调 |
| W7-8 | 10 人日试点:引导组 vs 对照组各 5 人日 |
判据预注册(防自证,Phase A 过/不过)
- H1(主判据):引导组 vs 对照组合格小时率差 ≥ +10pp
- H2:冻结帧类废片时长下降 ≥50%
- H3:引导误报率 ≤15%(人工金标 200 条提示)
- H4:采集者接受度问卷 ≥4/5
- 任一不过→记负结果,只改不改判据(棘轮纪律)
四、与既有拍板的关系
- Orbbec B 路线(已拍板)= 近期成品主力,本方案 = 下一代无感化演进,Phase A 全用现成品,两线并行不抢预算
- EMG 不进主力协议(9/2 教训:EMG≠腕带相机勿混)
- 本质 = EgoExo4D 采集协议 + 我方两个独有件(agent 实时引导、计量闭环)——硬件无一件自研,独有贡献全在软件,守住"不做硬件制造商"边界