S2 批量并发压测报告:4 worker×8 条全链(2026-09-05)
压测计划(docs/process/2026-09-04-加工吞吐压测计划-v0.md)S2 场景首次实测。负载=真实外购池样本副本(非模拟数据);环境=本机 Windows 11 开发机(16GB 内存,Py3.13)。
一、负载与环境
- 8 条真实 mcap:EgoStandard-body / 头视 / EgoPro / EgoSuite 老样本各×2(8.9-31MB,1920×1456@30fps)
- 编排:convert_batch 分片(shard1-4)×4 worker 并行,段内串行、断点续转、失败隔离
- 资源采样:psutil 每 10s(150 样本)
二、实测结果
| 段 |
数字 |
| 转换段 |
8/8 成功、失败率 0%、0 崩溃(含头视线);各片墙钟 761s/970s/843s/2016s;总墙钟 33.6 分钟 |
| QC 段 |
ThreadPoolExecutor 4 并发,8 条 34.1s 全过(单条 ~25s;QC 非瓶颈,≈845 条/h) |
| 资源峰值 |
python 进程 26、python 总内存 12.49GB、系统内存 96.1% |
三、判定(对照压测计划 §三)
| 标准 |
结果 |
| 失败率 ≤2% |
0% ✓ |
| 单批端到端 ≤24h |
8 条 34 分钟→100 条外推 ≈7 小时 ✓ |
| 产能 ≥SLA 1.5 倍 |
≈343 条/天(4 worker 本机)——距"日进数千条"差一个量级,需 Linux 生产机多 worker 或压缩单条耗时(S3 输入)✗(本机口径不达,生产机待复测) |
四、发现与诚实记录
- 内存是并发上限:4 并发已到 96% 系统内存——16GB 机并发上限即 4;32GB 生产机可 6-8 worker。
- S1 口径待归因:S1 表转换段 34.6s(8/29 验收记录)与今日同源样本单条 5-17 分钟差一个量级;疑 8/29 数字为分段耗时或 GPU 实例环境。产能外推已按今日保守值修订,34.6s 待复核 evidence 原文。
- 第一次编排失败(漏传 --batch 致 4 worker 立即退出)已纠正重跑,不影响数据有效性。
- 头视线本轮 0 崩溃(昨日个例崩溃样本未纳入本轮负载)。
- 段1 av 解码是瓶颈(CPU 密集、Windows 崩溃面);批量上量建议 Linux 实例 + 按内存配 worker。
五、产物指纹
- 作业集与产物:
C:/Users/chunx/egodata/egostandard_sample/s2/(resource_log.csv 150 采样、worker1-4.log BATCH_REPORT×4)
- 断点续转实证:重跑安全(_CONVERT_DONE.json 机制,本轮未触发复用)