Inchor Sensor Reconstruction Pipeline

BotAuto 场景重建训练结果 — 场景 560255

相机 + LiDAR 联合重建 · 生成日期 2026-07-09 · 训练完成 2026-06-19(当前生产配置)
数据集 560255(稳定版) 0–100(101 帧 ≈ 10 s @10 Hz) 3 路广角相机(左前 / 前视 / 右前) 3 颗车顶 LiDAR 50 K 迭代 · H100 ≈ 24 h

⚠ 数据集版本说明

本页所有结果基于 560255 —— 此前与 BotAuto 对齐确认的稳定版数据集(Mcap_0324 批次)。

2026-07-08 分享的最新数据集 622524 尚未用于本次训练,该版本当前提供给 Yilin 团队使用。

如需在 622524 上产出同等结果:流程可直接复用、随时可启动;仅训练一项约需 24 小时(H100 单卡),加上预处理与评测约 1.5 个工作日交付。

1. 渲染对比 — 真值 vs 重建

全部 101 帧,三相机横向拼接(从左到右:左前 / 前视中 / 右前),10 Hz 播放。

相机真值(Ground Truth) / 重建渲染(下)
↑ 真值 Ground Truth
↑ 重建渲染 Reconstruction

2. 几何 — 深度渲染

同视角逐帧渲染深度图(近 → 远:暖色 → 冷色)。

深度图

3. 场景分解

重建为可编辑场景图:背景与每个动态目标独立建模,是场景编辑(删 / 改 / 加车)与仿真回注的基础。

背景层(静态场景)
车辆层(刚体动态目标)
动态目标合成层

4. 新视角合成

前视相机轨迹插值渲染(训练视角之外的新位姿)。

前视新视角插值

5. 量化指标

评测于 2026-06-18/19:相机 101 帧 × 3 路全帧口径;LiDAR 101 帧 × 3 传感器(303 帧,schema 3.1)。

相机重建
PSNR(全帧)34.51 dB
SSIM(全帧)0.950
LPIPS(全帧,越低越好)0.118
动态目标区域 PSNR27.21 dB
动态目标区域 SSIM0.844
LiDAR 重建静态动态整体
深度中值误差 (m)0.3781.2180.381
Chamfer 距离 (m)0.7584.600.759
强度 RMSE([0,1] 域)0.0290.0160.029
覆盖率100%100%100%

注:LiDAR 动态子集误差(≈1.2 m)经系统排查(loss 配比、运动补偿、传感器组合、标注框质量、评测口径、致密化策略共 6 个方向)确认为当前数据条件下的固有极限并已正式接受(2026-06-24 评审),不影响场景编辑与数据回注交付链路。相机 PSNR 为全帧(训练视角重建)口径。

6. 训练 Recipe 摘要

数据输入
场景560255(300 帧 / 30 s,取帧 0–100)
相机3 路广角:前视中 / 左前 / 右前(1920×1080,2× 降采样训练)
LiDAR3 颗车顶雷达,截断 80 m,自车点滤除
逐帧监督图像 + 点云(深度/强度)+ ego pose + 3D 目标框 + 动态/天空分割
训练配置(2026-06-24 验收口径)
模型场景图 3DGS(背景 + 逐目标独立建模)+ LiDAR 球面光栅化
联合权重λimage=1.0 / λlidar=0.3,深度 L1
关键开关梯度累积 K=4;LiDAR 分支车辆位姿梯度隔离
迭代 / 资源50 K 迭代,H100 单卡 ≈ 24 h / 场景