Detecting As Labeling:主实验表方法调研

以 DAL Table 4 的 nuScenes validation 结果为主,并补充各扩展论文公开的 val 数据,统一整理全部方法。重点核查官方代码、训练/测试链路、公开权重及能否执行 nuScenes 检测评测。

调研日期 2026-07-1718 个方法31 张论文架构图本地离线图片

DAL 论文 Table 4:nuScenes val

前 12 行按 DAL 原论文 Table 4 完整抄录。FPS 默认在 RTX 3090 上测量;括号内带 † 的 FPS 来自 A100。浅绿色行为扩展调研,缺少可比参数量或 FPS 时标为“—”。

MethodLiDARCamera#Params (M)FPSmAPNDS
CMT-R500100VoxelNet320 × 800-R5040.9810.72(14.2†)67.970.8
DAL-Tiny0100VoxelNet192 × 544-R1821.2116.55(23.2†)67.471.3
UVTR0075VoxelNet+900 × 1600-R101-DCN88.851.7765.470.4
BEVFusion (MIT)0075VoxelNet256 × 704-STTiny40.849.5868.571.4
TransFusion0075VoxelNet448 × 800-R5037.036.5168.971.7
ObjectFusion0075VoxelNet256 × 704-STTiny69.872.3
DeepInteraction0075VoxelNet448 × 800-R5057.901.8669.972.6
SparseFusion0075VoxelNet+448 × 800-R5040.164.3870.572.8
CMT-VOV0075VoxelNet640 × 1600-VOVNet86.673.48(6.0†)70.372.9
UniTR0030DSVT256 × 704-DSVT15.569.3†70.573.3
DAL-Base0075VoxelNet+256 × 704-R1835.0610.69(15.2†)70.073.4
DAL-Large0050VoxelNet+384 × 1056-R5047.776.10(9.43†)71.574.0
IS-FusionSwin-T3.272.874.0
MSMDFusion69.372.1
UniM²AE†BEVFusion-SST多模态预训练69.772.7
GraphBEV70.172.9

复现性快速结论与索引

以下顺序综合最终权重、测试命令、数据准备说明和依赖稳定性。点击方法名可直接跳转到详细审计。

A · 最适合直接复现
MIT BEVFusion · DeepInteraction · SparseFusion
官方最终权重和明确 nuScenes 评测命令齐全。
B · 基本可复现
ADLab BEVFusion · DAL · PointAugmenting · CMT · UniTR · TransFusion
主要障碍是旧依赖、权重覆盖或需要自行训练。
C · 不建议首选
PointPainting · MV3D · FusionPainting · ObjectFusion · UVTR
缺官方完整实现、最终权重或当前可访问入口。

扩展调研方法也已并入同一排序: IS-Fusion · MSMDFusion · UniM²AE · GraphBEV。每张方法卡标题旁会标注来源。

nuScenes test 提醒:代码能读取 v1.0-test 并导出 submission JSON,不等于能在本地计算 test 指标;test 标签不公开,最终 NDS/mAP 必须上传官方评测服务器。

全部方法 · 按可复现性统一排序
A · 点级、语义与早期多视图融合

PointPainting

val mAP 44.85 · NDS 57.34

先做图像语义分割,将类别分数投影并附加到每个 LiDAR 点,再把“painted point cloud”交给任意 LiDAR 检测器。模块化强,但整体效果依赖额外 2D 分割器。

官方代码无完整官方实现 论文指向分割组件/nuScenes 工具,并非端到端仓库。

完整性缺统一训练配置、数据流水线和论文对应检测权重。

Checkpoint

nuScenes test需自行组合分割模型与 3D 检测器,不可直接复现实验表结果。

PointPainting 总览

MVP(实际为 MV3D)

无 nuScenes val 主结果

从 LiDAR 鸟瞰图、前视图与 RGB 图像提取 ROI 特征,通过深度融合网络生成并回归 3D proposal。原论文实验基于 KITTI;DAL 表中的 nuScenes 数值并非来自这篇 2017 原始实现的标准公开复现链路。

官方代码未找到 仅有非官方旧实现。

完整性非官方实现主要面向 KITTI,年代久远。

Checkpoint无可靠 nuScenes 权重

nuScenes test不可直接跑;需要大规模移植。

MV3D 总览
深度融合结构

PointAugmenting

val 主结果未公开

用预训练 2D 检测网络的高维 CNN 特征装饰 LiDAR 点,并提出跨模态一致的 copy-paste 增强。官方仓库包含 nuScenes 配置、训练与分布式测试命令。

官方代码

完整性可训练/测试,但基于旧版 PyTorch/MMDetection3D,准备步骤较手工。

Checkpoint部分 提供 2D 预训练模型路径,未见稳定托管的论文最终融合权重。

nuScenes test可跑 仓库给出 dist_test;复现主表仍可能需自行训练。

跨模态增强

FusionPainting

val mAP 66.53 · NDS 70.68

同时获得 2D 图像语义与 3D 点云语义,通过自适应注意力融合后再 painting 到点云,最终进入 3D detector。

官方代码未找到

完整性论文描述充分,但缺可审计工程实现。

Checkpoint

nuScenes test不可直接跑。

FusionPainting 总览
注意力模块
B · Voxel / BEV 稠密统一空间与对象级融合

UVTR

val mAP 65.4 · NDS 70.4

将相机与 LiDAR 都保持在不压缩高度的 voxel 空间,用知识迁移、模态融合和 transformer decoder 做统一预测。

官方代码原链接失效 论文声明的 dvlab-research/UVTR 当前返回 404。

完整性无法再从官方仓库审计。

Checkpoint不可可靠获取

nuScenes test论文支持,但当前缺官方可用入口。

UVTR 总览
变换与知识迁移

BEVFusion(MIT / ICRA 2023)

val mAP 68.5 · NDS 71.4

把相机特征经高效 BEV pooling 转到 BEV,与 LiDAR BEV 特征拼接并用卷积 fuser 融合,统一支持检测与地图分割。

官方代码完整(已归档)

完整性Dockerfile、数据准备、训练、评测和 CUDA 扩展齐全;依赖锁在 PyTorch 1.9–1.10 / mmcv 1.4。

Checkpoint可靠 官方下载脚本含 fusion、camera、LiDAR 权重。

nuScenes test可直接跑 提供 tools/test.py 与 bbox 评测命令。

MIT BEVFusion

BEVFusion(ADLab / NeurIPS 2022)

val mAP 69.6 · NDS 72.1

独立相机流和 LiDAR 流在 BEV 进行融合,并以动态融合模块提高传感器故障下的鲁棒性。与 MIT 版本不是同一代码库。

官方代码

完整性训练、评测、鲁棒性配置齐全,工程基于旧 MMDetection3D。

Checkpoint README 结果表给出检测与鲁棒性模型链接。

nuScenes test可跑 dist_test + bbox。

ADLab BEVFusion
动态融合

ObjectFusion

val mAP 69.8 · NDS 72.3

不做 camera-to-BEV 特征变换:由 BEV 生成 3D proposal,再投回 voxel、BEV、image 三个空间,通过 ROI pooling 对齐对象级特征。

官方代码未发布/未找到

完整性论文称基于 BEVFusion 实现,但无独立官方工程。

Checkpoint

nuScenes test不可直接复现。

ObjectFusion 总览
C · Query / Transformer 交互与稀疏融合

TransFusion

val mAP 68.9 · NDS 71.7

第一层 decoder 从 LiDAR BEV 得到初始 boxes/queries,第二层以 soft association 从多视图图像中自适应取特征,降低硬投影对标定误差的敏感性。

官方代码

完整性nuScenes/Waymo 配置和复现实验说明完整。

Checkpoint无官方权重 README 明确称因 Huawei IAS BU 政策不发布。

nuScenes test代码可跑 但要先自行训练,无法开箱核对主表。

TransFusion 总览

DeepInteraction

val mAP 69.9 · NDS 72.6

保持相机与 LiDAR 各自表征,通过双向 representational interaction 交换特征,再在 predictive interaction decoder 中交互 queries。

官方代码

完整性安装、数据、训练和测试说明齐全,现仓库还加入 DeepInteraction++。

Checkpoint可靠 Google Drive 与 Hugging Face 双源。

nuScenes test可直接跑 dist_test + bbox。

表征交互
预测交互

SparseFusion

val mAP 70.5 · NDS 72.8

相机与 LiDAR 各自产生稀疏 object candidates,将相机候选分解并变换到 LiDAR 坐标系,再以轻量 self-attention 融合;另有语义/几何跨模态迁移模块。

官方代码

完整性配置、预处理数据、训练和评测命令齐全。

Checkpoint可靠 README 明确发布预训练 checkpoint 与初始化权重。

nuScenes test可直接跑 4-GPU dist_test。

SparseFusion 总览
跨模态迁移

CMT

val mAP 70.3 · NDS 72.9

不显式做 view transformation,把图像 tokens、LiDAR tokens 和 3D 坐标编码共同输入 cross-modal transformer,直接输出 3D boxes。

官方代码

完整性环境、配置、训练/测试脚本与预处理 pkl 齐全。

Checkpoint一般 README 清楚提供预训练/数据链接,但最终模型链接的长期稳定性与覆盖需下载时复核。

nuScenes test可跑 dist_test + bbox。

CMT 总览

UniTR

val mAP 70.5 · NDS 73.3

以 modality-agnostic DSVT blocks 共享处理图像与 LiDAR tokens,兼顾 2D 透视语义邻域和 3D 几何稀疏邻域,统一用于检测/BEV 分割。

官方代码

完整性训练配置和依赖明确,基于 OpenPCDet/DSVT 风格栈,安装较重。

Checkpoint部分 公开预训练 UniTR/DSVT 权重;最终检测 checkpoint 覆盖不如前三个首选稳定。

nuScenes test可跑 具备 nuScenes pipeline,但开箱复核论文数字仍可能要训练。

UniTR 总览
D · 目标论文

DAL — Detecting As Labeling

val mAP 71.5 · NDS 74.0

将检测类比人工标注:图像 BEV 特征主要负责类别判断,LiDAR BEV 特征承担类别与 3D box 回归;核心观点是避免相机特征参与回归,从设计层面减轻过拟合。工程上基于 BEVDet 代码库。

官方代码 集成于 BEVDet,而非独立 DAL 仓库。

完整性包含 nuScenes 数据配置、训练/测试与结果导出;多代分支和旧 MMDetection3D 依赖需按 DAL README 固定版本。

Checkpoint需逐配置核对 BEVDet 模型库丰富,但应确认下载项明确对应 DAL-Tiny/Large,而非 BEVDet 系列同名配置。

nuScenes test可跑 tools/test.py 可评 val 或 format-only 导出 test JSON。

DAL 总览

建议的实际复现顺序

  1. MIT BEVFusion:文档、权重、Docker 和评测命令最完整,最适合先验证数据与 GPU 环境。
  2. SparseFusion / DeepInteraction:都有最终 checkpoint,适合复核 Table 3 附近的强基线。
  3. DAL:固定 BEVDet 分支、MMCV/MMDetection3D/CUDA 版本后再跑,避免被仓库多代接口影响。
  4. CMT / UniTR / ADLab BEVFusion:作为额外强基线;先验证外链权重仍可下载。

本报告的“可复现”是静态工程审计结论,并未在本机下载 nuScenes 全量数据、编译 CUDA 扩展或实际执行 GPU 推理;因此没有把 README 中的数字冒充为本机复现结果。