DAL 主表方法调研｜LiDAR–Camera 3D Detection

Method	发表	LiDAR	Camera	#Params (M)	FPS	mAP	NDS
CMT-R50	ICCV 2023	0100VoxelNet	320 × 800-R50	40.98	10.72（14.2†）	67.9	70.8
DAL-Tiny	ECCV 2024	0100VoxelNet	192 × 544-R18	21.21	16.55（23.2†）	67.4	71.3
UVTR	NeurIPS 2022	0075VoxelNet+	900 × 1600-R101-DCN	88.85	1.77	65.4	70.4
BEVFusion (MIT)	ICRA 2023	0075VoxelNet	256 × 704-STTiny	40.84	9.58	68.5	71.4
TransFusion	CVPR 2022	0075VoxelNet	448 × 800-R50	37.03	6.51	68.9	71.7
ObjectFusion	ICCV 2023	0075VoxelNet	256 × 704-STTiny	—	—	69.8	72.3
DeepInteraction	NeurIPS 2022	0075VoxelNet	448 × 800-R50	57.90	1.86	69.9	72.6
SparseFusion	ICCV 2023	0075VoxelNet+	448 × 800-R50	40.16	4.38	70.5	72.8
CMT-VOV	ICCV 2023	0075VoxelNet	640 × 1600-VOVNet	86.67	3.48（6.0†）	70.3	72.9
UniTR	ICCV 2023	0030DSVT	256 × 704-DSVT	15.56	9.3†	70.5	73.3
DAL-Base	ECCV 2024	0075VoxelNet+	256 × 704-R18	35.06	10.69（15.2†）	70.0	73.4
DAL-Large	ECCV 2024	0050VoxelNet+	384 × 1056-R50	47.77	6.10（9.43†）	71.5	74.0
IS-Fusion	CVPR 2024	—	Swin-T	—	3.2	72.8	74.0
MSMDFusion	CVPR 2023	—	—	—	—	69.3	72.1
UniM²AE†	ECCV 2024	BEVFusion-SST	多模态预训练	—	—	69.7	72.7
GraphBEV	ECCV 2024	—	—	—	—	70.1	72.9

PointPainting

val mAP 44.85 · NDS 57.34

先做图像语义分割，将类别分数投影并附加到每个 LiDAR 点，再把“painted point cloud”交给任意 LiDAR 检测器。模块化强，但整体效果依赖额外 2D 分割器。

官方代码无完整官方实现论文指向分割组件/nuScenes 工具，并非端到端仓库。

完整性缺统一训练配置、数据流水线和论文对应检测权重。

Checkpoint无

nuScenes test需自行组合分割模型与 3D 检测器，不可直接复现实验表结果。

实机结论：验证无法复现。论文未发布端到端官方仓库或最终权重；已核查的第三方仓库仅提供 KITTI demo，且要求用户自行训练 checkpoint，无法执行论文 nuScenes val checkpoint 推理。

PDF arXiv 相关 nuScenes devkit

MVP（实际为 MV3D）

val mAP — · NDS —

从 LiDAR 鸟瞰图、前视图与 RGB 图像提取 ROI 特征，通过深度融合网络生成并回归 3D proposal。原论文实验基于 KITTI；DAL 表中的 nuScenes 数值并非来自这篇 2017 原始实现的标准公开复现链路。

官方代码未找到仅有非官方旧实现。

完整性非官方实现主要面向 KITTI，年代久远。

Checkpoint无可靠 nuScenes 权重

nuScenes test不可直接跑；需要大规模移植。

实机结论：验证无法复现。公开仓库是非官方旧实现，只支持 KITTI/Didi 数据格式，没有 nuScenes 配置或可靠 checkpoint，无法进行 nuScenes val 推理。

PDF arXiv 非官方实现

PointAugmenting

val mAP — · NDS —

用预训练 2D 检测网络的高维 CNN 特征装饰 LiDAR 点，并提出跨模态一致的 copy-paste 增强。官方仓库包含 nuScenes 配置、训练与分布式测试命令。

官方代码有

完整性可训练/测试，但基于旧版 PyTorch/MMDetection3D，准备步骤较手工。

Checkpoint部分提供 2D 预训练模型路径，未见稳定托管的论文最终融合权重。

验证无法复现：官方未发布论文最终融合 checkpoint，只有 2D 预训练权重；不自行完整训练就无法核验论文结果。

nuScenes test可跑仓库给出 dist_test；复现主表仍可能需自行训练。

PDF 官方代码

FusionPainting

val mAP 66.53 · NDS 70.68

同时获得 2D 图像语义与 3D 点云语义，通过自适应注意力融合后再 painting 到点云，最终进入 3D detector。

官方代码未找到

完整性论文描述充分，但缺可审计工程实现。

Checkpoint无

nuScenes test不可直接跑。

实机结论：验证无法复现。未找到作者发布的工程仓库、nuScenes 配置或最终 checkpoint，因此没有可执行的论文复现入口。

PDF arXiv

UVTR

val mAP 65.4 · NDS 70.4

将相机与 LiDAR 都保持在不压缩高度的 voxel 空间，用知识迁移、模态融合和 transformer decoder 做统一预测。

官方代码原链接失效论文声明的 dvlab-research/UVTR 当前返回 404。

完整性无法再从官方仓库审计。

Checkpoint不可可靠获取

nuScenes test论文支持，但当前缺官方可用入口。

PDF arXiv

BEVFusion（MIT / ICRA 2023）

val mAP 68.5 · NDS 71.4

把相机特征经高效 BEV pooling 转到 BEV，与 LiDAR BEV 特征拼接并用卷积 fuser 融合，统一支持检测与地图分割。

官方代码完整（已归档）

完整性Dockerfile、数据准备、训练、评测和 CUDA 扩展齐全；依赖锁在 PyTorch 1.9–1.10 / mmcv 1.4。

Checkpoint可靠官方下载脚本含 fusion、camera、LiDAR 权重。

nuScenes test可直接跑提供 tools/test.py 与 bbox 评测命令。

PDF arXiv 官方代码

BEVFusion（ADLab / NeurIPS 2022）

val mAP 69.6 · NDS 72.1

独立相机流和 LiDAR 流在 BEV 进行融合，并以动态融合模块提高传感器故障下的鲁棒性。与 MIT 版本不是同一代码库。

官方代码有

完整性训练、评测、鲁棒性配置齐全，工程基于旧 MMDetection3D。

Checkpoint有 README 结果表给出检测与鲁棒性模型链接。

nuScenes test可跑 dist_test + bbox。

PDF arXiv 官方代码

ObjectFusion

val mAP 69.8 · NDS 72.3

不做 camera-to-BEV 特征变换：由 BEV 生成 3D proposal，再投回 voxel、BEV、image 三个空间，通过 ROI pooling 对齐对象级特征。

官方代码未发布/未找到

完整性论文称基于 BEVFusion 实现，但无独立官方工程。

Checkpoint无

nuScenes test不可直接复现。

实机结论：验证无法复现。论文说明基于 BEVFusion，但未发布 ObjectFusion 官方实现与最终 checkpoint，不能从 BEVFusion 基线直接还原其对象级融合结果。

PDF CVF 页面

TransFusion

val mAP 68.9 · NDS 71.7

第一层 decoder 从 LiDAR BEV 得到初始 boxes/queries，第二层以 soft association 从多视图图像中自适应取特征，降低硬投影对标定误差的敏感性。

官方代码有

完整性nuScenes/Waymo 配置和复现实验说明完整。

Checkpoint无官方权重 README 明确称因 Huawei IAS BU 政策不发布。

验证无法复现：作者明确因公司政策不发布预训练模型；必须从头训练，无法进行可靠的论文 checkpoint 推理。

nuScenes test代码可跑但要先自行训练，无法开箱核对主表。

PDF arXiv 官方代码

DeepInteraction

val mAP 69.9 · NDS 72.6

保持相机与 LiDAR 各自表征，通过双向 representational interaction 交换特征，再在 predictive interaction decoder 中交互 queries。

官方代码有

完整性安装、数据、训练和测试说明齐全，现仓库还加入 DeepInteraction++。

Checkpoint可靠 Google Drive 与 Hugging Face 双源。

nuScenes test可直接跑 dist_test + bbox。

PDF arXiv 官方代码

SparseFusion

val mAP 70.5 · NDS 72.8

相机与 LiDAR 各自产生稀疏 object candidates，将相机候选分解并变换到 LiDAR 坐标系，再以轻量 self-attention 融合；另有语义/几何跨模态迁移模块。

官方代码有

完整性配置、预处理数据、训练和评测命令齐全。

Checkpoint可靠 README 明确发布预训练 checkpoint 与初始化权重。

nuScenes test可直接跑 4-GPU dist_test。

PDF arXiv 官方代码

CMT

val mAP 70.3 · NDS 72.9

不显式做 view transformation，把图像 tokens、LiDAR tokens 和 3D 坐标编码共同输入 cross-modal transformer，直接输出 3D boxes。

官方代码有

完整性环境、配置、训练/测试脚本与预处理 pkl 齐全。

Checkpoint一般 README 清楚提供预训练/数据链接，但最终模型链接的长期稳定性与覆盖需下载时复核。

nuScenes test可跑 dist_test + bbox。

PDF arXiv 官方代码

UniTR

val mAP 70.5 · NDS 73.3

以 modality-agnostic DSVT blocks 共享处理图像与 LiDAR tokens，兼顾 2D 透视语义邻域和 3D 几何稀疏邻域，统一用于检测/BEV 分割。

官方代码有

完整性训练配置和依赖明确，基于 OpenPCDet/DSVT 风格栈，安装较重。

Checkpoint部分公开预训练 UniTR/DSVT 权重；最终检测 checkpoint 覆盖不如前三个首选稳定。

nuScenes test可跑具备 nuScenes pipeline，但开箱复核论文数字仍可能要训练。

PDF arXiv 官方代码

DAL — Detecting As Labeling

val mAP 71.5 · NDS 74.0

将检测类比人工标注：图像 BEV 特征主要负责类别判断，LiDAR BEV 特征承担类别与 3D box 回归；核心观点是避免相机特征参与回归，从设计层面减轻过拟合。工程上基于 BEVDet 代码库。

官方代码有集成于 BEVDet，而非独立 DAL 仓库。

完整性包含 nuScenes 数据配置、训练/测试与结果导出；多代分支和旧 MMDetection3D 依赖需按 DAL README 固定版本。

Checkpoint需逐配置核对 BEVDet 模型库丰富，但应确认下载项明确对应 DAL-Tiny/Large，而非 BEVDet 系列同名配置。

nuScenes test可跑 tools/test.py 可评 val 或 format-only 导出 test JSON。

PDF arXiv 官方代码库

IS-Fusion

val mAP 72.8 · NDS 74.0

在 BEVFusion 类场景级融合之外，加入 Hierarchical Scene Fusion 与 Instance-Guided Fusion，同时建模场景和实例上下文。与 DAL 一样关注检测任务中的信息分工，但它从实例/场景协同角度增强融合。

代码与配置完整官方仓库含 nuScenes 数据生成、唯一主配置及训练/评测入口。

Checkpoint最终模型已发布同时提供图像预训练模型。

开箱程度很高 README 给出单卡 dist_test.sh ... 1 --eval bbox；主要工作是安装旧版 MMDetection3D 栈和编译算子。

PDF arXiv 官方代码

MSMDFusion

val mAP 69.3 · NDS 72.1

通过 Multi-Depth Unprojection 改善图像特征的深度质量，并用 Gated Modality-Aware Convolution 在 voxel 空间做细粒度融合。

待验证：最终 checkpoint 与必需的 keyframe virtual-points 数据托管在百度网盘；数据下载完成后再进行 nuScenes 实机验证。

代码与配置完整基于 MMDetection3D，提供 nuScenes 主配置和 dist_test。

Checkpoint需网盘下载最终 val 权重提取码 n4mf；关键帧 samples 提取码 9xcb，完整 10-sweep 复现还需 sweeps（2eg1）。

当前状态之后再验证官方仓库没有发布 virtual-points 生成脚本，不能只靠原始 nuScenes 自动重建。

PDF arXiv 官方代码 Checkpoint 网盘

UniM²AE

val mAP 69.7 · NDS 72.7

把图像和 LiDAR 投影到统一 3D volume，以 masked autoencoder 和 MMIM 学习融合表征，再微调 BEVFusion/SST 检测器。适合研究“预训练如何改善 DAL 类融合”，但工程链路比纯检测器长。

代码与配置完整预训练与下游微调目录均公开。

Checkpoint覆盖充分含预训练、LiDAR、BEVFusion-SST、UniM²AE 与 MMIM 最终权重。

开箱程度中上直接评测最终权重可行；从头复现需跨预训练和 finetune 两套环境/数据流程。

PDF arXiv 官方代码

GraphBEV

val mAP 70.1 · NDS 72.9

以图匹配获得邻域感知深度完成 Local Align，再通过可学习偏移做 Global Align，重点解决标定误差导致的 LiDAR–camera BEV 错位。

代码与配置完整 OpenPCDet 实现、固定环境、数据生成、训练和单卡测试命令齐全。

Checkpoint不足 Model Zoo 明确给配置和结果，但未核实到稳定公开的论文最终权重。

验证无法复现：官方 Model Zoo 只有配置和结果，没有可下载的论文最终 checkpoint，无法开箱核验 val 数字。

开箱程度一般代码可跑，但大概率需要 8×3090 自行训练后才能核对论文数字。

PDF arXiv 官方代码

资料优先级：论文原文 → 作者官方 GitHub → 官方 benchmark/devkit。所有论文 PDF 与架构图均已保存于本目录；架构图为论文页面的本地裁剪，仅用于研究调研。

Detecting As Labeling：主实验表方法调研

DAL 论文 Table 4：nuScenes val

复现性快速结论与索引

PointPainting

MVP（实际为 MV3D）

PointAugmenting

FusionPainting

UVTR

BEVFusion（MIT / ICRA 2023）

BEVFusion（ADLab / NeurIPS 2022）

ObjectFusion

TransFusion

DeepInteraction

SparseFusion

CMT

UniTR

DAL — Detecting As Labeling

建议的实际复现顺序