DAL 主表方法调研｜LiDAR–Camera 3D Detection

Method	LiDAR	Camera	#Params (M)	FPS	mAP	NDS
CMT-R50	0100VoxelNet	320 × 800-R50	40.98	10.72（14.2†）	67.9	70.8
DAL-Tiny	0100VoxelNet	192 × 544-R18	21.21	16.55（23.2†）	67.4	71.3
UVTR	0075VoxelNet+	900 × 1600-R101-DCN	88.85	1.77	65.4	70.4
BEVFusion (MIT)	0075VoxelNet	256 × 704-STTiny	40.84	9.58	68.5	71.4
TransFusion	0075VoxelNet	448 × 800-R50	37.03	6.51	68.9	71.7
ObjectFusion	0075VoxelNet	256 × 704-STTiny	—	—	69.8	72.3
DeepInteraction	0075VoxelNet	448 × 800-R50	57.90	1.86	69.9	72.6
SparseFusion	0075VoxelNet+	448 × 800-R50	40.16	4.38	70.5	72.8
CMT-VOV	0075VoxelNet	640 × 1600-VOVNet	86.67	3.48（6.0†）	70.3	72.9
UniTR	0030DSVT	256 × 704-DSVT	15.56	9.3†	70.5	73.3
DAL-Base	0075VoxelNet+	256 × 704-R18	35.06	10.69（15.2†）	70.0	73.4
DAL-Large	0050VoxelNet+	384 × 1056-R50	47.77	6.10（9.43†）	71.5	74.0
IS-Fusion	—	Swin-T	—	3.2	72.8	74.0
MSMDFusion	—	—	—	—	69.3	72.1
UniM²AE†	BEVFusion-SST	多模态预训练	—	—	69.7	72.7
GraphBEV	—	—	—	—	70.1	72.9

PointPainting

val mAP 44.85 · NDS 57.34

先做图像语义分割，将类别分数投影并附加到每个 LiDAR 点，再把“painted point cloud”交给任意 LiDAR 检测器。模块化强，但整体效果依赖额外 2D 分割器。

官方代码无完整官方实现论文指向分割组件/nuScenes 工具，并非端到端仓库。

完整性缺统一训练配置、数据流水线和论文对应检测权重。

Checkpoint无

nuScenes test需自行组合分割模型与 3D 检测器，不可直接复现实验表结果。

PDF arXiv 相关 nuScenes devkit

MVP（实际为 MV3D）

无 nuScenes val 主结果

从 LiDAR 鸟瞰图、前视图与 RGB 图像提取 ROI 特征，通过深度融合网络生成并回归 3D proposal。原论文实验基于 KITTI；DAL 表中的 nuScenes 数值并非来自这篇 2017 原始实现的标准公开复现链路。

官方代码未找到仅有非官方旧实现。

完整性非官方实现主要面向 KITTI，年代久远。

Checkpoint无可靠 nuScenes 权重

nuScenes test不可直接跑；需要大规模移植。

PDF arXiv 非官方实现

PointAugmenting

val 主结果未公开

用预训练 2D 检测网络的高维 CNN 特征装饰 LiDAR 点，并提出跨模态一致的 copy-paste 增强。官方仓库包含 nuScenes 配置、训练与分布式测试命令。

官方代码有

完整性可训练/测试，但基于旧版 PyTorch/MMDetection3D，准备步骤较手工。

Checkpoint部分提供 2D 预训练模型路径，未见稳定托管的论文最终融合权重。

nuScenes test可跑仓库给出 dist_test；复现主表仍可能需自行训练。

PDF 官方代码

FusionPainting

val mAP 66.53 · NDS 70.68

同时获得 2D 图像语义与 3D 点云语义，通过自适应注意力融合后再 painting 到点云，最终进入 3D detector。

官方代码未找到

完整性论文描述充分，但缺可审计工程实现。

Checkpoint无

nuScenes test不可直接跑。

PDF arXiv

UVTR

val mAP 65.4 · NDS 70.4

将相机与 LiDAR 都保持在不压缩高度的 voxel 空间，用知识迁移、模态融合和 transformer decoder 做统一预测。

官方代码原链接失效论文声明的 dvlab-research/UVTR 当前返回 404。

完整性无法再从官方仓库审计。

Checkpoint不可可靠获取

nuScenes test论文支持，但当前缺官方可用入口。

PDF arXiv

BEVFusion（MIT / ICRA 2023）

val mAP 68.5 · NDS 71.4

把相机特征经高效 BEV pooling 转到 BEV，与 LiDAR BEV 特征拼接并用卷积 fuser 融合，统一支持检测与地图分割。

官方代码完整（已归档）

完整性Dockerfile、数据准备、训练、评测和 CUDA 扩展齐全；依赖锁在 PyTorch 1.9–1.10 / mmcv 1.4。

Checkpoint可靠官方下载脚本含 fusion、camera、LiDAR 权重。

nuScenes test可直接跑提供 tools/test.py 与 bbox 评测命令。

PDF arXiv 官方代码

BEVFusion（ADLab / NeurIPS 2022）

val mAP 69.6 · NDS 72.1

独立相机流和 LiDAR 流在 BEV 进行融合，并以动态融合模块提高传感器故障下的鲁棒性。与 MIT 版本不是同一代码库。

官方代码有

完整性训练、评测、鲁棒性配置齐全，工程基于旧 MMDetection3D。

Checkpoint有 README 结果表给出检测与鲁棒性模型链接。

nuScenes test可跑 dist_test + bbox。

PDF arXiv 官方代码

ObjectFusion

val mAP 69.8 · NDS 72.3

不做 camera-to-BEV 特征变换：由 BEV 生成 3D proposal，再投回 voxel、BEV、image 三个空间，通过 ROI pooling 对齐对象级特征。

官方代码未发布/未找到

完整性论文称基于 BEVFusion 实现，但无独立官方工程。

Checkpoint无

nuScenes test不可直接复现。

PDF CVF 页面

TransFusion

val mAP 68.9 · NDS 71.7

第一层 decoder 从 LiDAR BEV 得到初始 boxes/queries，第二层以 soft association 从多视图图像中自适应取特征，降低硬投影对标定误差的敏感性。

官方代码有

完整性nuScenes/Waymo 配置和复现实验说明完整。

Checkpoint无官方权重 README 明确称因 Huawei IAS BU 政策不发布。

nuScenes test代码可跑但要先自行训练，无法开箱核对主表。

PDF arXiv 官方代码

DeepInteraction

val mAP 69.9 · NDS 72.6

保持相机与 LiDAR 各自表征，通过双向 representational interaction 交换特征，再在 predictive interaction decoder 中交互 queries。

官方代码有

完整性安装、数据、训练和测试说明齐全，现仓库还加入 DeepInteraction++。

Checkpoint可靠 Google Drive 与 Hugging Face 双源。

nuScenes test可直接跑 dist_test + bbox。

PDF arXiv 官方代码

SparseFusion

val mAP 70.5 · NDS 72.8

相机与 LiDAR 各自产生稀疏 object candidates，将相机候选分解并变换到 LiDAR 坐标系，再以轻量 self-attention 融合；另有语义/几何跨模态迁移模块。

官方代码有

完整性配置、预处理数据、训练和评测命令齐全。

Checkpoint可靠 README 明确发布预训练 checkpoint 与初始化权重。

nuScenes test可直接跑 4-GPU dist_test。

PDF arXiv 官方代码

CMT

val mAP 70.3 · NDS 72.9

不显式做 view transformation，把图像 tokens、LiDAR tokens 和 3D 坐标编码共同输入 cross-modal transformer，直接输出 3D boxes。

官方代码有

完整性环境、配置、训练/测试脚本与预处理 pkl 齐全。

Checkpoint一般 README 清楚提供预训练/数据链接，但最终模型链接的长期稳定性与覆盖需下载时复核。

nuScenes test可跑 dist_test + bbox。

PDF arXiv 官方代码

UniTR

val mAP 70.5 · NDS 73.3

以 modality-agnostic DSVT blocks 共享处理图像与 LiDAR tokens，兼顾 2D 透视语义邻域和 3D 几何稀疏邻域，统一用于检测/BEV 分割。

官方代码有

完整性训练配置和依赖明确，基于 OpenPCDet/DSVT 风格栈，安装较重。

Checkpoint部分公开预训练 UniTR/DSVT 权重；最终检测 checkpoint 覆盖不如前三个首选稳定。

nuScenes test可跑具备 nuScenes pipeline，但开箱复核论文数字仍可能要训练。

PDF arXiv 官方代码

DAL — Detecting As Labeling

val mAP 71.5 · NDS 74.0

将检测类比人工标注：图像 BEV 特征主要负责类别判断，LiDAR BEV 特征承担类别与 3D box 回归；核心观点是避免相机特征参与回归，从设计层面减轻过拟合。工程上基于 BEVDet 代码库。

官方代码有集成于 BEVDet，而非独立 DAL 仓库。

完整性包含 nuScenes 数据配置、训练/测试与结果导出；多代分支和旧 MMDetection3D 依赖需按 DAL README 固定版本。

Checkpoint需逐配置核对 BEVDet 模型库丰富，但应确认下载项明确对应 DAL-Tiny/Large，而非 BEVDet 系列同名配置。

nuScenes test可跑 tools/test.py 可评 val 或 format-only 导出 test JSON。

PDF arXiv 官方代码库

IS-Fusion

CVPR 2024 Highlight · 首选新增基线

在 BEVFusion 类场景级融合之外，加入 Hierarchical Scene Fusion 与 Instance-Guided Fusion，同时建模场景和实例上下文。与 DAL 一样关注检测任务中的信息分工，但它从实例/场景协同角度增强融合。

代码与配置完整官方仓库含 nuScenes 数据生成、唯一主配置及训练/评测入口。

Checkpoint最终模型已发布同时提供图像预训练模型。

开箱程度很高 README 给出单卡 dist_test.sh ... 1 --eval bbox；主要工作是安装旧版 MMDetection3D 栈和编译算子。

PDF arXiv 官方代码

MSMDFusion

多尺度 + 多深度种子

通过 Multi-Depth Unprojection 改善图像特征的深度质量，并用 Gated Modality-Aware Convolution 在 voxel 空间做细粒度融合。

代码与配置完整基于 MMDetection3D，提供 nuScenes 主配置和 dist_test。

Checkpoint最终 val 权重已发布但托管在百度网盘，海外环境下载不便。

开箱程度较高直接测试容易；若从头训练，需要先准备 TransFusion-L 与 ResNet-50 合并初始化权重。

PDF arXiv 官方代码

UniM²AE

多模态自监督预训练

把图像和 LiDAR 投影到统一 3D volume，以 masked autoencoder 和 MMIM 学习融合表征，再微调 BEVFusion/SST 检测器。适合研究“预训练如何改善 DAL 类融合”，但工程链路比纯检测器长。

代码与配置完整预训练与下游微调目录均公开。

Checkpoint覆盖充分含预训练、LiDAR、BEVFusion-SST、UniM²AE 与 MMIM 最终权重。

开箱程度中上直接评测最终权重可行；从头复现需跨预训练和 finetune 两套环境/数据流程。

PDF arXiv 官方代码

GraphBEV

ECCV 2024 · 对齐鲁棒性

以图匹配获得邻域感知深度完成 Local Align，再通过可学习偏移做 Global Align，重点解决标定误差导致的 LiDAR–camera BEV 错位。

代码与配置完整 OpenPCDet 实现、固定环境、数据生成、训练和单卡测试命令齐全。

Checkpoint不足 Model Zoo 明确给配置和结果，但未核实到稳定公开的论文最终权重。

开箱程度一般代码可跑，但大概率需要 8×3090 自行训练后才能核对论文数字。

PDF arXiv 官方代码

资料优先级：论文原文 → 作者官方 GitHub → 官方 benchmark/devkit。所有论文 PDF 与架构图均已保存于本目录；架构图为论文页面的本地裁剪，仅用于研究调研。

Detecting As Labeling：主实验表方法调研

DAL 论文 Table 4：nuScenes val

复现性快速结论与索引

PointPainting

MVP（实际为 MV3D）

PointAugmenting

FusionPainting

UVTR

BEVFusion（MIT / ICRA 2023）

BEVFusion（ADLab / NeurIPS 2022）

ObjectFusion

TransFusion

DeepInteraction

SparseFusion

CMT

UniTR

DAL — Detecting As Labeling

建议的实际复现顺序