1. 项目概述在自动驾驶领域3D目标检测是环境感知的核心任务之一。传统基于单一传感器的检测方法如纯视觉或纯LiDAR往往难以应对复杂场景下的各种挑战。多模态融合技术通过结合相机丰富的纹理信息和LiDAR精确的空间几何信息显著提升了检测性能。然而现有融合方法通常采用复杂的双流架构或3D稀疏卷积导致计算成本高昂且难以在实际场景中部署。LiteFusion框架的创新之处在于提出了一种轻量级的几何增强范式通过渐进式地将LiDAR几何信息注入视觉网络实现了小改动大提升的效果。这种方法避免了传统融合方案中常见的3D骨干网络使得模型更加轻量化且易于部署。关键突破仅增加1.1%的参数量就在nuScenes数据集上实现了20.1%的NDSNuScenes Detection Score提升特别是在密集小目标检测场景中表现突出。2. 核心设计思路2.1 几何先验的渐进式融合传统多模态融合方法通常采用早期融合或晚期融合策略而LiteFusion创新性地提出了渐进式响应框架。该框架包含两个核心组件深度感知编码器DAE负责从LiDAR投影中提取深度信息为2D特征提取提供支持几何感知编码器GAE将LiDAR的3D空间几何信息作为先验知识解锁2D特征骨干的深度感知潜力实验表明见表VI单独使用DAE可带来3.9%的NDS提升单独使用GAE可带来9.7%提升而两者结合则实现了20.1%的显著提升显示出明显的协同效应。2.2 四元数空间映射跨模态特征对齐是多模态融合的关键挑战。LiteFusion创新性地采用四元数空间进行特征映射其优势体现在参数效率相比传统MLP四元数层仅需25%的参数即可实现更好的性能见表V几何表达四元数的虚部天然适合表示3D空间关系将LiDAR特征分配在虚轴i,j,k上可获得最佳效果见表XIII正交约束四元数乘法自然地保持了模态间的正交关系避免了特征混淆特别值得注意的是四元数层在PV透视视图空间效果显著而在BEV鸟瞰图空间优势不明显。这是因为BEV特征本身已通过体素索引编码了3D信息不需要额外的空间编码机制。3. 实现细节与优化3.1 网络架构设计LiteFusion以BEVFormer为基础架构通过插入几何积分器实现增强。具体实现包含以下关键设计轻量级积分器采用降维-对齐-扩展策略DAE隐藏层维度设为8GAE设为128见图8渐进式注入几何信息从浅层到深层逐步融合比一次性注入效果更好见表VII间歇性插入每隔几层插入积分器既保证性能又控制参数量见表X3.2 训练策略优化数据扩展性实验表明见表IV随着相机数据从50%增加到100%mAP从38.4%提升到45.3%多模态数据从25%增加到100%mAP进一步提升到58.3%深度调度积分器插入深度与性能正相关见表IX但过深会导致收益递减模态分配将LiDAR特征分配在四元数虚轴i,j,k比实轴r效果更好见表XIII4. 性能表现与分析4.1 定量结果在nuScenes数据集上的实验表明见表IILiteFusion-S相比BEVFormer-smallNDS从45.1%提升到65.2%20.1%mAP从36.2%提升到58.3%22.1%LiteFusion-B相比BEVFormer-baseNDS从49.2%提升到68.9%19.7%mAP从41.9%提升到62.3%20.4%值得注意的是这些提升仅带来了1.1%-1.2%的参数量增加和少量的内存/速度开销。4.2 定性分析可视化结果图5、图9显示小目标检测在红色圆圈标记区域BEVFormer漏检的小目标被LiteFusion准确检测密集场景目标密集区域中LiteFusion的边界框更精确误检减少相比BEVFormerLiteFusion显著减少了误检5. 实际应用建议5.1 部署考量硬件兼容性由于避免了3D稀疏卷积LiteFusion更容易在各种硬件平台如NPU、FPGA上部署实时性小型版本(LiteFusion-S)达到5.3 FPS满足多数实时应用需求传感器配置对LiDAR质量要求适中即使只有25%的多模态数据也能带来显著提升5.2 调优方向积分器深度根据计算预算调整深层插入效果更好但成本更高隐藏层维度DAE建议8维GAE建议128维见图8训练数据优先增加相机数据量再补充多模态数据6. 局限性与未来方向当前框架仍有以下改进空间时序信息未充分利用连续帧的时间一致性多任务扩展可探索检测之外的分割、跟踪等任务极端天气在雾、雨等恶劣天气下的鲁棒性有待验证在实际项目中我们发现几何积分器的插入位置对最终性能影响显著。初期尝试均匀插入所有层导致计算开销过大后来调整为关键层插入既保持了性能又控制了成本。另一个实用技巧是在训练初期冻结积分器参数待视觉骨干稳定后再联合微调这能有效避免早期训练不稳定。
