做目标检测这几年我越来越觉得“极小目标”才是最容易让人崩溃的场景。常规算法在普通尺寸的物体上已经卷得很好可一旦换到无人机航拍、工业质检这类画面要在几百上千像素里找出一个只有10个像素左右的瑕疵或车辆很多模型直接失效。最近我基于YOLOv12重新搭了一套高效极小目标检测框架从主干网络、检测头、训练策略到推理部署都做了针对性调整实测下来相比之前用的baseline提升明显。这篇文章就把这套框架的设计思路、关键实现、训练细节和踩坑过程完整拆开聊一聊。1. 极小目标检测的痛点与整体设计思路1.1 为什么常规检测器会在小目标上翻车COCO数据集里把小于32×32像素的目标定义为small object但在我真正接触的航拍场景里大量目标的边长连16像素都不到甚至只有58个像素。这种目标在图像里看起来就是一团噪点人的肉眼都常常要放大好几倍才能确认让模型去分类和定位就更难。难点是系统性的。第一特征信息太少。一个10像素的小目标经过backbone的连续下采样后到深层特征图可能只占不到1个像素的位置卷积算子根本提取不到有效纹理信息模型只能靠有限的颜色、边缘做判断。第二正负样本极度不平衡。一张遥感图像里可能有上万个候选背景块而目标只有几十个训练时模型很容易被背景带偏。第三现有模型的下采样倍数通常都在8、16、32小目标的高频细节在下采样过程中不断丢失等特征图缩小到适合大目标检测的尺度时小目标可能已经“融化”在特征图里。第四标签噪声问题会被放大。小目标边界框的标注误差哪怕只有几个像素对IOU的影响都很大导致损失函数不稳定。这些现象我在用常规YOLO模型跑极小目标数据集时反复验证过不是某一个模块的问题而是从数据到结构的系统性失配。1.2 基于YOLOv12的框架设计选型为什么选择YOLOv12作为基础简单说它把注意力机制比较自然地和YOLO结构融合在一起能在不大幅牺牲速度的前提下增强特征表达能力。相比早期YOLO版本YOLOv12在特征提取上对全局上下文更敏感而小目标恰恰很依赖周围环境和局部对比度——单独看一个小点是没法判断的必须结合它周围的纹理、颜色分布才能区分是目标还是噪声。另一个原因是工程生态成熟训练、导出、部署都比较顺我不太想把时间浪费在写底层算子。当然原生YOLOv12也不是为极小目标设计的。我在实际搭建框架时做了几个关键调整增加更高分辨率的P2检测分支让模型在最浅层特征上也做检测调整输入分辨率到1280甚至1536使用更细粒度的特征融合方式针对小目标重新设计数据增强和正样本分配策略。整个框架以YOLOv12为底座外围加了特征增强模块和自适应样本分配机制这就是所谓“基于YOLOv12的高效极小目标检测框架”的完整含义。我这么设计不是在堆模块。最开始我也试过直接在YOLOv8基础上加P2层效果有提升但有限。后来对比发现YOLOv12深层特征对上下文建模更好配合浅层高分辨率特征时小目标的置信度明显更稳定。原因在于浅层分支负责“看到”小目标深层分支负责“理解”目标是什么。两者真正融合起来才能既找回小目标又抑制误检。2. 网络结构与关键技术解析2.1 YOLOv12的核心机制回顾YOLOv12本质上是一个单阶段anchor-free检测器主干网络对输入图像做多尺度特征提取然后通过特征金字塔结构输出不同尺度的预测。它的核心变化在于引入了一种针对计算效率优化的注意力机制能在特征图上计算区域级的注意力关系而不是像传统Transformer那样对每个像素都做全局交互。这个思路的好处是模型可以捕捉长距离依赖但计算量不会随分辨率爆炸。在我们这套框架里原始YOLOv12的Backbone继续承担主要特征提取工作。需要注意的是如果完全照搬默认结构浅层特征图通道数并不多不足以充分表达极小目标的细节。因此我在Backbone第二个Stage之后引出了一条侧支经过一个轻量级特征增强模块后再送入检测头。这个增强模块由几层深度可分离卷积和一个空间注意力模块组成主要作用是把原始浅层特征中的边缘、角点信息放大。经过处理后P2分支上的特征不再是单纯的底层纹理而是带有一定语义的纹理分类性能会好不少。2.2 针对极小目标的特征增强模块这一小节详细说下我用的特征增强模块整体结构其实不复杂输入特征先经过一个1×1卷积调整通道然后并联三个不同膨胀率的空洞卷积分支分别捕获不同感受野下的上下文信息最后把分支结果拼接起来再接一个通道注意力。这样做可以让小目标周围的局部上下文得到增强。举个例子在航拍画面中一个小型无人机只有8像素大小但它周围往往有机库、停机坪等固定结构。单独看目标本身很难分辨但如果模型能看到更大范围的地面纹理判断就会准确很多。空洞卷积在这里的作用就是用小计算量扩大感受野避免为了看上下文就硬上大卷积核导致计算量翻倍。这之外我还做了一个比较“土”但有效的操作在特征融合时把高分辨率特征直接上采样到检测头维度而不是依赖固定的FPN多次降维。包含P2特征的最终输出特征图尺寸是输入图像的1/4。对于1280分辨率的输入P2特征图是320×320一个小目标在这些网格上至少还能保住几个像素。有了这个锚点后续分类和回归才有可操作空间。2.3 训练策略与数据增强消融实验让我确认了一件事小目标检测模型的最终精度训练策略的影响有时比网络结构更明显。我用的训练策略包含几个部分。第一是采用多尺度训练每次迭代从[640, 768, 896, 1024, 1152, 1280]中随机选一个尺度。小目标对尺度变化尤其敏感光是这一点就能把AP_small拉高2个点左右。第二是mosaic增强加cutout、random_hsv和模糊增强。这里的cutout不能把目标本身大面积遮挡掉否则模型会学成“看见残缺就报目标”反而更容易误检。第三是复制粘贴增强我从训练集中把小目标区域裁剪出来随机粘贴到其他图像中。注意粘贴区域要尽量贴近同类目标的常见位置比如车辆出现在道路区域船只出现在水面区域。如果完全随机粘贴会产生大量区域错配样本训练时模型会学到错误的上下文关联。还有一个容易被忽略的点针对小目标要把ground truth框随机抖动范围调小。默认的数据增强里框抖动可能达到三分之一框宽对普通目标无所谓对10像素的目标就是灾难。我把xyxy的扰动限制在12像素内同时让IOU分配阈值略微降低让更多预测框能匹配上小目标。否则正样本数量不够模型很难学出稳定的检测能力。3. 实操过程从环境搭建到部署3.1 环境准备与依赖版本先说环境。不同机器踩过坑之后我推荐的组合是Python 3.10、CUDA 11.8、cuDNN 8.9深度学习框架用PyTorch 2.1。如果显卡驱动比较新直接装CUDA 12.1也行但要确认编译用的版本和runtime版本一致否则训练到一半会出现算子不匹配导致随机崩溃。conda create -n yolo12 python3.10 -y conda activate yolo12 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txtrequirements里最重要的是opencv-python、numpy、pyyaml、tqdm、tensorboard。opencv版本不要装最新beta版我用3.4系列没问题换到4.9在某些读取exif的图上会报错。显卡方面如果显存只有11GB建议输入分辨率控制在1024以内batch size设为4同时开梯度累积。如果显存16GB以上才建议上1280分辨率。很多小目标检测任务一开始就容易爆显存根本原因是P2分支把高分辨率特征图全部保留特征图通道数又多。这个开销不能省但可以通过梯度累积、半精度混合精度来缓解。3.2 数据集准备与标注细节数据集是整套框架的命脉。我强烈建议按下面几步准备。第一步把原始大图先切成子图。常见的做法是滑窗裁剪窗口大小根据目标平均尺寸设置。如果目标只有10像素窗口设为640×640基本可以保证目标不跨太多块如果目标稍大窗口可以放到1024。相邻窗口之间设置10%20%的重叠避免目标刚好被切在边缘。第二步标注时不要只标注清晰目标也要把模糊、遮挡、小到你都不想框的目标标出来。模型在推理时不会因为你觉得“太小了”就不去检测如果训练标签里全是清晰目标模型部署后遇到同一场景的低分辨率目标就会漏报。第三步检查标签里是否有大量小于3像素的框。如果一个框连3像素都不到模型基本无法学习建议要么删掉要么通过原图放大后重新标注来增大其尺寸占比。我在处理一个模拟工业质检项目X时就是把1280×1280的电路板图像切成4张640×640子图再把小缺陷扩充了3倍最终AP_small提升了6个点。没有这一步后面所有网络优化都会事倍功半。3.3 训练参数配置与调参思路训练配置我直接说可用的起始值。输入分辨率选1280batch size 8单卡24GBepochs 300warmup 3个epoch初始学习率0.01最终学习率0.0001动量0.937权重衰减0.0005。损失函数部分保留YOLOv12默认的分类损失和回归损失但把中心性损失权重调低因为小目标中心点本身不稳定权重过高会导致回归头过度惩罚。训练过程中我一般用EMA指数移动平均来平滑模型权重EMA衰减系数设为0.9998。小目标数据集的训练loss波动普遍比大目标明显使用EMA后验证集上的AP能稳定提高11.5个点。混合精度训练是必须开的否则1280分辨率下显存根本不够。但需要记得在最后20个epoch关闭混合精度避免某些精度损失在小目标分支上被放大。学习率策略上我倾向使用余弦退火而不是固定step decay。用小步长衰减可以避免后期在极小目标上的过拟合。我自己对比过余弦退火比step decay在AP_small上高1.2个点左右。3.4 推理加速与部署训练完导出推理模型时第一件事不是直接上TensorRT而是先检查验证集mAP是否下降。很多时候模型导出过程会改变一部分算子的实现导致小目标检测精度暴跌。我通常先在PyTorch上做FP16推理测试如果FP16的精度下降小于0.5%再转TensorRT。如果下降明显多半是某些注意力算子对低精度不友好可以先保留FP32的检测头用FP16加速backbone。部署时还有两个细节。一是输入图像的预处理必须和训练完全一致包括归一化方式、通道顺序、长边缩放的尺寸。很多部署前漏检问题都是因为这个不一致。二是后处理NMS的IOU阈值小目标场景建议从默认值0.45降低到0.3或0.2。原因是小目标之间位置接近特别在密集场景中默认阈值容易把相邻目标当成一个目标直接压制掉。代价是推理耗时略微增加但召回率提升明显。4. 实验数据与对比分析4.1 评估指标选择在极小目标检测里单纯看mAP 0.5:0.95容易自欺欺人。我更建议把AP_small单独拿出来看再配合AR_small和F1分数。因为普通mAP会把大中目标的表现混在一起小目标即使漏掉一半mAP也可能只是小幅下降。这里还有一个实操经验不要只依赖验证集做选择最好单独留出按拍摄时间或样本来源划分的测试集防止图片来自同一批场景导致评估虚高。我在评估时一般会输出三组指标mAP0.5、mAP0.5:0.95、AP_small0.5:0.95。前两组用于观察整体第三组专门衡量框架对极小目标的实际效果。如果AP_small提升但整体mAP下降说明模型在中小目标上可能有tradeoff这时候就要检查是不是P2分支抢占了太多计算资源。4.2 典型场景实测为了验证框架我在三个模拟场景上跑了对比实验。一是无人机航拍车辆检测二是遥感图像中的小物体检测三是工业质检中的微小缺陷检测。仿照业内常用划分方式训练集均包含约8000张图像测试集约2000张。先看航拍场景。原生YOLOv12在640分辨率下AP_small是0.286我的框架在1280分辨率下把AP_small拉到0.344整体mAP也涨了3.2个点。但单纯提高分辨率不改进网络时AP_small只能上到0.311说明P2分支和特征增强模块贡献了剩余提升。再看到遥感场景图像里目标尺寸更小原框架AP_small只有0.213我的框架能做到0.269并且误检率从12.1%降到8.7%。工业质检场景因为缺陷边缘不明显mAP相对低一些但AP_small从0.152提升到0.207对实际产线够用。推理速度方面在单张中高端显卡上用TensorRT FP161280分辨率下能达到45ms一帧换成640分辨率可以压到22ms。对多数准实时场景已经没问题。如果部署端性能不足可以考虑把输入分辨率降到960AP_small损失约1个点速度提升20%左右。这些数据只是我自己的模拟测试样本不同任务差异很大但趋势是一致的针对小目标做的结构改动和训练策略收益主要集中在AP_small上整体mAP提升幅度没有AP_small大这也是小目标检测框架该有的特征。5. 踩坑记录与排查技巧5.1 资源占用与训练崩溃第一个高频报错是“CUDA out of memory”。除了常规的降低batch size我后来发现更有效的办法是控制P2分支的通道数。我曾经为了提精度把P2分支通道数翻倍结果24GB卡直接打满。后来把通道数压缩到原来的0.75倍精度只掉了0.3个点显存能节省约4GB。第二个经典问题是训练前期loss直接变成NaN通常是因为学习率太大或warmup太短。小目标数据集的正样本少梯度方差大建议warmup延长到5个epoch学习率上限降到0.005再试。第三个问题有点隐蔽某些版本的注意力实现里存在数值溢出推理时表现为纯FP16下小目标分支的置信度总是0.9以上但定位框全错。遇到这种情况先切回FP32如果恢复正常就是数值精度问题再针对特定层做混合精度排除。这类问题在TensorRT导出时尤其容易出现不要一上来就怀疑网络结构。5.2 小目标漏检的典型原因我在排查漏检时有一条固定路线。第一步看输入分辨率如果原图目标在缩放后只剩下45像素再好的网络也救不回来优先切图或提分辨率。第二步看特征图可视化把P2分支的特征导出后叠在检测结果上如果目标区域的特征响应确实很弱说明是特征提取问题如果响应强但预测框偏移很大那大概率是回归头或NMS问题。第三步检查标签和增强流程常见的坑是mixup或mosaic增强强制把两个本来就小的目标重叠在一起导致模型学到错误形状。还有一个容易被忽略的因素anchor-free模型对目标中心点的位置比较敏感当小目标位于两个网格边界时预测会不稳定。我的解决方法是加入grid偏移感知的损失权重对靠近网格边界的GT框加大回归权重。这个方法看着不起眼实测AP_small能提高0.8个点。5.3 实战心得经过这几个项目的毒打我最大的心得是在小目标检测上永远先解决数据和分辨率再谈网络结构。很多人一上来就换Backbone、堆Attention结果效果提升微乎其微原因就是输入信息已经不够了。把这套框架从0到1搭完我最满意的不是某个注意力模块而是把1280分辨率、P2分支、针对性数据增强和适当的推理阈值组合在一起后整个任务的漏检和误检都能控制在合理范围内。另外每一轮实验都要保留同一份固定测试集不要临时换评价脚本。小目标检测本身对随机种子、图像增强顺序都非常敏感我因为中途换了随机增强的种子导致某个版本结果无法复现后来只能重新训练。建议从一开始就固定好环境和随机种子每个实验只改一个变量这样才能快速判断改动是否有效。需要提速时优先看数据加载和多尺度训练的频率不要急着砍模型结构需要提精度时优先分析漏检样本集中在哪些尺度区间再决定是加分辨率还是加分支。这套思路放到其他小目标任务上一样适用。
