简介这套基于ViT的车辆重识别源码包面向计算机视觉与智能交通领域的开发者和研究者聚焦利用ViT大模型迁移实现车辆精细识别与检索。系统在VeRi-776数据集上达到mAP 84.5、Rank-1 97.3的先进指标完整覆盖车辆检测、多目标跟踪MOT、特征提取与向量检索四个关键环节并对比了VehicleID与VeRi-776两种数据集的训练性能差异便于按场景选择预训练数据。资源包共3个文件、整体约7KB包含inscode配置、HTML交互页面和gitignore规范结构紧凑清晰适合在轻量环境中快速启动与调试。模型优化部分给出了ONNX转换思路兼顾跨框架部署和多线程交互设计可帮助有深度学习基础的读者理解高精度车辆重识别的工程实现要点。目前已有108人浏览学习是一份适合算法对比、毕业设计或项目起步的轻量参考资源。1. 车辆重识别为什么选 ViT跨摄像头追同一辆车光看车牌远远不够去年接到一个跨摄像头车辆检索的需求某停车场门口丢了线索要从三路相隔几百米的监控里把同一辆灰色 SUV 捞出来。按惯性思维先套了 ResNet50 做特征提取结果同款白色轿车一多返回来一堆长得一模一样的车根本分不清哪辆是哪辆。最后换成基于 ViT 的车辆重识别系统用 Transformer 的自注意力去建模车身结构、窗线和灯组这些长距离关系效果才拉开差距。这个项目源码就是一套完整的 ViT 车辆重识别方案覆盖数据处理、训练、评估和推理适合正在做监控检索、智慧停车或城市交通场景手上有 PyTorch 基础的人直接改。2. 数据集与预处理喂给自注意力之前先把数据组织成「身份-摄像头-时间」三元组车辆重识别和行人重识别最大的区别在于车辆外观存在大量「同款同色」的干扰。同一个厂牌同一款车的两辆不同个体普通 CNN 很容易把它们的特征混在一起而 ViT 的全局注意力机制理论上能捕捉到细微差异但这个前提是训练数据组织得足够干净。我拿到的这套源码里数据组织方式非常明确训练集、query 和 gallery 三套目录每套目录都以车辆 ID 为第一层下面再按摄像头和时间组织。这样划分的核心原因是评估时要在没见过的摄像头上测泛化能力而不是让模型靠记住某个特定画面来刷分。2.1 数据目录与样本均衡按车辆 ID 划分摄像头只作为次要维度先把数据目录结构理一遍常见做法是这样dataset/ ├── train/ │ ├── ID0001/ │ │ ├── cam01_000123.jpg │ │ ├── cam02_000124.jpg │ │ └── ... │ ├── ID0002/ │ │ └── ... ├── query/ │ ├── ID0001_cam03_000125.jpg │ └── ID0002_cam01_000126.jpg └── gallery/ ├── ID0001_cam02_000127.jpg └── ...目录本身的逻辑有三点需要注意。第一train 下面每个 ID 至少要有 4 个不同摄像头位否则模型学不会「同一辆车在不同角度下长什么样」第二query 里的图片和 gallery 里的图片不能来自同一时刻同一摄像头否则等于开卷考试第三样本数量要按 ID 做统计出现某辆车拍了几千张、另一辆只有几十张的情况后面训练时要用 PK 采样去兜底不能靠交叉熵硬扛。这套源码在预处理阶段就预设好了 train/query/gallery 的划分脚本不需要自己手写。跑之前我会用一句话验证目录统计 train 里每个 ID 的图片数量如果最大数量和最小数量差超过 10 倍说明原始数据质量不合格先把冗余帧去掉再去训练。冗余帧是监控视频按帧抽出来的相邻两帧几乎没有变化留着只会让模型对时序过拟合。2.2 图像尺寸与归一化参数224 输入下 patch 要能盖住车灯和窗线ViT 主干对输入尺寸比 CNN 更敏感因为自注意力的计算复杂度和 patch 数量直接相关。源码里默认走的是 ViT-B/16 的预训练权重输入是 224×224patch 大小为 16也就是切成 14×14 个 token。车辆目标本身比较大224 分辨率一般够用但不建议降到 128否则一个车灯可能还不到一个 patch 大注意力就算想聚焦也没东西可看。预处理代码在源码里大概是这样的逻辑from torchvision import transforms normalize transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) train_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ToTensor(), normalize, ]) query_transform transforms.Compose([ transforms.Resize((256, 256)), transforms.CenterCrop((224, 224)), transforms.ToTensor(), normalize, ])这里的 resize 到 256 再随机裁剪到 224是 ViT 微调里比较稳的做法比直接 resize 到 224 多了一点平移不变性。归一化用的还是 ImageNet 的均值和方差对车辆监控图来说亮点在曝光不均衡的夜间场景下有奇效别自作主张改成纯 0-1 归一化。我见过有人图省事把车辆数据直接除以 255训练出来 loss 是能掉但跨摄像头检索效果明显拉胯窗口期一直不收敛。参数说明一下RandomHorizontalFlip 对车辆这类近似左右对称的目标是安全的但注意不要加垂直翻转因为车顶和车底在语义上完全不对等加垂直翻转会把模型带偏。Resize 的大小如果显存允许也可以提到 288/256 或者 320/256让裁剪窗口更宽松但训练时长会涨不少。2.3 数据增强分阶段强增强放后期前期只用基础操作车辆 ReID 的数据增强和行人不太一样。行人目标细长Random Erasing 动辄把下半身抹掉模型还能靠上半身兜底车辆车身是块大平面纹理抹掉一块往往就抹掉了关键的车窗分割线。源码在增强策略上采用了一套分阶段方案前 50 个 epoch 只做翻转和裁剪后 30 个 epoch 才逐步加入强增强。import torch from torchvision import transforms strong_augment transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.3, hue0.05), transforms.RandomErasing(p0.5, scale(0.02, 0.15)), transforms.ToTensor(), normalize, ])代码里 ColorJitter 的 brightness 和 contrast 调得比较激进是为了模拟白天不同时段的日照变化。RandomErasing 的 scale 控制在 0.02 到 0.15只擦小区域保留大面积车身结构。按源码的思路训练流程里会在第 50 个 epoch 时把 transform 切换成这套强增强本质上相当于一个课程学习策略前期让模型先把结构特征学稳后期再去对抗亮度、遮挡这些扰动。如果你把强增强从第一轮就打开往往会出现训练 loss 还在降、验证 mAP 却开始往回掉的情况这是典型的增强强度过早造成的过拟合后面踩坑一章还会细说。3. Transformer 主干配置从 patch embedding 到特征输出的四个取舍点ViT 做车辆重识别主干选择上有几个关键点不能照搬分类任务的配置。分类任务只需要输出类别 logits而 ReID 要求的是一个能泛化到新身份的特征向量。源码基于 ViT-B/16 做了改造重点落在四个位置特征从哪里取、位置编码怎么处理、特征维度多少、特征用什么度量方式。3.1 CLS token 还是全局平均池化车辆任务优先保留 CLS tokenViT 的输出端通常有两种取特征的方式。第一种是取最后一层 Transformer 的 CLS token因为它在训练中被强制聚合全局信息第二种是像 CNN 一样对最后一层所有 patch token 做全局平均池化。对车辆 ReID 来说推荐拿 CLS token 作为主特征再接一个 BNNeck 或者直接 L2 归一化。取特征代码类似这样class ViTFeatureExtractor(nn.Module): def __init__(self, backbone, embed_dim768): super().__init__() self.backbone backbone self.bn nn.BatchNorm1d(embed_dim) def forward(self, x): # 这里拿到的是 ViT 输出的 [batch, num_tokens1, embed_dim] feats self.backbone(x) # 取 CLS token去掉 patch token cls_token feats[:, 0, :] # BNNeck 之后再做归一化训练阶段常用 feat self.bn(cls_token) # L2 归一化让特征落在单位球面上 feat F.normalize(feat, p2, dim1) return feat逻辑说明CLS token 经过整个 Transformer 层的交互每个 patch 的信息都会流到它这里对车辆上「车灯和尾门装饰线一起构成身份线索」这类长距离关系很友好。如果选全局平均池化相当于把每个 patch 一视同仁地平均弱化了注意力本来学会的判别区域。一个常见误用是把 CLS token 和全局平均池化拼接起来当特征维度变大一倍确实可能在公开指标上好看一点但在跨摄像头场景里会造成特征冗余而且推理变慢。除非你有明确的消融实验支撑否则别盲目拼接。参数说明ViT-B/16 的 embed_dim 是 768经过 BN 后接 ID 分类头源码里也可以配置成使用 ViT-S/16此时 embed_dim 是 384。BNNeck 在训练时能让分类损失和度量损失共用同一份特征但作用域不同推理时记得把 BNNeck 切到 eval 模式否则统计量不一致。3.2 位置编码与微调分辨率直接 resize 位置编码会踩大坑ViT 的位置编码是训练时绑定的。ImageNet 预训练权重里224×224 输入对应 196 个 patch token 加一个 CLS token位置编码长度为 197。如果你想用 256×256 或 320×320 微调patch 数量变化位置编码长度就对不上了。直接把预训练位置编码截断或零填充都会让注意力混乱车辆这种强结构目标会第一个遭殃。源码里实现了一维插值函数import torch import torch.nn.functional as F def interpolate_pos_embed(pos_embed, new_num_tokens, num_extra_tokens1): # pos_embed 形状: [1, 197, 768]去掉 CLS 后插值到新长度 cls_pos pos_embed[:, :num_extra_tokens] patch_pos pos_embed[:, num_extra_tokens:] old_len patch_pos.shape[1] # 把 patch 位置编码按长度比例线性插值 new_patch_pos F.interpolate( patch_pos.permute(0, 2, 1), sizenew_num_tokens, modelinear, align_cornersFalse, ).permute(0, 2, 1) new_pos_embed torch.cat([cls_pos, new_patch_pos], dim1) return new_pos_embed逻辑说明插值把原来的 196 个位置编码映射到新的 token 数量上比如 256×256 输入下 patch 数变成 256new_num_tokens 就传 256。插值保留了位置之间相对顺序比直接随机初始化或截断平滑得多。我一般会建议预训练权重固定 224 加载微调时如果想用 256先插值位置编码再加载进模型然后接一段短 warmup 让模型适应新分辨率。很多开源代码只在分类任务上测试过直接换到车辆数据会忽略这个细节。用 320×320 微调时要注意显存ViT-B/16 在 320 分辨率下自注意力的计算量大概是 224 的两倍显存不超过 16G 就乖乖用 224或者换 ViT-S/16。3.3 特征维度与度量方式L2 归一化之后距离用欧氏还是余弦车辆 ReID 里特征维度常见是 512 或 768。源码默认走 512 维输出也就是在 ViT 输出的 768 维后面加一层线性投影到 512。为什么压到 512因为检索库通常有几十万甚至上百万辆车特征维度越低大规模向量检索的内存和耗时越友好。而 512 对车辆这种类别差异足够再降到 256 会开始损失细粒度信息同款车区分不开。度量方式上源码里训练用的三元组损失是基于归一化特征的欧氏距离。很多人问 L2 归一化之后欧氏距离和余弦距离是不是等价答案是不完全等价。归一化到单位超球面后欧氏距离和余弦相似度在数学上存在单调关系但实际检索时如果用最近邻搜索欧氏距离更稳定。推理的相似度计算建议直接在归一化特征上算余弦因为向量内积的结果等效于余弦值速度更快。def compute_similarity(query_feat, gallery_feat): # gallery_feat 归一化: [num_gallery, dim] # query_feat 归一化: [dim] sim query_feat gallery_feat.T # 余弦相似度值越大越相似 return sim这段代码后面不用再做一次 L2因为特征已经归一化。参数说明如果 query_feat 没有提前归一化必须先F.normalize(query_feat, p2, dim0)否则算出的是内积不是余弦。很多新手要么漏了归一化这一步要么对 gallery 和 query 做了两次归一化结果相似度全挤在很小的区间里排序不稳定。车辆数据里同款车相似度往往高达 0.9 以上需要用 top-k 排序而不是固定阈值来出检索结果。4. 训练细节与损失函数让同款车拉开距离的三个关键项车辆重识别在训练阶段的目标非常明确同类车距离收紧不同车即使长得一模一样也要推开。只有 Triplet Loss 不够只有交叉熵也不够。这套源码组合了分类损失、三元组损失和中心损失采样策略用 PK-Batch优化器用 AdamW 加 Cosine Warmup整体配置基本是当前车辆 ReID 微调 ViT 的主流套路。4.1 损失组合ID 分类、三元组、中心损失各管一段原始损失函数代码逻辑如下import torch import torch.nn as nn import torch.nn.functional as F def vehicle_reid_loss(feat, cls_logits, labels, triplet_loss_fn, alpha0.3, beta0.1): ce_loss F.cross_entropy(cls_logits, labels) trip_loss, _ triplet_loss_fn(feat, labels) center_loss center_loss_fn(feat, labels, center_feat) loss ce_loss alpha * trip_loss beta * center_loss return loss参数说明ce_loss 负责让模型学会区分训练集中的车辆 IDtrip_loss 负责在特征空间里拉近同类、推开异类这是 ReID 的灵魂center_loss 维护每个 ID 的类别中心减少类内特征波动。alpha 取 0.3beta 取 0.1 是源码里经过简单调参得到的推荐值alpha 太高会让训练震荡beta 太高会把特征过度压向中心点反而丢失个体差异。一个容易忽略的点cross entropy 的 logits 如果接在 BNNeck 之后分类效果更好triplet loss 必须作用在 BN 之前的特征上。原因是 BN 之后特征分布被拉到同一尺度欧氏距离已经失真。你可以理解为分类和度量分别用特征的两种形态这也是为什么中间层加了那个 BN 分支而不是直接连一根线。4.2 采样策略PK-Batch 和 Hard Triplet Mining 的具体做法随机采样 32 张图做 batch在车辆数据里基本无效原因是一个 batch 里大概率 32 张全是不同车triplet 根本组不出困难样本。源码实现了一个 PK-Batch 采样器每个 batch 选 P 个车辆 ID每个 ID 选 K 张图。P8、K4 是默认配置一个 batch 就是 32 张。import random from torch.utils.data import Sampler class PKBatchSampler(Sampler): def __init__(self, dataset, p8, k4): self.dataset dataset self.p p self.k k self.index_dict self._build_index() def _build_index(self): idx_dict {} for i, label in enumerate(self.dataset.labels): idx_dict.setdefault(label, []).append(i) return idx_dict def __iter__(self): all_ids list(self.index_dict.keys()) random.shuffle(all_ids) for i in range(0, len(all_ids), self.p): batch_ids all_ids[i:iself.p] batch_indices [] for pid in batch_ids: cand self.index_dict[pid] # 若某个 ID 图片不够 k 张允许重复采样 batch_indices.extend(random.sample(cand, min(len(cand), self.k))) yield batch_indices逻辑说明_build_index把数据集里每个 ID 关联的图片索引整理成字典__iter__每次从 ID 列表里取 p 个 ID再从每个 ID 内随机抽 k 张。这样构造出的 batch 天然满足 triplet 的数据条件。如果某个 ID 只有 2 张图probe 会少一点这时候random.sample正常出 2 张batch 数量会略小于 32损失函数里要做 mask别直接用固定 batch 统计量。Hard triplet mining 对车辆尤其重要。普通 triplet 选一个 anchor、一个正样本、一个随机负样本负样本大概率是长相差很远的车loss 很快趋近于 0。换成正样本挑最远的、负样本挑最近的模型才会被迫去学同款车之间的差异。实现上最常见的做法是计算 batch 内两两距离矩阵再取每行的 hardest 正负样本。注意如果 batch 里某个 ID 只有 2 张图positive 距离只有一对hard mining 退化成正样本本身这是显存不够时最先牺牲的部分。我一般至少保证 K≥3才能让 hardest 有效。4.3 优化器与调度ViT 不发散的最小配置组合ViT 对优化器参数比 CNN 敏感得多。源码里采用 AdamW初始 learning rate 给的是 3e-4weight decay 0.05用 5 个 epoch 的 linear warmup然后 cosine decay 到 1e-5总计 80 个 epoch。一个容易翻车的地方是 weight decay 过大会把 LayerNorm 的 scale 和 bias 压坏导致 loss 直接变成 NaN后面会专门讲。from torch.optim import AdamW from torch.optim.lr_scheduler import LinearLR, CosineAnnealingLR optimizer AdamW(model.parameters(), lr3e-4, weight_decay0.05) # 修正对 bias 和 LayerNorm 不施加 weight decay for name, param in model.named_parameters(): if param.ndim 1 or norm in name.lower(): param.weight_decay 0.0这段代码的逻辑在于线性层权重可以正则但一维参数和归一化层里没有过拟合风险权重衰减它们反而会破坏初始化尺度。warmup 的 5 个 epoch 是为了让位置编码和主干先稳住。车辆数据规模比 ImageNet 小好几个量级直接上大学习率会让预训练权重在第一步就被毁掉。不需要显存足够的话一般不做 Batch 梯度累积显存紧张时用accumulation_steps2模拟大 batch但要把学习率同步调高一点否则收敛变慢。训练日志里重点看前 10 个 epoch 的 loss 下降趋势没有剧烈震荡只要没有 NaN稳定下跌都不用太焦虑。5. 常见问题排查训练发散、过拟合与推理慢六个实测踩坑记录这一章的每一条都是实际运行源码时遇到过的翻车现场按「现象、原因、解决」的顺序记录方便你在复现时对照排查。5.1 Loss 变成 NaNweight decay 把归一化层压爆了现象训练前几步 loss 正常到第 3 轮左右打印出来的 loss 就成了 nan模型输出 logits 出现极值。原因AdamW 的 weight decay 传给了所有参数LayerNorm 的 gamma 和 bias 被持续压缩归一化输出尺度失衡注意力 logits 指数爆炸。ViT 比 CNN 更容易踩这个坑因为 Transformer 里 LayerNorm 数量多且起着关键的尺度控制作用。解决把所有一维参数和归一化层的 weight decay 置为 0也就是前面代码里那个if param.ndim 1的判断。改完重新跑loss 全程没有出现 nan。从那以后我拿到任何 ViT 训练脚本第一件事就是检查 weight decay 是不是错杀了 norm 层。5.2 推理时换分辨率Rank-1 直接掉 10 个点位置编码的尺寸不匹配现象训练用 256×256推理脚本默认加载 224×224没报任何错误但 Rank-1 从 86 掉到 76 左右mAP 也同步缩水。原因位置编码插值代码只在训练前执行了一次推理时加载的是新分辨率的位置编码但数据预处理又改回了 224。patch 数量从 256 变成 196位置编码和 token 对应关系错位自注意力看到的空间结构一片混乱。解决强制统一训练和推理的输入分辨率并在推理脚本里加一段断言检查输入 patch 数和模型位置编码长度是否一致。不要指望模型自己能适应这种变化车辆尾部结构对位置信息非常敏感错一个像素都可能把两辆同款车对调。5.3 强增强从第一个 epoch 就开验证集 mAP 在 40 轮后掉头现象训练 loss 持续下降验证 mAP 前 30 轮缓慢上升40 轮后开始走低出现了典型的过拟合曲线。尝试加大正则化也没有改善。原因车辆数据量本来就不大前期强增强会让 RandomErasing 抹掉大量关键车身区域模型被迫记忆没被擦掉的局部碎片反而丢失全局结构。ViT 本身参数规模大对这种错误学习方向吸收得很快。解决按源码的分阶段策略前 50 轮只用翻转裁剪后 30 轮切换到强增强。切换之后验证 mAP 重新抬头最终比全程强增强高出 3 个多点。我的习惯是每 10 个 epoch 存一个 checkpoint方便找到过拟合的起点。5.4 白色轿车互相误判样本不均衡和标签平滑的叠加效果现象白色的同款轿车两两之间检索结果极差反而是跨颜色的不同车型排在最前面模型似乎学会了「颜色优先」而不是「身份优先」。原因训练集里白色车数量远多于其他颜色交叉熵天然偏向高频类别标签平滑如果设到 0.2 以上又进一步模糊了 ID 之间的边界把同色不同车的决策面抹平了。解决先做类别数量统计把严重超采样的小类别复制增广PK-Batch 采样本身已经缓解了这个问题但要确保每个 batch 中不同 ID 的样本数对齐。标签平滑从 0.1 降到 0.05Rank-1 能提 1 到 2 个点。5.5 开启同步 BN 后结果每轮上下乱跳复现性很差现象单卡训练时结果稳定换成两张卡并开启 sync BN每轮验证的 Rank-1 波动有 2 到 3 个点明显不稳定。原因车辆数据跨摄像头曝光差异大每个卡上 batch 内 BN 统计量不一致sync BN 把不同卡的统计量强行融合反而放大了噪声。ViT 对 BN 统计的敏感度比 CNN 高因为自注意力层之间的标准化直接影响梯度传播。解决在车辆 ReID 场景不要开 sync BN保持每卡独立 BN 即可。如果实在想提升 batch 大小用梯度累积替代效果更可控。推理时再单独过一遍全量统计确保和训练分布一致。5.6 半精度推理掉了两个点自注意力的累积误差比卷积更明显现象模型导出半精度后Rank-1 掉了约 2 个点而普通 CNN 量化基本不掉点。换回单精度一切正常。原因Transformer 的 softmax 和 LayerNorm 对数值范围敏感半精度下矩阵乘累积误差在长序列上被放大尤其车辆细粒度特征的差别本来就只有几个像素级别误差一叠加就把边界抹平了。解决如果你需要提速优先只量化卷积和全连接层Transformer 核心层保持 FP32 或 FP16或者用积分量化校准数据集做一遍校准别直接用默认的量化配置。对车辆 ReID 这种检索任务我宁可接受慢 10% 也不接受 Rank-1 掉点。6. 一个小技巧用「错配矩阵」判断模型到底在看颜色还是在看车型训练完不要只看 Rank-1 和 mAP 就收工。我每次评测都会额外统计 top-10 误配对按「同款不同 ID」「同色不同款」「完全无关」三类计数形成一个简单的错配矩阵观察表。这三类误配各有含义同款不同 ID 占多数说明模型已经抓住了车型结构但区分不了两个同款个体应该增大 hard triplet 的难度或者提高特征维度同色不同款占多数说明模型偷懒用了颜色作为强线索需要在增强里加入灰度化和更强的颜色扰动如果完全无关的误配量大那大概率是训练数据或标签有错先去查数据流水线。我在 A 同学的项目里就见过一个典型情况模型 mAP 看着不错但错配矩阵里「同色不同款」占到了误配的 60%。加上灰度化增强和亮度扰动之后同色误配明显下降mAP 的核心指标反而更扎实。这个检查表没有任何额外成本只需要在测试脚本里加 20 行统计代码。另一个习惯是固定随机种子同一套配置连续跑 3 次取 Rank-1 的均值和标准差。如果标准差超过 1.5%不是模型的问题是训练流程里还有随机性没锁住常见在于数据加载的 shuffle 顺序和 PyTorch 的 cuDNN benchmark。把torch.backends.cudnn.benchmark固定下来再复跑波动才真正反映模型的性能边界。从那以后我每次拿到新数据集都强制先做一次错配统计和多重随机验证再决定要不要调整模型希望帮到你。本文还有配套的精品资源点击获取
