做多目标跟踪MOT的开发者大概率都和我一样曾经把卡尔曼滤波和匈牙利算法当成必须背下来的名字却在项目里只知道调用现成代码。这两个算法听起来吓人实际拆开一个负责“猜位置”一个负责“配对”。检测器给你一堆没有身份的框卡尔曼滤波告诉你历史轨迹这帧大概在哪匈牙利算法再把检测框和预测框做最优对应最终让每个目标拿一个稳定ID。这篇文章我会从MOT的整体流程讲起把两个算法的数学思想、工程实现和调参踩坑一次说清。适合刚接触跟踪的读者也适合已经跑通SORT/DeepSORT但被ID Switch和飞框折磨的开发者。1. MOT流程拆解卡尔曼滤波和匈牙利算法为什么总是一起出现1.1 MOT到底在解决什么问题从检测框到轨迹ID多目标跟踪MOT要处理的不是单目标锁定而是视频里同时出现多个目标时如何让输出同时包含位置和身份。单目标跟踪通常在第一帧给定目标框后续帧不断跟随多目标跟踪则更常采用“检测关联”模式每一帧先由目标检测器给出边界框然后把这些框分配给已有的轨迹同时要处理新目标出现、旧目标消失、目标互相遮挡这些情况。你可以把轨迹想象成一条流水线上的工单每个目标从出现到消失的每一帧都要挂上同一个编号。漏检了轨迹不能立刻断遮挡了ID不能乱跳两个目标靠近再分开不能交换身份。这些问题背后最核心的计算就是当前帧这100个检测框和历史30条轨迹预测出来的30个位置应该怎样一一对应才不会出现混乱。这就是数据关联的原始需求。很多刚接触MOT的同学会问为什么不用ReID或者直接暴力匹配因为仅有匹配还不够检测器本身有噪声框的位置会抖动目标移动也是连续的。你需要一个“数学期望”来告诉匹配算法轨迹下一帧最可能在哪个位置以及这个预测有多大的不确定性。这个数学期望就是卡尔曼滤波。1.2 Tracking-by-Detection主流框架目前绝大多数MOT工作包括SORT、DeepSORT、ByteTrack、OC-SORT底层都是tracking-by-detection。流程高度相似第一步用YOLO之类的检测器处理当前帧图像得到每个目标的边界框、置信度有时候还有类别第二步取出上一帧已经确认的轨迹用卡尔曼滤波预测这些轨迹在当前帧的位置第三步把预测框和检测框放在一起计算一个代价矩阵第四步用匈牙利算法或它的变体完成轨迹和检测框的分配第五步根据分配结果更新轨迹状态或者新建/删除轨迹。下一帧重复这个过程。这个流程之所以能成为主流是因为它把检测和跟踪解耦检测器可以单独升级跟踪模块只负责建模“时序上的关系”。对比端到端联合跟踪模型tracking-by-detection实现简单、可解释性强工程上也更容易调优。只要检测器足够稳定跟踪效果基本就有了保证。另一个好处是卡尔曼滤波和匈牙利算法都是成熟且轻量的模块。卡尔曼滤波在CPU上跑一帧几十条轨迹的预测更新耗时可以忽略不计匈牙利算法对于几十乘几十的代价矩阵O(n³)的复杂度也完全够用。正因为计算量小它们才会被嵌入各种实时系统甚至移植到Qt、Java、嵌入式环境时核心逻辑也不用改变的只是语法。1.3 两个算法在框架中的分工要理解为什么这两个算法总是一起出现可以打个比方卡尔曼滤波是“领航员”匈牙利算法是“调度员”。领航员根据目标过去的位置和速度预测出当前帧它大概在哪里并给出预测的置信度调度员拿到所有领航员的预测位置和所有新上船的乘客检测框做一张花费表找出总花费最低的安排方案。领航员如果不准调度员看到的花费表就是错的匹配自然容易出错调度员如果不会全局优化只看局部最近邻那目标稍微拥挤一点就发生连锁错误。所以两者必须配合卡尔曼滤波提供可靠的候选位置匈牙利算法提供全局最优的匹配决策。这也是SORT系列论文反复强调的简单的关联策略配合好的状态估计就能在实时性上取得惊人的效果反过来光有复杂特征不解决预测和匹配的结构性问题效果也会打折扣。2. 卡尔曼滤波详解MOT中的运动预测与噪声平滑2.1 卡尔曼滤波的直观理解用不确定性做加权融合卡尔曼滤波在很多教程里被讲成一套高深公式但它的核心思想其实很朴素你手上有一个基于历史信息推出来的预测还有一个带噪声的观测两个都有不确定性那最优估计就是按不确定性大小做加权平均。如果一个来源更可信就给它的权重更大。这个过程不断迭代用当前最优状态预测未来再用未来的观测修正状态周而复始。用生活场景来类比你约了朋友在商场门口见面你想判断他还有多久到。根据他之前走路的速度你估了他5分钟后到但你正好看到朋友在马路对面大概300米远。这两种信息都不完美速度模型可能低估他跑的意愿你的眼睛也可能看错人。最后你心里的判断既不是完全按原预测也不是完全按看到的距离而是结合两者得出一个新估计。卡尔曼滤波做的就是这件事只不过把“结合”变成了数学上可证明最优的加权融合。在MOT里观测就是检测器输出的包围框。检测器虽然有深度学习加持但每一帧都可能抖动、偏移偶尔还会漏检。卡尔曼滤波正好利用目标运动的连贯性把检测框的随机噪声滤掉输出一条平滑的轨迹。你真要问它是不是“预测未来”它在跟踪中的主要作用反而是“今天的位置到底信谁多一点”。2.2 MOT状态向量如何设计位置、速度与边界框参数在SORT论文中每个目标的状态向量被定义为 x [u, v, s, r, u_dot, v_dot, s_dot]^T其中(u, v)是边界框中心的像素坐标s是边界框面积尺度r是宽高比后面带点的对应速度变量。还有一个常用替代方案是用中心点坐标、宽、高直接加速度 x [cx, cy, w, h, vx, vy, vw, vh]^T两种写法本质差别不大选哪种看跟踪器的视频分辨率和标注格式。第一种假设宽高比r基本不变适合行人这种长宽比例稳定的目标第二种更通用适合车辆、物品等宽高变化明显的目标代价是状态维度更高滤波器的自由度更大需要更多观测才能稳定收敛。状态转移矩阵F对应匀速运动模型。在帧间隔dt1时最简单的F写法是 F [[1, 0, 0, 0, dt, 0, 0, 0], [0, 1, 0, 0, 0, dt, 0, 0], [0, 0, 1, 0, 0, 0, dt, 0], [0, 0, 0, 1, 0, 0, 0, dt], [0, 0, 0, 0, 1, 0, 0, 0], [0, 0, 0, 0, 0, 1, 0, 0], [0, 0, 0, 0, 0, 0, 1, 0], [0, 0, 0, 0, 0, 0, 0, 1]]意思是每一帧位置 原位置 速度速度保持不变。这在帧率稳定、目标运动接近匀速的场景下非常好使。如果你要跟踪的是快速加减速的无人机或体育运动员可以改成恒加速度模型或者用扩展卡尔曼滤波EKF加入角度量测但MOT里匀速模型其实是性价比最高的起点。2.3 预测和更新公式F、H、Q、R配合工作卡尔曼滤波每一帧做两件事。先是预测 x_k F * x_{k-1} P_k F * P_{k-1} * F^T Q这里F是状态转移矩阵Q是过程噪声协方差代表你对运动模型的信任程度。P是状态协方差矩阵可以理解为当前估计的不确定度。预测阶段做完不确定度会变大因为模型不可能百分之百准确。然后是更新。当检测器给出一个观测z写成 K_k P_k * H^T * (H * P_k * H^T R)^(-1) x_k x_k K_k * (z - H * x_k) P_k (I - K_k * H) * P_kH是观测矩阵作用是从状态向量里取出能被观测到的量。比如你只观测中心点和宽高H就是4x8的单位块。R是观测噪声协方差表示检测框本身的噪声水平。K是卡尔曼增益它决定了预测和观测的权重配比。R很大时K变小滤波结果更信任预测R很小时K变大结果更贴近检测框。很多代码把Q和R写得非常草率随便给个固定矩阵就完事。实际上Q和R的比例直接决定了轨迹的“性格”Q大、R小轨迹跟手但噪声大Q小、R大轨迹平滑但反应迟钝。这个比例需要针对你的检测器和目标运动速度来调没有万能参数。2.4 一个可直接跑的简化卡尔曼滤波Python示例只看公式容易晕我写一个一维位置速度的简化版跑一遍就明白原理。假设目标在一维直线上运动状态是[位置, 速度]观测就是直接读到带噪声的位置。import numpy as np dt 1.0 F np.array([[1, dt], [0, 1]]) H np.array([[1, 0]]) Q np.array([[0.05 * dt, 0], [0, 0.05]]) R np.array([[0.5]]) P np.eye(2) * 100.0 x np.array([[0.0], [0.0]]) def predict(): global x, P x F x P F P F.T Q def update(z): global x, P y z - H x S H P H.T R K P H.T np.linalg.inv(S) x x K y P (np.eye(2) - K H) P measurements [1.2, 2.1, 2.9, 4.0, 5.1] for z in measurements: predict() update(np.array([[z]])) print(f滤波位置: {x[0,0]:.3f}, 速度: {x[1,0]:.3f})你会看到如果第一个观测是1.2滤波输出并不会直接跳到1.2而是介于初始预测0和观测1.2之间因为初始不确定性P很大所以第一个更新已经很接近观测。后面几帧预测值会逐步跟上速度也会从0收敛到接近真实速度。这个机制放到MOT里就是轨迹的预测框不会因为检测框的一两帧抖动而大幅跳动。这段代码只是为了演示核心逻辑MOT中你需要扩展为8维向量并处理好矩阵尺寸。如果阅读困难建议先在纸上把2维情况推导一遍再对照开源代码看8维版本会顺很多。2.5 Q和R调参实战平滑与跟手怎么平衡调试卡尔曼滤波先分清两个症状轨迹特别飘说明太信任检测框可以适当增大R或减小Q让滤波更平滑轨迹特别滞后目标已经转过去框还留在原地说明太信任预测模型需要适当增大Q或减小R让滤波更愿意跟随观测。但注意R并不是越大越好。R太大会让滤波器对真实运动反应迟钝尤其是在目标突然转向时预测框会严重落后于检测框匈牙利算法拿到这个偏位的预测框去匹配自然也配不准。所以实际调参时我习惯先固定R再按检测器的噪声水平估计一个大概值。比如用YOLO在1080p视频上检测行人边界框中心抖动通常在3到5个像素那R的对角元可以先设成255的平方再微调。过程噪声Q更抽象。它代表你没有建模进去的运动分量比如突然加速、转向、帧率波动。Q太小滤波器过于自信长期跟踪时P会收敛到很小新观测的影响被完全忽略这就是“滤波器锁死”Q太大滤波器又会变成纯观测失去平滑能力。常见做法是根据目标最大加速度来估计假设行人最大加速度是2 m/s²每个像素对应0.02米那速度变化的标准差大约是100像素/帧²Q的速度分量就可以设置成10000级别。这只是粗略思路最终还是要靠验证集上的MOTP和ID Switch来调整。另外扩展卡尔曼滤波EKF在MOT中偶尔出现主要用于目标运动模型包含非线性比如角度、转弯率的情况。但工程上我很少直接用EKF做多目标跟踪因为匀速线性模型已经能覆盖大部分场景EKF需要额外处理雅克比矩阵调参成本高收益却不明显。3. 匈牙利算法详解检测框与轨迹的最优分配3.1 把关联问题写成代价矩阵匈牙利算法处理的是一个组合优化问题假设有N条轨迹、M个检测框每条轨迹和每个检测框之间都有一个匹配代价目标是找到代价总和最小的匹配方案。在SORT中代价通常定义为1减去IoU两个框重叠越多代价越低重叠越少代价越高。把N条轨迹放在行M个检测框放在列就得到N行M列的代价矩阵。比如有两条轨迹和三个检测框 轨迹1与三个框的IoU分别是0.9、0.2、0.1代价就是0.1、0.8、0.9 轨迹2与三个框的IoU分别是0.1、0.6、0.3代价就是0.9、0.4、0.7。理想情况下轨迹1匹配框1轨迹2匹配框2总代价0.10.40.5。如果只按贪心算法先处理轨迹1选代价最小的框1再处理轨迹2从剩下两个里选也能得到0.5看起来没区别。但换个矩阵贪心很容易出问题轨迹1和轨迹2都离框1很近但只有一条轨迹需要保留另一条该配一个稍远的框。贪心先抢走框1可能导致第二优分配完全错乱。匈牙利算法能保证在全局代价最小的情况下做分配不会因为局部选择影响整体。代价矩阵不一定是方阵。轨迹数3检测数5匈牙利算法会分配最多min(N, M)对剩下的轨迹或检测框进入未匹配状态。这也是多目标跟踪中常见的情况有新目标出现时检测框数量多于轨迹有遮挡漏检时轨迹数量多于检测框。3.2 匈牙利算法怎么做最小匹配匈牙利算法又叫Kuhn-Munkres算法基于二分图匹配。步骤粗略可以概括为第一步对代价矩阵每一行元素都减去该行的最小值。第二步对每一列也做同样操作。这样每行每列至少出现一个0。第三步用尽量少的水平线和竖直线覆盖所有0元素。如果覆盖线数量等于矩阵的较小维度就能从0元素中选出一组互不冲突的位置作为最优分配否则在未覆盖区域找到最小值让所有未覆盖元素减去它再给交叉点元素加上它重复第三步。听起来抽象但核心是通过行列变换把代价矩阵中的相对高低关系暴露成0的位置所有匹配都尽量落在0上。这个变换过程不会改变最优分配只会让最优方案浮出水面。对于N×N矩阵算法复杂度O(n³)在MOT中几十条轨迹完全够用。如果轨迹数和检测数能到几千就需要尝试稀疏化或者贪心预分配了但这是另一个话题。在实现层面我基本不手写这个算法Python直接用scipy.optimize.linear_sum_assignmentC可以找现成的Munkres实现Java也有类似的匈牙利算法库。重点不是背实现步骤而是理解它解决的是全局最优分配以及代价矩阵怎么构造。遇到Qt Creator工程需要集成直接把匹配逻辑封装成一个类输入代价矩阵输出匹配索引即可和界面层完全解耦。3.3 用SciPy一行完成最优分配下面是标准用法import numpy as np from scipy.optimize import linear_sum_assignment cost_matrix np.array([[0.1, 0.8, 0.9], [0.9, 0.4, 0.7], [0.5, 0.6, 0.2]]) row_ind, col_ind linear_sum_assignment(cost_matrix) for r, c in zip(row_ind, col_ind): print(f轨迹 {r} 匹配 检测框 {c}代价 {cost_matrix[r, c]:.2f})需要注意几点linear_sum_assignment默认求最小和如果你用相似度矩阵要取负数或转成距离矩阵它返回的行列索引是不重复的但不会帮你做阈值过滤。工程上必须再加一句只有代价小于阈值的匹配才真正接受否则宁可让轨迹进入未匹配状态也不能硬把一个差异巨大的检测框塞给轨迹。阈值怎么定我用IoU代价时通常设在0.5到0.7之间即IoU大于0.3到0.5但这和帧率、目标速度强相关。帧率越高、目标移动越小阈值可以更低一些因为预测框和检测框重叠本来就高低帧率视频要适当放宽避免因为重叠率下降造成大量漏配。3.4 代价函数如何选IoU、马氏距离与外观特征匈牙利算法只负责在给定代价矩阵上做最优分配真正决定效果的是代价矩阵里的数字怎么算。SORT直接用IoU距离好处是计算快、对尺度变化不敏感坏处是一旦目标暂时遮挡或检测框抖动IoU可能瞬间很低轨迹匹配不上。DeepSORT改用马氏距离加余弦距离马氏距离衡量卡尔曼预测框和检测框的归一化差异余弦距离衡量目标外观特征ReID特征的相似度。两者通过加权系数组合。马氏距离的好处是考虑了协方差矩阵P知道预测框每个维度的不确定度不会因为某个维度方差特别大而过度惩罚。比如目标被长时间遮挡后位置不确定性很大马氏距离会自动加权不会强行要求检测框和预测框完全重合。外观特征则能在目标重新出现时找回原来的ID缓解遮挡后的ID Switch。实际项目中如果目标外观区分度高不同人的衣服颜色差异大可以加重外观特征的权重如果目标外形高度相似比如一群白色羽毛球运动员外观特征反而会引入错误这时候更依赖运动模型和IoU。没有一个代价函数通吃所有场景调试时最好把代价矩阵打印出来看看哪些匹配是真正容易混淆的。4. SORT/DeepSORT实战卡尔曼滤波和匈牙利算法如何协同工作4.1 SORT全流程解析SORT是“Simple Online and Realtime Tracking”的缩写它的设计目标就是极简用卡尔曼滤波做运动预测用匈牙利算法做IoU匹配用简单的轨迹状态管理处理生命周期不引入任何外观特征。2016年提出时它用更低的计算量在MOT数据集上接近当时的state-of-the-art核心贡献就是证明了在MOT中精心设计的关联流程比复杂的表观模型更关键。SORT每一帧的流程可以拆成六步对每条confirmed轨迹执行卡尔曼预测得到当前帧的预测状态。用预测状态生成预测框。计算每个预测框与每个检测框的IoU代价矩阵。执行匈牙利算法得到初步匹配结果。对超过IoU阈值的匹配结果置为无效计为未匹配。匹配成功的轨迹用检测框做卡尔曼更新没有匹配到的检测框新建轨迹没有匹配到的轨迹先标记为丢失连续丢失超过阈值比如30帧就删除。因为SORT假定目标做匀速运动在目标突然加速或遮挡严重时预测位置会偏离IoU匹配就容易失败。但它的实时性极好很多实际项目仍然以它作为基线。你在自己的工程里从SORT开始拿到ID Switch和MOTA指标再逐步加复杂度是更稳妥的路线。4.2 DeepSORT的级联匹配改进DeepSORT在SORT上做了两个关键改动一是用外观ReID特征计算余弦距离和运动马氏距离一起组成混合代价二是引入了级联匹配按轨迹上一次出现的时间排序优先给更“新”的轨迹分配检测框。为什么需要级联匹配考虑一条轨迹被遮挡了10帧它上次更新是在10帧前卡尔曼滤波一直在预测但没有任何检测框来修正预测框的不确定性已经很大。如果它和一条上一帧还正常更新的轨迹同时去匹配检测框正常轨迹的预测框更准代价更小理应优先匹配。级联匹配通过把轨迹按连续丢失帧数分组依次做匈牙利匹配避免旧轨迹因为马氏距离惩罚被漏掉或抢走本该属于新轨迹的检测框。DeepSORT还引入了更细的轨迹状态机新检测框创建一条Tentative轨迹连续匹配上几帧后才变成ConfirmedConfirmed轨迹连续丢失多帧后删除。这样能过滤掉单帧误检造成的假轨迹也避免因为一帧漏检就删掉真实轨迹。代价矩阵中未确认的轨迹通常不参与匹配减少了很多早期误配。4.3 一个极简的跟踪循环示例下面的代码不是完整工程但能演示卡尔曼滤波和匈牙利算法在一个跟踪循环里的协作关系from scipy.optimize import linear_sum_assignment import numpy as np def track_frame(detections, tracks): # 1. predict for t in tracks: t.predict() # 2. build cost n_trk, n_det len(tracks), len(detections) if n_trk 0 and n_det 0: cost np.zeros((n_trk, n_det)) for i, t in enumerate(tracks): for j, det in enumerate(detections): cost[i, j] 1 - iou(t.pred_bbox(), det.bbox) # 3. assign row_idx, col_idx linear_sum_assignment(cost) matched set() for i, j in zip(row_idx, col_idx): if cost[i, j] 0.5: tracks[i].update(detections[j]) matched.add((i, j)) # 4. handle unmatched matched_trk {i for i, j in matched} matched_det {j for i, j in matched} for i, t in enumerate(tracks): if i not in matched_trk: t.mark_missed() for j, det in enumerate(detections): if j not in matched_det and det.conf 0.5: tracks.append(create_track(det))为了可读性我用了你想象中的Track类但代码逻辑就是SORT的核心。注意两点阈值0.5可以改成动态值新建轨迹时一定要给卡尔曼滤波器一个合理初始速度否则第一帧预测会从速度0开始后续可能要花好几帧才能收敛。4.4 轨迹状态机怎么管理轨迹状态管理是很多人忽略的部分。简单跟踪器里每条轨迹无非是“存活”和“删除”SORT更进一步用“未确认”和“确认”来区分真目标和瞬时误检。一个检测框刚出现时如果你立刻给它分配ID下一帧如果检测器没输出比如误检消失就会产生一条条假轨迹拉低指标。标准做法是新检测框创建轨迹后先进入Tentative状态只有连续匹配上若干帧比如3帧才转为Confirmed。Confirmed轨迹如果丢失帧数超过阈值比如30帧就删除Tentative轨迹一旦丢失就立刻删除。这样的状态机可以让卡尔曼滤波只维护真正值得维护的目标减少无意义的预测计算也避免给匈牙利算法送入大量噪杂的候选轨迹。这里还有个细节匹配成功时卡尔曼更新用的观测应该是检测框而不是预测框匹配失败时只是让滤波器继续预测不要用一个假想位置去“修正”它。很多人为了让轨迹不消失在遮挡期间强行给滤波器塞一个自己编的观测结果就是轨迹往奇怪方向漂移等真实目标重新出现时预测框早跑到不知哪里去了。5. 多目标跟踪调优常见问题与避坑指南5.1 ID Switch频繁先查这三个地方ID Switch是最让人头疼的问题明明检测器输出很好轨迹ID却在两个目标靠近时突然互换。排查时我一般按顺序检查三处。第一检测器是否有漏检和抖动。用断点查看连续几帧的检测框如果目标框忽大忽小卡尔曼滤波的状态就不稳定匈牙利算法自然很难配准。第二卡尔曼滤波参数是否和实际运动匹配。如果视频帧率较低目标在两帧之间移动距离大匀速模型预测误差就会变大IoU代价持续很高导致轨迹和检测框无法对上。第三匈牙利匹配的阈值是不是太宽松。阈值太宽会把明明差异很大的检测框也分配给轨迹造成ID交换。你可以打印出每条轨迹匹配前后代价的分布看看哪些匹配是卡在阈值边缘的。如果这三处都没问题再考虑换成DeepSORT或ByteTrack这类带外观特征和多假设的跟踪器。但记住强化跟踪器前先把检测器和状态估计调好否则特征模型再强也补救不了输入噪声。5.2 卡尔曼滤波“飞框”和发散怎么处理飞框是很多SORT新手遇到的经典问题轨迹预测框突然跳到画面很远的地方甚至速度值变成几百。原因往往很简单初始化时没有合理设置状态向量。如果你创建一个轨迹时把速度全设成0检测框又正好有误检抖动卡尔曼滤波可能会用一次异常大的观测差把速度更新得很大然后在后续没有观测的时候按这个错误速度外推框就飞了。解决办法有几个。第一在新建轨迹时可以用连续两帧的检测框差分估计初始速度不要从0开始第二给速度更新设置上限或者用更小的Q限制速度的剧烈变化第三在预测阶段检查预测框是否跑到图像边界外如果连续多帧没有任何检测框匹配就不要无限制外推超过丢失阈值尽早删除。另一个容易被忽视的问题是状态协方差P。如果P初始化过小滤波器会很自信遇到真实速度变化时反应不过来如果P初始化过大前几帧会剧烈跳动。一般初始P设置成单位阵乘一个较大系数比如10或100让滤波器先相信观测再逐步收敛。5.3 匈牙利分配错乱遮挡场景怎么扛遮挡是数据关联的天然敌人。两个目标擦肩而过时它们的检测框可能重叠在一起IoU代价都很低匈牙利算法很容易把轨迹A匹配给检测框B轨迹B匹配给检测框A导致ID交换。纯几何匹配解决不了这个问题必须引入额外信息。第一种做法是用外观特征。DeepSORT的ReID特征就是干这个的即使两个框位置几乎重合只要外观特征余弦距离明显不同就能把正确对应关系拉回来。第二种做法是门控对每条轨迹只在它周围一个椭圆范围内允许匹配超出范围的检测框直接标记为不可匹配这样避免远端误配。第三种做法是延迟决策对低置信度的匹配不立即更新而是保留多个假设等后面几帧信息更充足时再做决定。ByteTrack则采用低分框二次匹配的思路先把高置信度检测框匹配完再用低置信度框补漏能显著降低遮挡带来的漏配。但要注意这些改进都会带来额外计算和实现复杂度。如果项目只是简单场景先把遮挡轨迹的丢失阈值调大一点让目标在遮挡结束后还能回到原轨迹比引入复杂模型的性价比更高。5.4 实用调优阈值、特征与评估指标最后给出一套我在项目里反复使用的调优路径。第一步先固定检测器用带GT标签的验证集把检测器的混淆矩阵看明白确定漏检率大概在多少。第二步从SORT基线跑起统计MOTP、ID Switch、FPS。第三步把卡尔曼滤波的Q、R和匹配阈值做成可配置参数用网格搜索或手动扫一组范围观察ID Switch和MOTA的变化。第四步如果某些遮挡场景始终调不好再叠加外观特征或级联匹配。评估指标上MOTA反映整体跟踪质量但是它对检测错误和ID Switch的惩罚混在一起单看MOTA不够。IDF1更关注ID保持能力适合判断卡尔曼滤波和匈牙利算法调的到底好不好。MOTP则衡量位置精度如果你发现MOTP很高但ID Switch多说明检测框质量不错但关联逻辑有问题这时候优先检查代价函数和匹配阈值。还有一条经验所有参数在服务正式场景前一定要覆盖目标密度高、遮挡多、光线变化大的视频段。只在简单视频上调试容易调出“看起来很好但一上线就崩”的参数。调好的参数最好也做成动态的比如根据目标密度调节匹配阈值比一套参数走天下要稳得多。我个人的体会是卡尔曼滤波和匈牙利算法在MOT里的地位就像操作系统里的调度和内存管理平时不觉得一旦出问题几乎所有上层模块都会跟着崩。做多目标跟踪先静下心来把这两个基础模块搞清楚远比直接堆更花哨的网络结构重要。调试的时候多打印几条轨迹的预测框、检测框和代价矩阵多盯着视频可视化看几遍很快就能找到手感。希望这篇内容能帮你少走点弯路。
