阅读笔记-Evaluation Multiple Object Tracking Performance-The CLEAR MOT Metrics

Abstract

原发表于CLEAR，参考之前笔记MOT16

多目标跟踪问题的评价指标应该能够评估三个方面：

目标是否都及时的找到。
目标跟踪到的位置和真实位置一致性程度。
是否能够保持跟踪的一致性。

另外作为metric的还需要具有的基本特点：

参数（可调节的阈值等）需要尽可能的少，从而使评估简单直接，方法对比性较强。
尽可能直观，易解释。
应该具有较好的普适性，比如适应2D和3D的情况。
指标个数尽可能少，每个指标都具有较高表达能力。

于是本文提出了CLEAR评估指标系统，用于评估MOT方法

CLEAR

假设每一帧中目标为$\{o_1, o_2, …, o_n\}$, 跟踪假设为$\{h_1, h_2, …, h_m\}$, 检测结果为$\{d_1, d_2, …d_k\}$。跟踪假设和检测不同，跟踪假设是算法跟踪出来的结果。于是评价过程有以下基本步骤：

建立假设和目标之间的对应关系。
对所有的对应关联关系，计算位置偏差，即一致性程度；
计算跟踪的累积结构误差：
- 计算漏检数 FN
- 计算虚警数 FP
- 计算发生跳变数 IDs

实现过程

确定依赖关系。通过假设与目标之间的距离判断是否关联，比如选择IOU作为相似度指标，然后给定阈值$\tau$，采用匈牙利算法对匹配进行关联，之后将超出阈值的关联剔除，剩下的就是最终的依赖关系。如下图

注意MOT中这个匹配还不完全是这样的，MOT更注重一致性，所以假设第$t$帧有关联$o_i, h_j$ , 第$t+1$帧关联$(o_i, h_k) < (o_i, h_j)<\tau$这时候依然选择$(o_i, h_j)$. 如下图在$t+2$时刻，虽然$(o_1, h_2)$更匹配，但是为了连贯性，依然选择匹配$(o_1, h_1)$

IDKeep

一致性刻画。追踪一致性能力就是指追踪器使追踪假设和对应目标长时间保持对应关系不变的能力。

一致性度量有两种方式可选。第一种是选择真实轨迹的一条最优匹配跟踪结果，然后其他的匹配都认为是错误匹配，记为IDs，如下图所示

case1中认为红色的是成功匹配轨迹，于是错误数为2，同理case2中错误数为4.

但是这种方式有时候不符合常理，我们更应该关注的ID发生转变的那一刻，而不是跳变后带来的影响。比如case2中，两个跟踪轨迹都挺长，采用上一种方式就不合理。所以文章采用了第二种方式，即只统计跳变的次数。具体而言，某一时刻的tid与之前最近的tid不同则认为发生了跳变。
指标计算过程
- 计算第$t$帧中， $t-1$时刻存在的关联$(o_i, h_i)$关联是否依然有效。
- 对于不再有效的关联，在新的假设中寻找最有匹配，此时选择的策略是IOU最小。该过程中可以统计IDS发生的次数：若出现新的 $ (o_i, h_j)$不在历史匹配中，则认为发生一次跳变，将$(o_i, h_j)$替代之前的$(o_i, h_i)$, 该时刻的ids记为$mmr_t$。
- 找到所有帧的关联后，统计所有匹配个数$c_t$, 计算每一个匹配的匹配距离$d_t^i$.
- 剩下未匹配的假设和目标分别记为虚警和漏检$m_t, fp_t$, 并用$g_t$表示当前时刻真正目标的个数。
- 从起始帧逐帧计算上述变量，最终统计下面的指标
  $MOTP = \frac{\sum_{i,t}d_t^i}{\sum_tc_t}$
  即所有匹配的平均距离，该值使用IOU时取值越大越好，一般范围在$0.50\sim1$之间，因为$IOU>0.50$的才认为是正确匹配。
  $MOTA = 1-\frac{\sum_t(m_t+fp_t+mmr_t)}{\sum_tg_t}$

 其中$\frac{\sum_tm_t}{\sum_tg_T}, \frac{\sum_tfp_t}{\sum_tg_t}, \frac{\sum_tmmr_t}{\sum_tg_t}$分别表示总体的漏检率，虚警率和跳变几率。 MOTA的取值范围在$(-\infty, 1)$之间， 越大越好。

注意， MOTP，MOTA都是整体过程的均值，而不是每一帧均值之后的平均值，两个之间差别还是挺大的。如下图所示，一个8帧的数据，前面4帧都被漏检，第五帧开始只有第4个目标匹配成功，这样助阵计算漏检率的话， $(1 \times 4 + 0 \times 4)/8=0.5$, 而如果统计整个跟踪过程在计算漏检率为$\frac{4\times 4}{20}=0.8$。显然采用整体过程更合适。

Conclusion

论文在CLEARs workshops上使用提出的两个metric评价了不同的track system，发现

the proposed metrics indeed reflect the strengths and weaknesses of the various used systems in an intuitive and meaningful way, allow for easy comparison of overall performance, and are applicable to a variety of scenarios.