低保证图片样本(CVPR2018 跟踪视觉目标SiameseRPN)

CVPR2022跟踪视觉目标SiameseRPN

大家好，CVPR2022网站已经挂了SiameseRPN的论文，见

欢迎大家cite：低保证图片样本

@InProceedings{Li_2022_CVPR,

author={Li,BoandYan,JunjieandWu,WeiandZhu,ZhengandHu,Xiaoli
,

title={HighPerformanceVisualTrackingWithSiameseRegionProposalNetwork},

booktitle={TheIEEEConferenceonComputerVisionandPatternRecognition(CVPR)},

month={June},

year={2022}

据我们所知，这是第一次超过性能state-of-the-art基于相关滤波Siamese网络结构的跟踪算法。(这句话怎么这么绕，大佬们帮我理智，说白了，速度是500倍以上CCOT,性能超越CCOT）。

一些有趣的点：低保证图片样本

1，RPN引入使我们的网络处于tracking不需要多尺度测试，不仅提高了速度，而且回归的框架也更准确。你可以看看paper中vot的accuracy指标。

2，众所周知，tracking没有设计好的训练集，在Siamese这个问题在网络上尤其严重。VID还是太小了，我们在paper中用到了YouTube-BB数据集（20w+视频片段，50倍VID）。

3，在tracking在这个阶段，我们的方法自然可以解释为one-shot-learning的形式，formulation在paper详细说明。

4，目前的趋势表明，低保证图片样本

在vot比赛real-time基于的任务Siamese网络的tracker很占优势，long-term任务也是如此。

========================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================

这两天实验室事情太多了。一周要赶4、5个DDL,等我赶完DDL,一定要回来继续更新。如果不更新，汪汪！

6月11更新：

所以我还是想要鸽子。但是我把解读(和我一起写)放在这里，哈哈哈

设计思想训练框架--Siamese网络

--RPN

--构成训练数据

跟踪框架实验结果

本文主要通过端到端的深度学习框架实现高性能的单目标跟踪算法。现有的单目标跟踪算法很难兼顾性能和速度，只能占据一定的指标。本文使用双胞胎（Siamese）网络和区域候选网络（RegionProposalNetwork），构建了高速高性能的单目标跟踪算法。总的来说，算法分为Siamese提取网络和特征RegionProposalNetwork子网两部分。两者通过卷积操作升维，统一在端到端框架内。在训练过程中，算法可以密集标记（VID）和稀疏标注（YoutubeBB）训练数据集。与现有方法相比，稀疏标记的数据集大大增加了训练数据源，从而更充分地训练深度神经网络；RegionProposalNetwork坐标回归可以使跟踪框更准确，节省多尺度测试的时间。在实验中，这种跟踪算法可以保持高速（160fps），在VOT2015和VOT2016在数据集集state-of-the-art的结果。

设计思想视觉跟踪领域主流的实时跟踪方法是SiameseFC双胞胎网络结构，SiameseFC网络非常简单。图像的特征可以通过相同的网络提取，模板和搜索区域中的相关操作方法可以快速实现17x17比较输出的小图像17x17响应图相当于每个位置与模板帧的相似性。SiameseFC有以下缺陷：首先由于没有回归，网络无法预测尺度上的变化，所以只能通过多尺度测试来预测尺度的变化，这里会降低速度。其次，为了获得更高的精度位置，输出对应图的分辨率相对较低，SiameseFC将分辨率放大16倍，达到与输入尺寸相似的尺寸。

在本篇论文中，我们提出了SiameseRPN框架推荐网络引入物体检测领域（RPN），通过网络回归避免多尺度测试，一方面提高速度，另一方面获得更准确的目标框，通过RPN回归可以直接获得更准确的目标位置，无需插入值即可获得最终结果。在训练过程中，我们引入了大规模的视频数据集Youtube-BB训练，比较SiameseFC使用的VID数据集，Youtube-BB视频数量增加了50倍左右，保证了网络能够得到更充分的训练。

上图为SiameseRPN培训框架：左侧是双胞胎网络，用于提取特征；中间是区域推荐网络，包括分类分支和回归分支。最终输出是通过成对的相关操作来获得的。右侧显示了输出通道的细节：在分类分支中，输出特征图包含2k通道，分别表示k锚点前景背景分数；在回归分支中，输出特征图包含4k通道，分别表示k预测锚点坐标偏移。*表示相关操作。

--Siamese网络

在双胞胎网络中，本文采用了未填充的全卷积结构。用于提取图像特征的双胞胎网络分为两个分支。接收模板帧的小图为模板分支，接收当前帧的图像为检测分支。只有两个网络输入不同，权重参数完全相同。因此，两个网络可以隐藏相同的编码变化，非常适合跟踪任务。

在SiameseFC在中国，网络只需要根据相关操作结果获得响应图来预测目标的位置。为了引入区域推荐网络进行准确的位置预测，网络必须做出相对较大的改变。根据区域推荐网络在测试中的经验，如果有k锚点需要分类分支输出通道数2k回归分支输出通道的特征图为4k特征图。因此，在进行相关操作之前，算法需要增加通道数量。图3中间部分从上到下的第1和3个卷积是用于提升维度的卷积。同时，为了对齐网络的深度，也将使用第2和4个卷积，但通道数量没有变化。然后，以上述相关操作的描述方式进行相关操作。

训练阶段，Siamese从ILSVRC和Youtube-BB中间选择一个随机间隔。模板和检测帧的图像来自同一视频中同一物体的两帧。在一定间隔内使用图片作为样本，并在帧间隔较远时学习目标的变化。然而，过长的间隔可能会使目标变化过大，网络可能很难学习这种变化，甚至可能会带来负面影响。因此，在实验过程中，不到100帧的图片被用作样本，而不是从视频中选择两帧作为图片。

尽管视频数量Youtube-BB会远大于VID，但VID包含Youtube-BB不包不包含的高帧率。这里的网络需要细粒度的转换(由VID数据集获取)，需要从更大数量级的视频中学毕业证书学习更通用的特征和变化(通过Youtube-BB学习)，所以两个数据集都很重要，训练过程中数据的比例需要调整。在本论文的算法中，VID和Youtube-BB比例为1:5。

我们训练了不同数量视频的训练集SiameseRPN。如上图所示，最左边的点表示只使用VID作为一个训练集，可以看出，随着数据的不断增加，在VOT2015和VOT2016性能不断提高，Youtube-BB引入数据集的转移算法VOT2016上的EAO从0.317提升到了0.344，超过VOT2016的冠军CCOT。从曲线趋势来看，性能并没有达到饱和。这表明，如果有更多的数据集，模型的精度就会更好。这反映了这种数据驱动算法的优点。当大量的跟踪数据集出现在跟踪和其他计算机视觉领域时，深入学习这种数据驱动算法可以通过增加数据获得更好的性能，而传统的过滤方法没有离线训练，也不能使用大量的跟踪数据。

与培训过程不同，网络的两个分支在测试过程中被拆卸，模板分支只在模板帧前传输，只有测试分支将在每试分支。模板帧计算并保留两个特征图。测试分支只需保留这两个特征，不再需要模板帧的前传输。

为了保证模板的准确性，我们在测试过程中始终保持第一帧为模板，以防止跟踪过程中的误差进行不断的累积。当只需要在第一帧中制作模板时，可以根据输入的图像将网络分成两个小网络。模板分支在第一帧中根据模板图像提取两个特征，只在后续帧中进行测试分支。如上图所示，模板分支只在第一帧中输入模板帧，以获得两个特征向量。根据培训框架的描述，跟踪器将这两个特征向量转换为两个Bias卷积层，即图中两个用粗线双箭头连接的Conv和特征。经过这样的变化，检测分支变成了一个简单的检测网络。特征提取网络后，分别通过两个卷积层获得最终分类结果和回归结果。根据网络的输出，可以得到网络预测的所有框架及其相应的分数。加权后的分数可以通过高斯窗口和形状的抑制来选择分数最高的对应框，即作为最终网络预测的目标位置。

--VOT2015结果

VOT2015数据集中包含60段视频。在测试过程中，当VOT当工具包发现跟踪结果与实际目标位置的重合度为0时，将重启跟踪器。因此，需要从精度和鲁棒性两个方面来评估跟踪算法的性能。精度是指跟踪过程中的平均重合，而鲁棒是用来衡量这60段视频中跟踪算法的丢失次数。VOT又提出了EAO以两个指标为排名依据。

如图所示，SiameseRPN在速度极高的情况下保持性能领先，在速度和精度上领先第二。

--VOT2016结果

VOT2016的数据集和VOT2015是一样的，但在2016年，VOT组委会更改了标记规则，从原来的外接框改为现在的分割，然后计算出最佳矩形框。更改标记规则后，框变得更加紧凑，因此跟踪算法更容易丢失。

在VOT2016本文提出的算法与列表中前25名的算法进行了比较。双胞胎区域网络仍然可以在每个算法中获得第一名。正如图所示4.3-1如中所示，双胞胎区域网络跟踪算法可以在速度上160FPS排名第一。这是速度VOT2016冠军CCOT的500倍。

--VOT2017real-time结果

在VOT2017其中，数据集中的十个最简单的视频被十个更困难的视频所取代。时，实验增加了一个新的实时比赛，即跟踪算法必须能够在一秒钟内恒定处理20帧。具体为VOT工具包每隔一次50ms写一个结果。如果跟踪算法处理了当前帧的结果，工具包将写下跟踪结果；如果未处理当前结果，工具包将写下最后一帧的结果。这样做导致速度慢的跟踪算法在处理结果后可能会丢失大量帧，无法找到目标并失败。

在实时比赛当中，本文对比了参加比赛的一些排名比较靠前的实时算法。CSRDCF 是CSRDCF的C 版本实现的速度比较快VOT2017唯一的实时名单超过了0.2跟踪算法。本文的算法在实时列表中排名第一，0.24成绩比第二名好CSRDCF 比3点高，同时比SiameseFC，real-time榜单的冠军（CSRDCF 为组织者提供算法，不参与奖励），本文的算法增加了6点。这也有效地证明了本文的算法可以在保持高精度的同时保持非常快的速度。

--O
TB2015结果

{n}

OTB由跟踪社区经常使用的视频中挑选出的100段视频组成。O