近年来，依靠深度学习技术的受监督和无监督的深层跟踪器很受欢迎。但是，他们要求高计算复杂性和高内存成本。在这项工作中提出了一个绿色的无监督的单对象跟踪器，称为Gusot，旨在针对资源受限环境下的长视频对象跟踪。Gusot建立在基线跟踪器UHP-SOT ++上，它适用于短期跟踪，其中包含两个附加的新模块：1）丢失的对象恢复，以及2）基于颜色的形状建议。它们有助于解决跟踪损失问题，并分别提供更灵活的对象建议。因此，从长远来看，它们使Gusot能够实现更高的跟踪精度。我们在具有长视频序列的大规模数据集Lasot上进行实验，并表明Gusot提供了轻巧的高性能跟踪解决方案，可在移动和边缘计算平台中找到应用程序。

周等人提出了一个无人监督，轻质和高性能的单一对象追踪器，称为UHP-SOT。最近。作为一个扩展，我们在这项工作中介绍了一个增强版本并将其命名为UHP-SOT ++。基于基于鉴别相关滤波器的（基于DCF的）跟踪器的基础，在UHP-SOT和UHP-SOT ++中引入了两种新成分：1）背景运动建模和2）对象盒轨迹建模。 UHP-SOT和UHP-SOT ++之间的主要区别是来自三种模型的提案的融合策略（即DCF，背景运动和对象盒轨迹模型）。 UHP-SOT ++采用了一种改进的融合策略，可针对大规模跟踪数据集更加强大的跟踪性能。我们的第二件贡献在于通过在四个SOT基准数据集 - OTB2015，TC128，UAV123和LASOT上进行测试，对最先进的监督和无监督方法进行了广泛的评估。实验表明，UHP-SOT ++优于所有先前的无监督方法和几种深度学习（DL）方法，以跟踪准确性。由于UHP-SOT ++具有极小的模型大小，高跟踪性能和低计算复杂性（即使在I5 CPU上以20 fps运行，即使没有代码优化），则是资源实时对象跟踪中的理想解决方案 - 有限平台。基于实验结果，我们比较监督和无监督者的优缺点，并提供了一种新的视角，了解监督和无监督方法之间的性能差距，这是这项工作的第三次贡献。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

在本文中，我们介绍了Siammask，这是一个实时使用相同简单方法实时执行视觉对象跟踪和视频对象分割的框架。我们通过通过二进制细分任务来增强其损失，从而改善了流行的全面暹罗方法的离线培训程序。离线训练完成后，SiamMask只需要一个单个边界框来初始化，并且可以同时在高框架速率下进行视觉对象跟踪和分割。此外，我们表明可以通过简单地以级联的方式重新使用多任务模型来扩展框架以处理多个对象跟踪和细分。实验结果表明，我们的方法具有较高的处理效率，每秒约55帧。它可以在视觉对象跟踪基准测试中产生实时最新结果，同时以高速进行视频对象分割基准测试以高速显示竞争性能。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

基于暹罗的跟踪器在Visual Object跟踪任务上实现了有希望的性能。大多数现有的基于暹罗的跟踪器包含两个单独的跟踪分支，包括分类分支和边界框回归分支。此外，图像分割提供了obetain更准确的目标区域的替代方法。在本文中，我们提出了一种具有两个阶段的新型跟踪器：检测和分割。检测阶段能够通过暹罗网络定位目标。然后，通过在第一阶段中的粗状态估计，通过分割模块获得更准确的跟踪结果。我们对四个基准进行实验。我们的方法可以实现最先进的结果，在VOT2016，VOT2018上的51.3美元\％$ 52.6 $ \％$分别在VOT2018和VOT2019数据集上的39.0 $ \％$。

基于模板的鉴别性跟踪器是目前主导的跟踪范例由于其稳健性，但不限于边界框跟踪和有限的转换模型，这降低了它们的本地化准确性。我们提出了一个判别的单次分割跟踪器 - D3S2，其缩小了视觉对象跟踪和视频对象分段之间的差距。单次网络应用两个具有互补的几何属性的目标模型，一个不变的变换，包括非刚性变形，另一个假设刚性对象同时实现强大的在线目标分段。通过解耦对象和特征比例估计，进一步提高了整体跟踪可靠性。没有每数据集FineTuning，并且仅用于分段作为主要输出，D3S2胜过最近的短期跟踪基准Vot2020上的所有已发布的跟踪器，并非常接近GOT-10K上的最先进的跟踪器， TrackingNet，OTB100和Lasot。 D3S2优于视频对象分段基准上的前导分割跟踪器SIAMMASK，并与顶部视频对象分段算法进行操作。

尽管机器学习在视觉对象跟踪的任务上进行了广泛采用，但最近基于学习的方法在很大程度上忽略了一个事实，即视觉跟踪是其本质上的序列级任务。他们在很大程度上依赖框架级训练，这不可避免地会导致数据分布和任务目标的培训和测试之间的不一致。这项工作介绍了基于强化学习的视觉跟踪序列训练策略，并讨论了数据采样，学习目标和数据增强的序列级设计如何提高跟踪算法的准确性和稳健性。我们对包括LASOT，TrackingNet和GoT-10K在内的标准基准测试的实验表明，四个代表性跟踪模型，SiamRPN ++，Siamattn，Transt和TRDIMP，通过在不修改建筑架构的情况下将提出的方法纳入训练中，从而不断改进。

最近，基于模板的跟踪器已成为领先的跟踪算法，在效率和准确性方面具有希望的性能。然而，查询特征与给定模板之间的相关操作仅利用准确的目标本地化，导致状态估计误差，特别是当目标遭受严重可变形变化时。为了解决这个问题，已经提出了基于分段的跟踪器，以便使用每像素匹配来有效地提高可变形物体的跟踪性能。然而，大多数现有跟踪器仅指初始帧中的目标特征，从而缺乏处理具有挑战性因素的辨别能力，例如，类似的分心，背景杂乱，外观变化等。在此目的，我们提出了一种动态的紧凑型存储器嵌入以增强基于分段的可变形视觉跟踪方法的辨别。具体而言，我们初始化与第一帧中的目标功能嵌入的内存嵌入。在跟踪过程中，与现有内存具有高相关的当前目标特征被更新为在线嵌入的内存。为了进一步提高可变形对象的分割精度，我们采用了点对集的匹配策略来测量像素 - 方向查询特征和整个模板之间的相关性，以捕获更详细的变形信息。关于六个具有挑战性的跟踪基准的广泛评估，包括VOT2016，VOT2018，VOT2019，GOT-10K，TrackingNet和莱斯特展示了我们对近期近似追踪者的方法的优势。此外，我们的方法优于基于出色的基于分段的跟踪器，即DVIS2017基准测试。

While recent years have witnessed astonishing improvements in visual tracking robustness, the advancements in tracking accuracy have been limited. As the focus has been directed towards the development of powerful classifiers, the problem of accurate target state estimation has been largely overlooked. In fact, most trackers resort to a simple multi-scale search in order to estimate the target bounding box. We argue that this approach is fundamentally limited since target estimation is a complex task, requiring highlevel knowledge about the object.We address this problem by proposing a novel tracking architecture, consisting of dedicated target estimation and classification components. High level knowledge is incorporated into the target estimation through extensive offline learning. Our target estimation component is trained to predict the overlap between the target object and an estimated bounding box. By carefully integrating target-specific information, our approach achieves previously unseen bounding box accuracy. We further introduce a classification component that is trained online to guarantee high discriminative power in the presence of distractors. Our final tracking framework sets a new state-of-the-art on five challenging benchmarks. On the new large-scale Track-ingNet dataset, our tracker ATOM achieves a relative gain of 15% over the previous best approach, while running at over 30 FPS. Code and models are available at https: //github.com/visionml/pytracking.

随着越来越多的大规模数据集可用于培训，近年来，视觉跟踪取得了长足的进步。但是，该领域的当前研究主要集中在跟踪通用对象上。在本文中，我们介绍了tsfmo，这是\ textbf {t} racking \ textbf {s} mall和\ textbf {f} ast \ textbf {m} oving \ textbf {o textbf {o} bignts的基准。该基准旨在鼓励研究为这项具有挑战性的任务开发新颖和准确的方法。 TSFMO由250个序列组成，总共约有50k帧。这些序列中的每个帧都用边界框仔细和手动注释。据我们所知，TSFMO是第一个致力于跟踪小型和快速移动物体的基准，尤其是与运动相关的对象。为了了解现有方法的性能并为TSFMO的未来研究提供比较，我们广泛评估了基准上的20个最先进的跟踪器。评估结果表明，需要更多的精力来改善跟踪小型和快速移动的物体。此外，为了鼓励未来的研究，我们提出了一种新颖的跟踪器S-keptrack，它超过了所有20种评估的方法。通过释放TSFMO，我们希望促进未来的研究和应用小型和快速移动对象的应用。 \ url {https://github.com/codeofgithub/s-keeptrack}可用TSFMO和评估结果以及S-KeepTrack。

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。

估计目标范围在视觉对象跟踪中构成了基本挑战。通常，跟踪器以箱子为中心，并且完全依靠边界框来定义场景中的目标。实际上，对象通常具有复杂的形状，并且与图像轴不符。在这些情况下，边界框不能提供对目标的准确描述，并且通常包含大多数背景像素。我们提出了一个以细分为中心的跟踪管道，该管道不仅会产生高度准确的分割掩码，而且还可以使用分割掩码而不是边界框来使用内部。因此，我们的跟踪器能够更好地学习目标表示形式，该目标表示明确将场景中的目标与背景内容区分开来。为了实现具有挑战性的跟踪方案的必要鲁棒性，我们提出了一个单独的实例本地化组件，该组件用于在产生输出掩码时用于调节分割解码器。我们从分段掩码中推断出一个边界框，验证我们的跟踪器在挑战跟踪数据集方面，并在LASOT上实现新的最新状态，并以69.7％的速度获得了AUC得分。由于大多数跟踪数据集不包含掩码注释，因此我们无法使用它们来评估预测的分割掩码。相反，我们在两个流行的视频对象细分数据集上验证了分割质量。

In this paper we illustrate how to perform both visual object tracking and semi-supervised video object segmentation, in real-time, with a single simple approach. Our method, dubbed SiamMask, improves the offline training procedure of popular fully-convolutional Siamese approaches for object tracking by augmenting their loss with a binary segmentation task. Once trained, SiamMask solely relies on a single bounding box initialisation and operates online, producing class-agnostic object segmentation masks and rotated bounding boxes at 55 frames per second. Despite its simplicity, versatility and fast speed, our strategy allows us to establish a new state of the art among real-time trackers on VOT-2018, while at the same time demonstrating competitive performance and the best speed for the semisupervised video object segmentation task on DAVIS-2016 and DAVIS-2017. The project website is http://www. robots.ox.ac.uk/ ˜qwang/SiamMask.

最近的跟踪器采用变压器来组合或替换广泛使用的重新NET作为其新的骨干网络。尽管他们的跟踪器在常规场景中运行良好，但是他们只是将2D功能弄平为序列，以更好地匹配变压器。我们认为这些操作忽略了目标对象的空间先验，这可能仅导致次优结果。此外，许多作品表明，自我注意力实际上是一个低通滤波器，它与输入功能或键/查询无关。也就是说，它可能会抑制输入功能的高频组成部分，并保留甚至放大低频信息。为了解决这些问题，在本文中，我们提出了一个统一的空间频率变压器，该变压器同时建模高斯空间先验和高频强调（GPHA）。具体而言，高斯空间先验是使用双重多层感知器（MLP）生成的，并注入了通过将查询和自我注意的关键特征乘产生的相似性矩阵。输出将被馈入软磁层，然后分解为两个组件，即直接信号和高频信号。低通和高通的分支被重新缩放并组合以实现全通，因此，高频特征将在堆叠的自发层中得到很好的保护。我们进一步将空间频率变压器整合到暹罗跟踪框架中，并提出一种新颖的跟踪算法，称为SFTRANST。基于跨级融合的SwintransFormer被用作骨干，还使用多头交叉意见模块来增强搜索和模板功能之间的相互作用。输出将被馈入跟踪头以进行目标定位。短期和长期跟踪基准的广泛实验都证明了我们提出的框架的有效性。

文本跟踪是在视频中跟踪多个文本，并为每个文本构造轨迹。现有方法通过利用逐个检测帧工作，即，检测每个帧中的文本实例，并在连续帧中的相应文本实例中检测到文本实例。我们认为，这种范式的跟踪准确性在更复杂的场景中严重限制，例如，由于行为模糊等，未错过的文本实例的错误检测文本轨迹的突破。此外，具有类似外观的不同TextInstances很容易混淆，导致文本实例的错误关联。为此，在本文中推出了一种新的时空互补文本跟踪模型。我们利用暹罗互补的模型来充分利用时间维度中的TextInstances的连续性特征，从而有效地解除了对文本实例的检测失去了检测，因此是每个文本轨迹的完整性。我们进一步通过文本相似度学习网络进一步整合了文本实例的语义提示和文本实例的视觉提示，该网络通过文本相似度学习网络提供了在具有类似外观的特性实例的存在中提供了高辨别力，因此避免了它们之间的误解。我们的方法在几个公共基准上实现了最先进的性能。在https://github.com/lsabrinax/videotextscm中提供的源代码。

现有的最先进的（SOTA）视频显着对象检测（VSOD）模型已广泛遵循短期方法，该方法通过仅考虑当前连续的有限帧而动态地确定空间和时间显着性融合之间的平衡。但是，短期方法论具有一个关键限制，这与我们视觉系统的真实机制相抵触，这是一种典型的长期方法。结果，故障案例不断出现在当前的SOTA模型的结果中，而短期方法论成为主要的技术瓶颈。为了解决这个问题，本文提出了一种新颖的VSOD方法，该方法以完整的长期方式执行了VSOD。我们的方法将顺序vSOD（一个顺序任务）转换为数据挖掘问题，即将输入视频序列分解为对象提案，然后尽可能易于挖掘出明显的对象建议。由于所有对象提案都可以同时获得，因此提出的方法是一种完整的长期方法，可以减轻植根于常规短期方法的一些困难。此外，我们设计了一个在线更新方案，该方案可以掌握显着对象的最具代表性和可信赖的模式概况，并使用丰富的细节输出框架显着图，并在空间和时间上平滑。所提出的方法在五个广泛使用的基准数据集上几乎优于所有SOTA模型。

为了跟踪视频中的目标，当前的视觉跟踪器通常采用贪婪搜索每个帧中目标对象定位，也就是说，将选择最大响应分数的候选区域作为每个帧的跟踪结果。但是，我们发现这可能不是一个最佳选择，尤其是在遇到挑战性的跟踪方案（例如重闭塞和快速运动）时。为了解决这个问题，我们建议维护多个跟踪轨迹并将光束搜索策略应用于视觉跟踪，以便可以识别出更少的累积错误的轨迹。因此，本文介绍了一种新型的基于梁搜索策略的新型多代理增强学习策略，称为横梁。它主要是受图像字幕任务的启发，该任务将图像作为输入，并使用Beam搜索算法生成多种描述。因此，我们通过多个并行决策过程来将跟踪提出作为样本选择问题，每个过程旨在将一个样本作为每个帧的跟踪结果选择。每个维护的轨迹都与代理商相关联，以执行决策并确定应采取哪些操作来更新相关信息。处理所有帧时，我们将最大累积分数作为跟踪结果选择轨迹。在七个流行的跟踪基准数据集上进行了广泛的实验证实了所提出的算法的有效性。