最近，基于模板的跟踪器已成为领先的跟踪算法，在效率和准确性方面具有希望的性能。然而，查询特征与给定模板之间的相关操作仅利用准确的目标本地化，导致状态估计误差，特别是当目标遭受严重可变形变化时。为了解决这个问题，已经提出了基于分段的跟踪器，以便使用每像素匹配来有效地提高可变形物体的跟踪性能。然而，大多数现有跟踪器仅指初始帧中的目标特征，从而缺乏处理具有挑战性因素的辨别能力，例如，类似的分心，背景杂乱，外观变化等。在此目的，我们提出了一种动态的紧凑型存储器嵌入以增强基于分段的可变形视觉跟踪方法的辨别。具体而言，我们初始化与第一帧中的目标功能嵌入的内存嵌入。在跟踪过程中，与现有内存具有高相关的当前目标特征被更新为在线嵌入的内存。为了进一步提高可变形对象的分割精度，我们采用了点对集的匹配策略来测量像素 - 方向查询特征和整个模板之间的相关性，以捕获更详细的变形信息。关于六个具有挑战性的跟踪基准的广泛评估，包括VOT2016，VOT2018，VOT2019，GOT-10K，TrackingNet和莱斯特展示了我们对近期近似追踪者的方法的优势。此外，我们的方法优于基于出色的基于分段的跟踪器，即DVIS2017基准测试。

基于模板的鉴别性跟踪器是目前主导的跟踪范例由于其稳健性，但不限于边界框跟踪和有限的转换模型，这降低了它们的本地化准确性。我们提出了一个判别的单次分割跟踪器 - D3S2，其缩小了视觉对象跟踪和视频对象分段之间的差距。单次网络应用两个具有互补的几何属性的目标模型，一个不变的变换，包括非刚性变形，另一个假设刚性对象同时实现强大的在线目标分段。通过解耦对象和特征比例估计，进一步提高了整体跟踪可靠性。没有每数据集FineTuning，并且仅用于分段作为主要输出，D3S2胜过最近的短期跟踪基准Vot2020上的所有已发布的跟踪器，并非常接近GOT-10K上的最先进的跟踪器， TrackingNet，OTB100和Lasot。 D3S2优于视频对象分段基准上的前导分割跟踪器SIAMMASK，并与顶部视频对象分段算法进行操作。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

基于暹罗的跟踪器在Visual Object跟踪任务上实现了有希望的性能。大多数现有的基于暹罗的跟踪器包含两个单独的跟踪分支，包括分类分支和边界框回归分支。此外，图像分割提供了obetain更准确的目标区域的替代方法。在本文中，我们提出了一种具有两个阶段的新型跟踪器：检测和分割。检测阶段能够通过暹罗网络定位目标。然后，通过在第一阶段中的粗状态估计，通过分割模块获得更准确的跟踪结果。我们对四个基准进行实验。我们的方法可以实现最先进的结果，在VOT2016，VOT2018上的51.3美元\％$ 52.6 $ \％$分别在VOT2018和VOT2019数据集上的39.0 $ \％$。

在本文中，我们介绍了Siammask，这是一个实时使用相同简单方法实时执行视觉对象跟踪和视频对象分割的框架。我们通过通过二进制细分任务来增强其损失，从而改善了流行的全面暹罗方法的离线培训程序。离线训练完成后，SiamMask只需要一个单个边界框来初始化，并且可以同时在高框架速率下进行视觉对象跟踪和分割。此外，我们表明可以通过简单地以级联的方式重新使用多任务模型来扩展框架以处理多个对象跟踪和细分。实验结果表明，我们的方法具有较高的处理效率，每秒约55帧。它可以在视觉对象跟踪基准测试中产生实时最新结果，同时以高速进行视频对象分割基准测试以高速显示竞争性能。

估计目标范围在视觉对象跟踪中构成了基本挑战。通常，跟踪器以箱子为中心，并且完全依靠边界框来定义场景中的目标。实际上，对象通常具有复杂的形状，并且与图像轴不符。在这些情况下，边界框不能提供对目标的准确描述，并且通常包含大多数背景像素。我们提出了一个以细分为中心的跟踪管道，该管道不仅会产生高度准确的分割掩码，而且还可以使用分割掩码而不是边界框来使用内部。因此，我们的跟踪器能够更好地学习目标表示形式，该目标表示明确将场景中的目标与背景内容区分开来。为了实现具有挑战性的跟踪方案的必要鲁棒性，我们提出了一个单独的实例本地化组件，该组件用于在产生输出掩码时用于调节分割解码器。我们从分段掩码中推断出一个边界框，验证我们的跟踪器在挑战跟踪数据集方面，并在LASOT上实现新的最新状态，并以69.7％的速度获得了AUC得分。由于大多数跟踪数据集不包含掩码注释，因此我们无法使用它们来评估预测的分割掩码。相反，我们在两个流行的视频对象细分数据集上验证了分割质量。

最近的跟踪器采用变压器来组合或替换广泛使用的重新NET作为其新的骨干网络。尽管他们的跟踪器在常规场景中运行良好，但是他们只是将2D功能弄平为序列，以更好地匹配变压器。我们认为这些操作忽略了目标对象的空间先验，这可能仅导致次优结果。此外，许多作品表明，自我注意力实际上是一个低通滤波器，它与输入功能或键/查询无关。也就是说，它可能会抑制输入功能的高频组成部分，并保留甚至放大低频信息。为了解决这些问题，在本文中，我们提出了一个统一的空间频率变压器，该变压器同时建模高斯空间先验和高频强调（GPHA）。具体而言，高斯空间先验是使用双重多层感知器（MLP）生成的，并注入了通过将查询和自我注意的关键特征乘产生的相似性矩阵。输出将被馈入软磁层，然后分解为两个组件，即直接信号和高频信号。低通和高通的分支被重新缩放并组合以实现全通，因此，高频特征将在堆叠的自发层中得到很好的保护。我们进一步将空间频率变压器整合到暹罗跟踪框架中，并提出一种新颖的跟踪算法，称为SFTRANST。基于跨级融合的SwintransFormer被用作骨干，还使用多头交叉意见模块来增强搜索和模板功能之间的相互作用。输出将被馈入跟踪头以进行目标定位。短期和长期跟踪基准的广泛实验都证明了我们提出的框架的有效性。

最近，几种基于空间内存的方法已经验证了将中间框架及其面具作为内存有助于将视频中的目标对象细分目标对象。但是，它们主要集中于当前帧和内存框架之间的更好匹配，而无需明确关注内存质量。因此，较差的分割面罩的框架容易被记住，这导致了分割掩盖误差问题并进一步影响分割性能。此外，随着帧数的增长，内存框架的线性增加还限制了模型处理长视频的能力。为此，我们提出了一个质量感知的动态内存网络（QDMN）来评估每个帧的分割质量，从而使内存库可以选择性地存储准确的分段框架，以防止误差积累问题。然后，我们将细分质量与时间一致性相结合，以动态更新内存库以提高模型的实用性。我们的QDMN没有任何铃铛和哨子，在戴维斯和YouTube-Vos基准测试中都取得了新的最新性能。此外，广泛的实验表明，提议的质量评估模块（QAM）可以作为通用插件应用于基于内存的方法，并显着提高性能。我们的源代码可在https://github.com/workforai/qdmn上找到。

近年来，卷积神经网络（CNNS）已成功应用于单个目标跟踪任务。通常，训练深层CNN模型需要众多标记的训练样本，并且这些样品的数量和质量直接影响训练模型的代表性能力。然而，这种方法在实践中是限制性的，因为手动标记了这么大的训练样本是耗时的并且非常昂贵。在本文中，我们提出了一种用于深度视觉跟踪的主动学习方法，其选择和注释未标记的样本以培训深度CNNS模型。在主动学习的指导下，基于受过训练的深CNN模型的跟踪器可以实现竞争性跟踪性能，同时降低标签成本。更具体地，为了确保所选样本的多样性，我们提出了一种基于多帧协作的主动学习方法，以选择应该是并且需要注释的那些训练样本。同时，考虑到这些所选样本的代表性，我们采用基于平均最近邻距离的最近邻差异距离筛选隔离样本和低质量样品。因此，基于我们的方法选择的训练样本子集仅需要一个给定的预算来维持整个样本集的多样性和代表性。此外，我们采用TVERSKY亏损来改进跟踪器的边界框估计，这可以确保跟踪器实现更准确的目标状态。广泛的实验结果证实，我们的积极学习的跟踪器（ALT）与七个最具挑战性评估基准的最先进的跟踪器相比，与最先进的跟踪器相比，实现了竞争性的跟踪精度和速度。

Siamese network based trackers formulate tracking as convolutional feature cross-correlation between a target template and a search region. However, Siamese trackers still have an accuracy gap compared with state-of-theart algorithms and they cannot take advantage of features from deep networks, such as ResNet-50 or deeper. In this work we prove the core reason comes from the lack of strict translation invariance. By comprehensive theoretical analysis and experimental validations, we break this restriction through a simple yet effective spatial aware sampling strategy and successfully train a ResNet-driven Siamese tracker with significant performance gain. Moreover, we propose a new model architecture to perform layer-wise and depthwise aggregations, which not only further improves the accuracy but also reduces the model size. We conduct extensive ablation studies to demonstrate the effectiveness of the proposed tracker, which obtains currently the best results on five large tracking benchmarks, including OTB2015, VOT2018, UAV123, LaSOT, and TrackingNet. Our model will be released to facilitate further researches.

基于激光雷达的3D单一对象跟踪是机器人技术和自动驾驶中的一个具有挑战性的问题。当前，现有方法通常会遇到长距离对象通常具有非常稀疏或部分倾斜的点云的问题，这使得模型含糊不清。模棱两可的功能将很难找到目标对象，并最终导致不良跟踪结果。为了解决此问题，我们使用功能强大的变压器体系结构，并为基于点云的3D单一对象跟踪任务提出一个点轨转换器（PTT）模块。具体而言，PTT模块通过计算注意力重量来生成微调的注意力特征，该功能指导追踪器的重点关注目标的重要功能，并提高复杂场景中的跟踪能力。为了评估我们的PTT模块，我们将PTT嵌入主要方法中，并构建一个名为PTT-NET的新型3D SOT跟踪器。在PTT-NET中，我们分别将PTT嵌入了投票阶段和提案生成阶段。投票阶段中的PTT模块可以模拟点斑块之间的交互作用，该点贴片学习上下文依赖于上下文。同时，提案生成阶段中的PTT模块可以捕获对象和背景之间的上下文信息。我们在Kitti和Nuscenes数据集上评估了PTT-NET。实验结果证明了PTT模块的有效性和PTT-NET的优越性，PTT-NET的优势超过了基线，在CAR类别中〜10％。同时，我们的方法在稀疏场景中也具有显着的性能提高。通常，变压器和跟踪管道的组合使我们的PTT-NET能够在两个数据集上实现最先进的性能。此外，PTT-NET可以在NVIDIA 1080TI GPU上实时以40fps实时运行。我们的代码是为研究社区开源的，网址为https://github.com/shanjiayao/ptt。

周等人提出了一个无人监督，轻质和高性能的单一对象追踪器，称为UHP-SOT。最近。作为一个扩展，我们在这项工作中介绍了一个增强版本并将其命名为UHP-SOT ++。基于基于鉴别相关滤波器的（基于DCF的）跟踪器的基础，在UHP-SOT和UHP-SOT ++中引入了两种新成分：1）背景运动建模和2）对象盒轨迹建模。 UHP-SOT和UHP-SOT ++之间的主要区别是来自三种模型的提案的融合策略（即DCF，背景运动和对象盒轨迹模型）。 UHP-SOT ++采用了一种改进的融合策略，可针对大规模跟踪数据集更加强大的跟踪性能。我们的第二件贡献在于通过在四个SOT基准数据集 - OTB2015，TC128，UAV123和LASOT上进行测试，对最先进的监督和无监督方法进行了广泛的评估。实验表明，UHP-SOT ++优于所有先前的无监督方法和几种深度学习（DL）方法，以跟踪准确性。由于UHP-SOT ++具有极小的模型大小，高跟踪性能和低计算复杂性（即使在I5 CPU上以20 fps运行，即使没有代码优化），则是资源实时对象跟踪中的理想解决方案 - 有限平台。基于实验结果，我们比较监督和无监督者的优缺点，并提供了一种新的视角，了解监督和无监督方法之间的性能差距，这是这项工作的第三次贡献。

文本跟踪是在视频中跟踪多个文本，并为每个文本构造轨迹。现有方法通过利用逐个检测帧工作，即，检测每个帧中的文本实例，并在连续帧中的相应文本实例中检测到文本实例。我们认为，这种范式的跟踪准确性在更复杂的场景中严重限制，例如，由于行为模糊等，未错过的文本实例的错误检测文本轨迹的突破。此外，具有类似外观的不同TextInstances很容易混淆，导致文本实例的错误关联。为此，在本文中推出了一种新的时空互补文本跟踪模型。我们利用暹罗互补的模型来充分利用时间维度中的TextInstances的连续性特征，从而有效地解除了对文本实例的检测失去了检测，因此是每个文本轨迹的完整性。我们进一步通过文本相似度学习网络进一步整合了文本实例的语义提示和文本实例的视觉提示，该网络通过文本相似度学习网络提供了在具有类似外观的特性实例的存在中提供了高辨别力，因此避免了它们之间的误解。我们的方法在几个公共基准上实现了最先进的性能。在https://github.com/lsabrinax/videotextscm中提供的源代码。

跟踪需要为推理阶段构建目标的判别模型。实现这一目标的有效方法是在线学习，可以舒适地占据截肢培训的型号。最近的研究表明，由于其像素级别歧视，视觉跟踪从统一视觉跟踪和分割的统一中受益匪浅。但是，对这种统一模型进行在线学习产生巨大挑战。分段模型不能轻易地从视觉跟踪方案中给出的先前信息学习。在本文中，我们提出了TrackM1P：一种新的元学习方法，优化了仅从部分信息学习以解决强加的挑战。我们的模型能够广泛利用有限的事先信息，因此具有比其他在线学习方法更强大的目标 - 背景辨别性。凭经验，我们表明我们的模型在竞争模型上实现了最先进的性能和切实改善。我们的模式实现了VOT2019，VOT2018，VOT2018和VOT2016数据集的66.0％，67.1％，68.5％的平均重叠增长了6.4％，7.3％，高于我们基线的6.4％。代码将公开可用。

我们呈现恐惧，新颖，快速，高效，准确，强大的暹罗视觉跟踪器。我们介绍了对象模型适配的架构块，称为双模板表示，以及像素 - 明智的融合块，以实现模型的额外灵活性和效率。双模板模块仅包含单个学习参数的时间信息，而像素-Wise融合块与标准相关模块相比，像素-Wise融合块对具有较少参数的判别特征进行了更多的辨别特征。通过用新型模块插入复杂的骨干，恐惧-M和恐惧-L跟踪器在既准确性和效率的几个学术基准上超过大多数暹粒例子。使用轻质骨干，优化的版本恐惧-XS提供了超过10倍的跟踪跟踪，而不是当前暹罗跟踪器，同时保持最先进的结果。 GEAF-XS跟踪器比LightTrack [62]更小2.4倍，比LightTrack [62]更高。此外，我们通过在能量消耗和执行速度上引入基准来扩展模型效率的定义。源代码，预先训练的模型和评估协议将根据要求提供

Correlation acts as a critical role in the tracking field, especially in recent popular Siamese-based trackers. The correlation operation is a simple fusion manner to consider the similarity between the template and the search re-

The current strive towards end-to-end trainable computer vision systems imposes major challenges for the task of visual tracking. In contrast to most other vision problems, tracking requires the learning of a robust target-specific appearance model online, during the inference stage. To be end-to-end trainable, the online learning of the target model thus needs to be embedded in the tracking architecture itself. Due to the imposed challenges, the popular Siamese paradigm simply predicts a target feature template, while ignoring the background appearance information during inference. Consequently, the predicted model possesses limited target-background discriminability.We develop an end-to-end tracking architecture, capable of fully exploiting both target and background appearance information for target model prediction. Our architecture is derived from a discriminative learning loss by designing a dedicated optimization process that is capable of predicting a powerful model in only a few iterations. Furthermore, our approach is able to learn key aspects of the discriminative loss itself. The proposed tracker sets a new state-of-the-art on 6 tracking benchmarks, achieving an EAO score of 0.440 on VOT2018, while running at over 40 FPS. The code and models are available at https: //github.com/visionml/pytracking.

半监控视频对象分割（VOS）是指在近年来在第一帧中的注释中分割剩余帧中的目标对象，该帧近年来已经积极研究。关键挑战在于找到利用过去框架的时空上下文的有效方法来帮助学习当前帧的判别目标表示。在本文中，我们提出了一种具有专门设计的交互式变压器的新型暹罗网络，称为SITVOS，以实现从历史到当前帧的有效上下文传播。从技术上讲，我们使用变换器编码器和解码器单独处理过去的帧和当前帧，即，编码器从过去的帧中对目标对象的强大的时空上下文进行编码，而解码器将当前帧的特征嵌入为查询。从编码器输出检索目标。为了进一步增强目标表示，设计了一种特征交互模块（FIM）以促进编码器和解码器之间的信息流。此外，我们使用暹罗架构来提取过去和当前帧的骨干功能，它能够重用并且比现有方法更有效。三个挑战基准测试的实验结果验证了SITVOS在最先进的方法上的优越性。

当前的半监督视频对象分割（VOS）方法通常利用一个框架的整个功能来预测对象掩码和更新内存。这引入了重要的冗余计算。为了减少冗余，我们提出了一种区域意识到的视频对象细分（RAVOS）方法，该方法可预测感兴趣的区域（ROI），以进行有效的对象细分和内存存储。 Ravos包括一个快速对象运动跟踪器，可以在下一个帧中预测其ROI。为了有效的分割，根据ROI提取对象特征，并且对象解码器设计用于对象级分割。为了有效的内存存储，我们建议运动路径内存来通过记住两个帧之间对象的运动路径中的特征来滤除冗余上下文。除了Ravos，我们还提出了一个称为OVO的大型数据集，以基准在遮挡下基准VOS模型的性能。对戴维斯和YouTube-VOS基准和我们的新OVOS数据集的评估表明，我们的方法以更快的推理时间来实现最先进的性能，例如，戴维斯的42 fps的86.1 J＆F在YouTube-in YouTube-in YouTube-in YouTube-in YouTube-23 fps上达到42 fps- VOS。