在许多可视化系统中，视觉跟踪通常基于RGB图像序列，其中一些目标在低光条件下无效，因此追踪性能显着影响。介绍深度和红外数据等其他模态是处理单个来源的成像限制的有效方法，但多模态成像平台通常需要详细设计，并且目前不能应用于许多现实世界应用。近红外（NIR）成像成为许多监视摄像机的重要组成部分，其成像基于光强度在RGB和NIR之间切换。这两种方式具有异质性，视觉特性非常不同，因此为视觉跟踪带来了大量挑战。但是，现有的作品没有研究过这个具有挑战性的问题。在这项工作中，我们解决了跨模型对象跟踪问题并贡献新的视频数据集，包括总共具有超过481K帧的654个跨模型图像序列，并且平均视频长度超过735帧。为促进跨模型对象跟踪的研究和开发，我们提出了一种新的算法，它学习模态感知目标表示，以减轻跟踪过程中RGB和NIR模式之间的外观差距。它是即插即用，因此可以灵活地嵌入到不同的跟踪框架中。对数据集进行广泛的实验，我们展示了两个代表性跟踪框架中提出的算法的有效性，其针对17个最先进的跟踪方法。我们将发布数据集进行免费学术用法，数据集下载链接和代码即将发布。

RGBT跟踪在计算机视觉社区中获得了兴趣激增，但该研究领域缺乏大型和高度多样性的基准数据集，这对于深度RGBT跟踪器的培训以及RGBT跟踪方法的综合评价至关重要。为此，我们在这项工作中为RGBT跟踪（Lasher）提出了大规模的高多样性基准。 Lasher由1224个可见和热红外视频配对组成，总共超过730K框架对。每个帧对在空间上对齐并用边界框手动注释，使数据集良好并密度注释。 Lasher从广泛的物品类别，相机观点，场景复杂性和环境因素，季节，天气，日夜的环境因素高度多样化。我们对Lasher DataSet的12 RGBT跟踪算法进行了全面的绩效评估，并对RGBT跟踪澄清研究室进行了详细分析。此外，我们释放了解放的Lasher版本，以吸引对对齐的RGBT跟踪的研究兴趣，这是现​​实世界应用中更实用的任务。数据集和评估协议可用于：https：//github.com/bugpleaseout/lasher。

与可见的摄像机不同的是逐帧记录强度图像的可见摄像机，生物学启发的事件摄像头会产生一系列的异步和稀疏事件，并且延迟较低。在实践中，可见的摄像机可以更好地感知纹理细节和慢动作，而事件摄像机可以没有运动模糊并具有更大的动态范围，从而使它们能够在快速运动和低照明下良好地工作。因此，两个传感器可以相互合作以实现更可靠的对象跟踪。在这项工作中，我们提出了一个大规模可见事件基准（称为Visevent），因为缺乏针对此任务的现实和缩放数据集。我们的数据集由在低照明，高速和背景混乱场景下捕获的820个视频对组成，并将其分为训练和测试子集，每个培训和测试子集分别包含500和320个视频。基于Visevent，我们通过将当前的单模式跟踪器扩展到双模式版本，将事件流转换为事件图像，并构建30多种基线方法。更重要的是，我们通过提出跨模式变压器来进一步构建一种简单但有效的跟踪算法，以在可见光和事件数据之间实现更有效的功能融合。对拟议的Visevent数据集（FE108）和两个模拟数据集（即OTB-DVS和fot-DVS）进行了广泛的实验，验证了我们模型的有效性。数据集和源代码已在我们的项目页面上发布：\ url {https://sites.google.com/view/viseventtrack/}。

RGB-D对象跟踪最近引起了广泛的关注，这得益于视觉和深度通道之间的共生能力。但是，鉴于有限的注释RGB-D跟踪数据，大多数最先进的RGB-D跟踪器是高性能RGB的简单扩展程序，而无需完全利用深度通道中深度通道的潜在潜力离线训练阶段。为了解决数据集缺乏问题，本文发布了一个名为RGBD1K的新的RGB-D数据集。 RGBD1K包含1,050个序列，总计约250万帧。为了证明对较大的RGB-D数据集的培训的好处，尤其是RGBD1K，我们开发了一个基于变压器的RGB-D跟踪器，名为SPT，是使用新数据集的未来视觉对象跟踪研究的基线。使用SPT跟踪器进行的广泛实验的结果表明，RGBD1K数据集的潜力可以提高RGB-D跟踪的性能，从而激发了有效跟踪器设计的未来发展。数据集和代码将在项目主页上提供：https：//will.be.available.at.at.this.website。

With the development of depth sensors in recent years, RGBD object tracking has received significant attention. Compared with the traditional RGB object tracking, the addition of the depth modality can effectively solve the target and background interference. However, some existing RGBD trackers use the two modalities separately and thus some particularly useful shared information between them is ignored. On the other hand, some methods attempt to fuse the two modalities by treating them equally, resulting in the missing of modality-specific features. To tackle these limitations, we propose a novel Dual-fused Modality-aware Tracker (termed DMTracker) which aims to learn informative and discriminative representations of the target objects for robust RGBD tracking. The first fusion module focuses on extracting the shared information between modalities based on cross-modal attention. The second aims at integrating the RGB-specific and depth-specific information to enhance the fused features. By fusing both the modality-shared and modality-specific information in a modality-aware scheme, our DMTracker can learn discriminative representations in complex tracking scenes. Experiments show that our proposed tracker achieves very promising results on challenging RGBD benchmarks. Code is available at \url{https://github.com/ShangGaoG/DMTracker}.

由于与传统的基于RGB的跟踪相比，多模式跟踪的能力在复杂的情况下更准确和健壮，因此获得了关注。它的关键在于如何融合多模式数据并减少模式之间的差距。但是，多模式跟踪仍然严重遭受数据缺乏症的影响，从而导致融合模块的学习不足。我们没有在本文中构建这样的融合模块，而是通过将重要性附加到多模式的视觉提示中，为多模式跟踪提供了新的视角。我们设计了一种新型的多模式及时跟踪器（Protrack），可以通过及时范式将多模式输入传递到单个模态。通过最好地利用预先训练的RGB跟踪器在大规模学习的跟踪能力，我们的突起即使没有对多模式数据进行任何额外的培训，我们的突起也可以通过更改输入来实现高性能多模式跟踪。 5个基准数据集的广泛实验证明了所提出的突起的有效性。

准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹，仅给出其初始位置和分段，或者在边界框的形式中粗略近似。判别相关滤波器（DCF）和深度暹罗网络（SNS）被出现为主导跟踪范式，这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后，该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查，基于九个跟踪基准。首先，我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后，我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外，我们彻底分析了DCF和暹罗跟踪器对九个基准的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估度量，性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。

卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。

虽然基于深度学习的跟踪方法取得了大量的进展，但它们需要大规模和高质量的注释数据，以进行足够的培训。为了消除昂贵和彻底的注释，我们研究自我监督的学习，以便进行视觉跟踪。在这项工作中，我们开发了作物变换粘贴操作，该操作能够通过在跟踪期间模拟各种外观变化来综合足够的训练数据，包括对象和背景干扰的外观变化。由于目标状态在所有合成数据中都是已知的，因此可以使用没有人为注释的合成数据在日常方式培训现有的深度跟踪器。所提出的目标感知数据综合方法在没有算法改变的情况下适应自我监督的学习框架内的现有跟踪方法。因此，所提出的自我监督学习机制可以无缝地集成到现有的跟踪框架中以进行培训。广泛的实验表明，我们的方法1）在有限注释下的案件下实现了对监督学习计划的有利性能; 2）有助于处理各种跟踪挑战，例如由于其可操纵性导致的物体变形，闭塞或背景杂波; 3）对最先进的无监督的跟踪方法表现有利; 4）提高各种最先进的监督学习框架的性能，包括SiamRPN ++，DIMP和Transt（基于变压器）。

随着越来越多的大规模数据集可用于培训，近年来，视觉跟踪取得了长足的进步。但是，该领域的当前研究主要集中在跟踪通用对象上。在本文中，我们介绍了tsfmo，这是\ textbf {t} racking \ textbf {s} mall和\ textbf {f} ast \ textbf {m} oving \ textbf {o textbf {o} bignts的基准。该基准旨在鼓励研究为这项具有挑战性的任务开发新颖和准确的方法。 TSFMO由250个序列组成，总共约有50k帧。这些序列中的每个帧都用边界框仔细和手动注释。据我们所知，TSFMO是第一个致力于跟踪小型和快速移动物体的基准，尤其是与运动相关的对象。为了了解现有方法的性能并为TSFMO的未来研究提供比较，我们广泛评估了基准上的20个最先进的跟踪器。评估结果表明，需要更多的精力来改善跟踪小型和快速移动的物体。此外，为了鼓励未来的研究，我们提出了一种新颖的跟踪器S-keptrack，它超过了所有20种评估的方法。通过释放TSFMO，我们希望促进未来的研究和应用小型和快速移动对象的应用。 \ url {https://github.com/codeofgithub/s-keeptrack}可用TSFMO和评估结果以及S-KeepTrack。

为了应对复杂的照明环境中的车辆重新识别（RE-ID）的挑战，由于其出色的互补优势，因此考虑了多光谱来源，例如可见和红外信息。然而，多光谱的车辆重新ID遭受了由不同模态的异质特性以及各种身份不同视图的各种外观的巨大挑战引起的交叉模式差异。同时，各种环境干扰会导致每种方式中的样本分布差异很大。在这项工作中，我们提出了一个新型的跨方向一致性网络，以同时克服与模式和样本方面的差异。特别是，我们设计了一个新的跨方向中心损失，以将每个身份的模态中心拉动接近减轻的跨模式差异，而每个身份的样本中心接近减轻样品差异。这种策略可以为车辆重新ID生成歧视性的多光谱特征表示。此外，我们设计一个自适应层归一化单元，以动态调整个体特征分布以处理稳健学习的模式内特征的分布差异。为了提供一个全面的评估平​​台，我们创建了高质量的RGB-NIR TIR多光谱车辆重新ID基准（MSVR310），其中包括从广泛的观点，时间跨度和环境复杂性的310辆不同的车辆。对创建和公共数据集进行的全面实验证明了与最先进方法相比，提出的方法的有效性。

无人驾驶飞机（UAV）跟踪对于诸如交货和农业等广泛应用具有重要意义。该领域的先前基准分析主要集中在小规模的跟踪问题上，同时忽略了数据模式的类型，目标类别和方案的多样性以及所涉及的评估协议的数量，从而极大地隐藏了深度无人机跟踪的巨大功能。在这项工作中，我们提出了迄今为止最大的公共无人机跟踪基准Webuav-3M，以促进深度无人机跟踪器的开发和评估。 Webuav-3M在4,500个视频中包含超过330万帧，并提供223个高度多样化的目标类别。每个视频都通过有效且可扩展的半自动目标注释（SATA）管道密集注释。重要的是，要利用语言和音频的互补优势，我们通过提供自然语言规格和音频描述来丰富Webuav-3M。我们认为，这种增加将大大促进未来的研究，以探索语言功能和音频提示，用于多模式无人机跟踪。此外，构建了scenario约束（UTUSC）评估协议和七个具有挑战性的场景子测验集，以使社区能够开发，适应和评估各种类型的高级跟踪器。我们提供了43个代表性跟踪器的广泛评估和详细分析，并设想了深度无人机跟踪及其他领域的未来研究方向。数据集，工具包和基线结果可在\ url {https://github.com/983632847/webuav-3m}中获得。

Despite the numerous developments in object tracking, further development of current tracking algorithms is limited by small and mostly saturated datasets. As a matter of fact, data-hungry trackers based on deep-learning currently rely on object detection datasets due to the scarcity of dedicated large-scale tracking datasets. In this work, we present TrackingNet, the first large-scale dataset and benchmark for object tracking in the wild. We provide more than 30K videos with more than 14 million dense bounding box annotations. Our dataset covers a wide selection of object classes in broad and diverse context. By releasing such a large-scale dataset, we expect deep trackers to further improve and generalize. In addition, we introduce a new benchmark composed of 500 novel videos, modeled with a distribution similar to our training dataset. By sequestering the annotation of the test set and providing an online evaluation server, we provide a fair benchmark for future development of object trackers. Deep trackers fine-tuned on a fraction of our dataset improve their performance by up to 1.6% on OTB100 and up to 1.7% on TrackingNet Test. We provide an extensive benchmark on TrackingNet by evaluating more than 20 trackers. Our results suggest that object tracking in the wild is far from being solved.

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。

基于暹罗的跟踪器在Visual Object跟踪任务上实现了有希望的性能。大多数现有的基于暹罗的跟踪器包含两个单独的跟踪分支，包括分类分支和边界框回归分支。此外，图像分割提供了obetain更准确的目标区域的替代方法。在本文中，我们提出了一种具有两个阶段的新型跟踪器：检测和分割。检测阶段能够通过暹罗网络定位目标。然后，通过在第一阶段中的粗状态估计，通过分割模块获得更准确的跟踪结果。我们对四个基准进行实验。我们的方法可以实现最先进的结果，在VOT2016，VOT2018上的51.3美元\％$ 52.6 $ \％$分别在VOT2018和VOT2019数据集上的39.0 $ \％$。

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

Salient object detection (SOD) focuses on distinguishing the most conspicuous objects in the scene. However, most related works are based on RGB images, which lose massive useful information. Accordingly, with the maturity of thermal technology, RGB-T (RGB-Thermal) multi-modality tasks attain more and more attention. Thermal infrared images carry important information which can be used to improve the accuracy of SOD prediction. To accomplish it, the methods to integrate multi-modal information and suppress noises are critical. In this paper, we propose a novel network called Interactive Context-Aware Network (ICANet). It contains three modules that can effectively perform the cross-modal and cross-scale fusions. We design a Hybrid Feature Fusion (HFF) module to integrate the features of two modalities, which utilizes two types of feature extraction. The Multi-Scale Attention Reinforcement (MSAR) and Upper Fusion (UF) blocks are responsible for the cross-scale fusion that converges different levels of features and generate the prediction maps. We also raise a novel Context-Aware Multi-Supervised Network (CAMSNet) to calculate the content loss between the prediction and the ground truth (GT). Experiments prove that our network performs favorably against the state-of-the-art RGB-T SOD methods.

Person re-identification (Re-ID) aims at retrieving a person of interest across multiple non-overlapping cameras. With the advancement of deep neural networks and increasing demand of intelligent video surveillance, it has gained significantly increased interest in the computer vision community. By dissecting the involved components in developing a person Re-ID system, we categorize it into the closed-world and open-world settings. The widely studied closed-world setting is usually applied under various research-oriented assumptions, and has achieved inspiring success using deep learning techniques on a number of datasets. We first conduct a comprehensive overview with in-depth analysis for closed-world person Re-ID from three different perspectives, including deep feature representation learning, deep metric learning and ranking optimization. With the performance saturation under closed-world setting, the research focus for person Re-ID has recently shifted to the open-world setting, facing more challenging issues. This setting is closer to practical applications under specific scenarios. We summarize the open-world Re-ID in terms of five different aspects. By analyzing the advantages of existing methods, we design a powerful AGW baseline, achieving state-of-the-art or at least comparable performance on twelve datasets for FOUR different Re-ID tasks. Meanwhile, we introduce a new evaluation metric (mINP) for person Re-ID, indicating the cost for finding all the correct matches, which provides an additional criteria to evaluate the Re-ID system for real applications. Finally, some important yet under-investigated open issues are discussed.

随着视觉跟踪的快速进展，由于样品的冗余和当前跟踪器之间的缺点，现有的基准变得不那么富有信息，并对所有数据集进行评估非常耗时。因此，一个小型和信息的基准，涵盖了所有典型的具有挑战性的场景，以方便评估跟踪器性能，这是非常兴趣的。在这项工作中，我们开发了一个原则的方法来构建一个小型和信息的跟踪基准（ITB），其中7％的现有和新收集的数据集中的7％，这使得能够有效地评估，同时确保有效性。具体而言，我们首先设计了一种质量评估机制，以选择来自现有基准的最佳信息序列，以考虑到1）挑战水平，2）歧视强度，3）和外观变化的密度。此外，我们收集额外的序列，以确保跟踪方案的多样性和平衡，导致每个场景共20个序列。通过分析15次训练在同一数据的最先进的跟踪器的结果，我们确定每种情况下的稳健跟踪的有效方法，并对该领域的未来研究方向表现出新的挑战。