对象运动和对象外观是多个对象跟踪（MOT）应用中的常用信息，用于将帧跨越帧的检测相关联，或用于联合检测和跟踪方法的直接跟踪预测。然而，不仅是这两种类型的信息通常是单独考虑的，而且它们也没有帮助直接从当前感兴趣帧中使用视觉信息的用法。在本文中，我们提出了PatchTrack，一种基于变压器的联合检测和跟踪系统，其使用当前感兴趣的帧帧的曲线预测曲目。我们使用卡尔曼滤波器从前一帧预测当前帧中的现有轨道的位置。从预测边界框裁剪的补丁被发送到变压器解码器以推断新曲目。通过利用在补丁中编码的对象运动和对象外观信息，所提出的方法将更多地关注新曲目更有可能发生的位置。我们展示了近期MOT基准的Patchtrack的有效性，包括MOT16（MOTA 73.71％，IDF1 65.77％）和MOT17（MOTA 73.59％，IDF1 65.23％）。结果在https://motchallenge.net/method/mot=4725&chl=10上发布。

对象的时间建模是多个对象跟踪（MOT）的关键挑战。现有方法通过通过基于运动和基于外观的相似性启发式方法关联检测来跟踪。关联的后处理性质阻止了视频序列中时间变化的端到端。在本文中，我们提出了MOTR，它扩展了DETR并介绍了轨道查询，以模拟整个视频中的跟踪实例。轨道查询被转移并逐帧更新，以随着时间的推移执行迭代预测。我们提出了曲目感知的标签分配，以训练轨道查询和新生儿对象查询。我们进一步提出了时间聚集网络和集体平均损失，以增强时间关系建模。 Dancetrack上的实验结果表明，MOTR在HOTA度量方面的表现明显优于最先进的方法，字节范围为6.5％。在MOT17上，MOTR在关联性能方面优于我们的并发作品，跟踪器和Transtrack。 MOTR可以作为对时间建模和基于变压器的跟踪器的未来研究的更强基线。代码可在https://github.com/megvii-research/motr上找到。

多个对象跟踪（MOT）是包含检测和关联的任务。大量追踪器已经取得了竞争性能。不幸的是，由于缺乏这些子任务的信息交流，它们通常会偏向两者之一，并且在复杂的情况下，例如预期的虚假负面因素和彼此通过时的目标轨迹错误。在本文中，我们提出了Transfiner，这是一种基于变压器的MOT进行后填充方法。这是一个通用的附件框架，从原始跟踪器作为输入来利用图像和跟踪结果（位置和类预测）作为输入，然后将其用于强大地启动转机精矿。此外，推高器取决于查询对，这些查询对通过融合解码器产生了一对检测和运动，并实现了全面的跟踪改进。我们还通过根据不同的细化水平标记查询对来提供有针对性的改进。实验表明，在MOT17基准测试上，我们的设计是有效的，我们将CenterTrack从67.8％的MOTA和64.7％的IDF1提升到71.5％MOTA和66.8％IDF1。

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

为了克服多个对象跟踪任务中的挑战，最近的算法将交互线索与运动和外观特征一起使用。这些算法使用图形神经网络或变压器来提取导致高计算成本的交互功能。在本文中，提出了一种基于几何特征的新型交互提示，旨在检测遮挡和重新识别计算成本低的丢失目标。此外，在大多数算法中，摄像机运动被认为可以忽略不计，这是一个强有力的假设，并不总是正确的，并且导致目标转换或目标不匹配。在本文中，提出了一种测量相机运动和删除其效果的方法，可有效地降低相机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估，并在MOT20上实现了MOT17的最先进性能和可比较的结果。该代码也可以公开使用。

在体育视频中跟踪多个运动员是一项非常具有挑战性的多对象跟踪（MOT）任务，因为运动员通常具有相同的外观并且彼此密切相同，因此使常见的遮挡问题成为一个令人讨厌的重复检测。在本文中，重复检测是新的，精确地定义为闭塞，通过一帧在多个检测箱上在同一运动员上误会。为了解决这个问题，我们精心设计了一种基于变压器的新型副本检测器（d $^3 $），用于培训，以及一种特定的算法拉力赛 - 亨加利亚（RH）进行匹配。一旦发生重复检测，D $^3 $立即通过生成增强框损耗来修改过程。由团队运动替代规则触发的RH极为适合体育视频。此外，为了补充没有拍摄更改的跟踪数据集，我们根据名为RallyTrack的体育视频发布了一个新数据集。在RallyTrack上进行了广泛的实验表明，将D $^3 $和RH结合起来，可以通过MOTA中的9.2和4.5在Hota中大幅提高跟踪性能。同时，关于Mot系列和Dancetrack的实验发现，D $^3 $可以在训练过程中加速融合，尤其是在MOT17上节省多达80％的原始培训时间。最后，我们的模型只能通过排球视频进行培训，可以直接应用于MAT的篮球和足球视频，该视频显示了我们方法的优先级。我们的数据集可从https://github.com/heruihr/rallytrack获得。

作为计算机视觉的重要领域，对象跟踪形成了两个独立的社区，分别研究单个对象跟踪（SOT）和多个对象跟踪（MOT）。但是，由于两个任务的不同训练数据集和跟踪对象，因此在一个跟踪方案中的当前方法不容易适应另一种方法。尽管unitrack \ cite {wang2021Diverent}表明，具有多个头部的共享外观模型可用于处理单个跟踪任务，但它无法利用大规模跟踪数据集进行训练，并且在单个对象跟踪上执行良好的训练。在这项工作中，我们提出了统一的变压器跟踪器（UTT），以通过一个范式在不同方案中解决跟踪问题。在我们的UTT中开发了轨道变压器，以跟踪SOT和MOT中的目标。利用目标和跟踪框架功能之间的相关性以定位目标。我们证明SOT和MOT任务都可以在此框架内解决。该模型可以同时通过在单个任务数据集中优化SOT和MOT目标，同时端到端训练。广泛的实验是在几个基准测试基准上进行的，该基准具有在SOT和MOT数据集上训练的统一模型。代码将在https://github.com/flowerfan/trackron上找到。

多对象跟踪（MOT）的目标是检测和跟踪场景中的所有对象，同时为每个对象保留唯一的标识符。在本文中，我们提出了一种新的可靠的最新跟踪器，该跟踪器可以结合运动和外观信息的优势，以及摄像机运动补偿以及更准确的Kalman滤波器状态矢量。我们的新跟踪器在Mot17和Mot20测试集的Motchallenge [29，11]的数据集[29，11]中，Bot-Sort-Reid排名第一，就所有主要MOT指标而言：MOTA，IDF1和HOTA。对于Mot17：80.5 Mota，80.2 IDF1和65.0 HOTA。源代码和预培训模型可在https://github.com/niraharon/bot-sort上找到

The problem of tracking multiple objects in a video sequence poses several challenging tasks. For tracking-bydetection, these include object re-identification, motion prediction and dealing with occlusions. We present a tracker (without bells and whistles) that accomplishes tracking without specifically targeting any of these tasks, in particular, we perform no training or optimization on tracking data. To this end, we exploit the bounding box regression of an object detector to predict the position of an object in the next frame, thereby converting a detector into a Tracktor. We demonstrate the potential of Tracktor and provide a new state-of-the-art on three multi-object tracking benchmarks by extending it with a straightforward re-identification and camera motion compensation.We then perform an analysis on the performance and failure cases of several state-of-the-art tracking methods in comparison to our Tracktor. Surprisingly, none of the dedicated tracking methods are considerably better in dealing with complex tracking scenarios, namely, small and occluded objects or missing detections. However, our approach tackles most of the easy tracking scenarios. Therefore, we motivate our approach as a new tracking paradigm and point out promising future research directions. Overall, Tracktor yields superior tracking performance than any current tracking method and our analysis exposes remaining and unsolved tracking challenges to inspire future research directions.

We propose a light-weight and highly efficient Joint Detection and Tracking pipeline for the task of Multi-Object Tracking using a fully-transformer architecture. It is a modified version of TransTrack, which overcomes the computational bottleneck associated with its design, and at the same time, achieves state-of-the-art MOTA score of 73.20%. The model design is driven by a transformer based backbone instead of CNN, which is highly scalable with the input resolution. We also propose a drop-in replacement for Feed Forward Network of transformer encoder layer, by using Butterfly Transform Operation to perform channel fusion and depth-wise convolution to learn spatial context within the feature maps, otherwise missing within the attention maps of the transformer. As a result of our modifications, we reduce the overall model size of TransTrack by 58.73% and the complexity by 78.72%. Therefore, we expect our design to provide novel perspectives for architecture optimization in future research related to multi-object tracking.

近年来，多个对象跟踪引起了研究人员的极大兴趣，它已成为计算机视觉中的趋势问题之一，尤其是随着自动驾驶的最新发展。 MOT是针对不同问题的关键视觉任务之一，例如拥挤的场景中的闭塞，相似的外观，小物体检测难度，ID切换等，以应对这些挑战，因为研究人员试图利用变压器的注意力机制，与田径的相互关系，与田径的相互关系，图形卷积神经网络，与暹罗网络不同帧中对象的外观相似性，他们还尝试了基于IOU匹配的CNN网络，使用LSTM的运动预测。为了将这些零散的技术在雨伞下采用，我们研究了过去三年发表的一百多篇论文，并试图提取近代研究人员更关注的技术来解决MOT的问题。我们已经征集了许多应用，可能性以及MOT如何与现实生活有关。我们的评论试图展示研究人员使用过时的技术的不同观点，并为潜在的研究人员提供了一些未来的方向。此外，我们在这篇评论中包括了流行的基准数据集和指标。

多对象跟踪（MOT）需要通过帧检测和关联对象。与通过检测到的边界框或将对象作为点跟踪不同，我们建议跟踪对象作为像素分布。我们将此想法实例化，以基于变压器的体系结构P3Aformer，并具有像素的传播，预测和关联。P3Aformer通过流量信息引导的Pixel-Pixel特征，以传递帧之间的消息。此外，P3Aformer采用元结构结构来生成多尺度对象特征图。在推断期间，提出了一个像素关联过程，以基于像素的预测来通过帧恢复对象连接。P3Aformer在MOT17基准上的MOTA中产生81.2 \％，这是所有变压器网络中第一个达到文献中80 \％MOTA。P3AFORMER在MOT20和Kitti基准测试上也优于最先进的。

不同对象之间的闭塞是多对象跟踪（MOT）中的典型挑战，这通常导致由于丢失的检测到的对象导致较差的跟踪结果。多对象跟踪中的常见做法是重新识别出现后的错过对象。虽然重新识别可以提高跟踪性能，但是需要培训型号的身份的注释。此外，这种重新识别的做法仍然不能在探测器错过时跟踪那些高度遮挡的物体。在本文中，我们专注于在线多目标跟踪和设计两种新颖的模块，无监督的重新识别学习模块和遮挡估计模块，处理这些问题。具体地，所提出的无监督重新识别学习模块不需要任何（伪）身份信息，也不需要缩放性问题。所提出的遮挡估计模块尝试预测闭塞发生的位置，其用于估计探测器错过对象的位置。我们的研究表明，当应用于最先进的MOT方法时，所提出的无监督的重新识别学习与监督重新识别学习相当，并且通过所提出的遮挡估计模块进一步改善了跟踪性能。

以前的在线3D多对象跟踪（3DMOT）方法在与几帧的新检测无关时终止ROCKET。但是如果一个物体刚刚变暗，就像被其他物体暂时封闭或者只是从FOV暂时封闭一样，过早地终止ROCKET将导致身份切换。我们揭示了过早的轨迹终端是现代3DMOT系统中身份开关的主要原因。为了解决这个问题，我们提出了一个不朽的跟踪器，一个简单的跟踪系统，它利用轨迹预测来维护对象变暗的物体的轨迹。我们使用一个简单的卡尔曼滤波器进行轨迹预测，并在目标不可见时通过预测保留轨迹。通过这种方法，我们可以避免由过早托管终止产生的96％的车辆标识开关。如果没有任何学习的参数，我们的方法在Waymo Open DataSet测试集上的车载类别的0.0001级和竞争Mota处实现了不匹配的比率。我们的不匹配比率比任何先前发表的方法低一倍。在NUSCENes上报告了类似的结果。我们相信拟议的不朽追踪器可以为推动3DMOT的极限提供简单而强大的解决方案。我们的代码可在https://github.com/immortaltracker/immortaltracker中找到。

To track the 3D locations and trajectories of the other traffic participants at any given time, modern autonomous vehicles are equipped with multiple cameras that cover the vehicle's full surroundings. Yet, camera-based 3D object tracking methods prioritize optimizing the single-camera setup and resort to post-hoc fusion in a multi-camera setup. In this paper, we propose a method for panoramic 3D object tracking, called CC-3DT, that associates and models object trajectories both temporally and across views, and improves the overall tracking consistency. In particular, our method fuses 3D detections from multiple cameras before association, reducing identity switches significantly and improving motion modeling. Our experiments on large-scale driving datasets show that fusion before association leads to a large margin of improvement over post-hoc fusion. We set a new state-of-the-art with 12.6% improvement in average multi-object tracking accuracy (AMOTA) among all camera-based methods on the competitive NuScenes 3D tracking benchmark, outperforming previously published methods by 6.5% in AMOTA with the same 3D detector.

Generic Object Tracking (GOT) is the problem of tracking target objects, specified by bounding boxes in the first frame of a video. While the task has received much attention in the last decades, researchers have almost exclusively focused on the single object setting. Multi-object GOT benefits from a wider applicability, rendering it more attractive in real-world applications. We attribute the lack of research interest into this problem to the absence of suitable benchmarks. In this work, we introduce a new large-scale GOT benchmark, LaGOT, containing multiple annotated target objects per sequence. Our benchmark allows researchers to tackle key remaining challenges in GOT, aiming to increase robustness and reduce computation through joint tracking of multiple objects simultaneously. Furthermore, we propose a Transformer-based GOT tracker TaMOS capable of joint processing of multiple objects through shared computation. TaMOs achieves a 4x faster run-time in case of 10 concurrent objects compared to tracking each object independently and outperforms existing single object trackers on our new benchmark. Finally, TaMOs achieves highly competitive results on single-object GOT datasets, setting a new state-of-the-art on TrackingNet with a success rate AUC of 84.4%. Our benchmark, code, and trained models will be made publicly available.

The recent trend in multiple object tracking (MOT) is jointly solving detection and tracking, where object detection and appearance feature (or motion) are learned simultaneously. Despite competitive performance, in crowded scenes, joint detection and tracking usually fail to find accurate object associations due to missed or false detections. In this paper, we jointly model counting, detection and re-identification in an end-to-end framework, named CountingMOT, tailored for crowded scenes. By imposing mutual object-count constraints between detection and counting, the CountingMOT tries to find a balance between object detection and crowd density map estimation, which can help it to recover missed detections or reject false detections. Our approach is an attempt to bridge the gap of object detection, counting, and re-Identification. This is in contrast to prior MOT methods that either ignore the crowd density and thus are prone to failure in crowded scenes, or depend on local correlations to build a graphical relationship for matching targets. The proposed MOT tracker can perform online and real-time tracking, and achieves the state-of-the-art results on public benchmarks MOT16 (MOTA of 77.6), MOT17 (MOTA of 78.0%) and MOT20 (MOTA of 70.2%).

数据关联是遵循逐个检测范式跟踪的任何多个对象跟踪方法（MOT）方法的关键组件。为了生成完整的轨迹，这种方法采用数据关联过程来在每个时间步长期间建立检测和现有目标之间的分配。最近的数据关联方法试图解决多维线性分配任务或网络流量最小化问题，或者要么通过多个假设跟踪解决。但是，在推论过程中，每个序列帧都需要计算最佳分配的优化步骤，并在任何给定的解决方案中添加显着的计算复杂性。为此，在这项工作的背景下，我们介绍了基于变压器的作业决策网络（TADN），该决策网络（TADN）可以解决数据关联，而无需在推理过程中进行任何明确的优化。特别是，TADN可以在网络的单个正向传球中直接推断检测和活动目标之间的分配对。我们已经将TADN整合到了一个相当简单的MOT框架中，我们设计了一种新颖的培训策略，用于有效的端到端培训，并在两个流行的基准上展示了我们在线视觉跟踪MOT的高潜力，即Mot17和Mot17和UA-DETRAC。我们提出的方法在大多数评估指标中的最新方法都优于最先进的方法，尽管它作为跟踪器的简单性质缺乏重要的辅助组件，例如闭塞处理或重新识别。我们的方法的实现可在https://github.com/psaltaath/tadn-mot上公开获得。

本文介绍了一种名为Polytrack的新方法，用于使用边界多边形的快速多目标跟踪和分段。PolyTrack通过产生其中心键盘的热插拔来检测物体。对于它们中的每一个，通过在每个实例上计算限定多边形而不是传统边界框来完成粗略分割。通过将两个连续帧作为输入来完成跟踪，并计算在第一帧中检测到的每个对象的中心偏移，以预测其在第二帧中的位置。还应用了卡尔曼滤波器以减少ID交换机的数量。由于我们的目标应用程序是自动化驾驶系统，因此我们在城市环境视频上应用了方法。我们在MOTS和Kittimots数据集上培训和评估多轨。结果表明，跟踪多边形可以是边界框和掩模跟踪的良好替代品。Polytrack代码可在https://github.com/gafaua/polytrack上获得。

3D多对象跟踪（MOT）确保在连续动态检测过程中保持一致性，有利于自动驾驶中随后的运动计划和导航任务。但是，基于摄像头的方法在闭塞情况下受到影响，准确跟踪基于激光雷达的方法的对象的不规则运动可能是具有挑战性的。某些融合方法效果很好，但不认为在遮挡下出现外观特征的不可信问题。同时，错误检测问题也显着影响跟踪。因此，我们根据组合的外观运动优化（Camo-Mot）提出了一种新颖的相机融合3D MOT框架，该框架使用相机和激光镜数据，并大大减少了由遮挡和错误检测引起的跟踪故障。对于遮挡问题，我们是第一个提出遮挡头来有效地选择最佳对象外观的人，从而减少了闭塞的影响。为了减少错误检测在跟踪中的影响，我们根据置信得分设计一个运动成本矩阵，从而提高了3D空间中的定位和对象预测准确性。由于现有的多目标跟踪方法仅考虑一个类别，因此我们还建议建立多类损失，以在多类别场景中实现多目标跟踪。在Kitti和Nuscenes跟踪基准测试上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模式MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（CAR为23，行人为137）。并且我们提出的方法在Nuscenes测试数据集上以75.3％的AMOTA进行了所有算法中的最新性能。