Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-theart performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, Center-Point outperforms all previous single model methods by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

3D多对象跟踪（MOT）确保在连续动态检测过程中保持一致性，有利于自动驾驶中随后的运动计划和导航任务。但是，基于摄像头的方法在闭塞情况下受到影响，准确跟踪基于激光雷达的方法的对象的不规则运动可能是具有挑战性的。某些融合方法效果很好，但不认为在遮挡下出现外观特征的不可信问题。同时，错误检测问题也显着影响跟踪。因此，我们根据组合的外观运动优化（Camo-Mot）提出了一种新颖的相机融合3D MOT框架，该框架使用相机和激光镜数据，并大大减少了由遮挡和错误检测引起的跟踪故障。对于遮挡问题，我们是第一个提出遮挡头来有效地选择最佳对象外观的人，从而减少了闭塞的影响。为了减少错误检测在跟踪中的影响，我们根据置信得分设计一个运动成本矩阵，从而提高了3D空间中的定位和对象预测准确性。由于现有的多目标跟踪方法仅考虑一个类别，因此我们还建议建立多类损失，以在多类别场景中实现多目标跟踪。在Kitti和Nuscenes跟踪基准测试上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模式MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（CAR为23，行人为137）。并且我们提出的方法在Nuscenes测试数据集上以75.3％的AMOTA进行了所有算法中的最新性能。

本文介绍了一种名为Polytrack的新方法，用于使用边界多边形的快速多目标跟踪和分段。PolyTrack通过产生其中心键盘的热插拔来检测物体。对于它们中的每一个，通过在每个实例上计算限定多边形而不是传统边界框来完成粗略分割。通过将两个连续帧作为输入来完成跟踪，并计算在第一帧中检测到的每个对象的中心偏移，以预测其在第二帧中的位置。还应用了卡尔曼滤波器以减少ID交换机的数量。由于我们的目标应用程序是自动化驾驶系统，因此我们在城市环境视频上应用了方法。我们在MOTS和Kittimots数据集上培训和评估多轨。结果表明，跟踪多边形可以是边界框和掩模跟踪的良好替代品。Polytrack代码可在https://github.com/gafaua/polytrack上获得。

The problem of tracking multiple objects in a video sequence poses several challenging tasks. For tracking-bydetection, these include object re-identification, motion prediction and dealing with occlusions. We present a tracker (without bells and whistles) that accomplishes tracking without specifically targeting any of these tasks, in particular, we perform no training or optimization on tracking data. To this end, we exploit the bounding box regression of an object detector to predict the position of an object in the next frame, thereby converting a detector into a Tracktor. We demonstrate the potential of Tracktor and provide a new state-of-the-art on three multi-object tracking benchmarks by extending it with a straightforward re-identification and camera motion compensation.We then perform an analysis on the performance and failure cases of several state-of-the-art tracking methods in comparison to our Tracktor. Surprisingly, none of the dedicated tracking methods are considerably better in dealing with complex tracking scenarios, namely, small and occluded objects or missing detections. However, our approach tackles most of the easy tracking scenarios. Therefore, we motivate our approach as a new tracking paradigm and point out promising future research directions. Overall, Tracktor yields superior tracking performance than any current tracking method and our analysis exposes remaining and unsolved tracking challenges to inspire future research directions.

多对象跟踪（MOT）需要通过帧检测和关联对象。与通过检测到的边界框或将对象作为点跟踪不同，我们建议跟踪对象作为像素分布。我们将此想法实例化，以基于变压器的体系结构P3Aformer，并具有像素的传播，预测和关联。P3Aformer通过流量信息引导的Pixel-Pixel特征，以传递帧之间的消息。此外，P3Aformer采用元结构结构来生成多尺度对象特征图。在推断期间，提出了一个像素关联过程，以基于像素的预测来通过帧恢复对象连接。P3Aformer在MOT17基准上的MOTA中产生81.2 \％，这是所有变压器网络中第一个达到文献中80 \％MOTA。P3AFORMER在MOT20和Kitti基准测试上也优于最先进的。

不同对象之间的闭塞是多对象跟踪（MOT）中的典型挑战，这通常导致由于丢失的检测到的对象导致较差的跟踪结果。多对象跟踪中的常见做法是重新识别出现后的错过对象。虽然重新识别可以提高跟踪性能，但是需要培训型号的身份的注释。此外，这种重新识别的做法仍然不能在探测器错过时跟踪那些高度遮挡的物体。在本文中，我们专注于在线多目标跟踪和设计两种新颖的模块，无监督的重新识别学习模块和遮挡估计模块，处理这些问题。具体地，所提出的无监督重新识别学习模块不需要任何（伪）身份信息，也不需要缩放性问题。所提出的遮挡估计模块尝试预测闭塞发生的位置，其用于估计探测器错过对象的位置。我们的研究表明，当应用于最先进的MOT方法时，所提出的无监督的重新识别学习与监督重新识别学习相当，并且通过所提出的遮挡估计模块进一步改善了跟踪性能。

多对象跟踪（MOT）的目标是检测和跟踪场景中的所有对象，同时为每个对象保留唯一的标识符。在本文中，我们提出了一种新的可靠的最新跟踪器，该跟踪器可以结合运动和外观信息的优势，以及摄像机运动补偿以及更准确的Kalman滤波器状态矢量。我们的新跟踪器在Mot17和Mot20测试集的Motchallenge [29，11]的数据集[29，11]中，Bot-Sort-Reid排名第一，就所有主要MOT指标而言：MOTA，IDF1和HOTA。对于Mot17：80.5 Mota，80.2 IDF1和65.0 HOTA。源代码和预培训模型可在https://github.com/niraharon/bot-sort上找到

本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。

最近的多目标跟踪（MOT）系统利用高精度的对象探测器;然而，培训这种探测器需要大量标记的数据。虽然这种数据广泛适用于人类和车辆，但其他动物物种显着稀缺。我们目前稳健的置信跟踪（RCT），一种算法，旨在保持鲁棒性能，即使检测质量差。与丢弃检测置信信息的先前方法相比，RCT采用基本上不同的方法，依赖于精确的检测置信度值来初始化曲目，扩展轨道和滤波器轨道。特别地，RCT能够通过有效地使用低置信度检测（以及单个物体跟踪器）来最小化身份切换，以保持对象的连续轨道。为了评估在存在不可靠的检测中的跟踪器，我们提出了一个挑战的现实世界水下鱼跟踪数据集，Fishtrac。在对FISHTRAC以及UA-DETRAC数据集的评估中，我们发现RCT在提供不完美的检测时优于其他算法，包括最先进的深单和多目标跟踪器以及更经典的方法。具体而言，RCT具有跨越方法的最佳平均热量，可以成功返回所有序列的结果，并且具有比其他方法更少的身份交换机。

Determining accurate bird's eye view (BEV) positions of objects and tracks in a scene is vital for various perception tasks including object interactions mapping, scenario extraction etc., however, the level of supervision required to accomplish that is extremely challenging to procure. We propose a light-weight, weakly supervised method to estimate 3D position of objects by jointly learning to regress the 2D object detections and scene's depth prediction in a single feed-forward pass of a network. Our proposed method extends a center-point based single-shot object detector \cite{zhou2019objects}, and introduces a novel object representation where each object is modeled as a BEV point spatio-temporally, without the need of any 3D or BEV annotations for training and LiDAR data at query time. The approach leverages readily available 2D object supervision along with LiDAR point clouds (used only during training) to jointly train a single network, that learns to predict 2D object detection alongside the whole scene's depth, to spatio-temporally model object tracks as points in BEV. The proposed method is computationally over $\sim$10x efficient compared to recent SOTA approaches [1, 38] while achieving comparable accuracies on KITTI tracking benchmark.

3D多对象跟踪旨在唯一，始终如一地识别所有移动实体。尽管在此设置中提供了丰富的时空信息，但当前的3D跟踪方法主要依赖于抽象的信息和有限的历史记录，例如单帧对象边界框。在这项工作中，我们开发了对交通场景的整体表示，该场景利用了现场演员的空间和时间信息。具体而言，我们通过将跟踪的对象表示为时空点和边界框的序列来重新将跟踪作为时空问题，并在悠久的时间历史上进行重新制定。在每个时间戳上，我们通过对对象历史记录的完整顺序进行的细化来改善跟踪对象的位置和运动估计。通过共同考虑时间和空间，我们的代表自然地编码了基本的物理先验，例如对象持久性和整个时间的一致性。我们的时空跟踪框架在Waymo和Nuscenes基准测试中实现了最先进的性能。

将对象检测和ID嵌入提取到统一网络的单次多对象跟踪，近年来取得了开创性的结果。然而，目前的单次追踪器仅依赖于单帧检测来预测候选界限盒，当面对灾难性的视觉下降时，例如运动模糊，闭塞时可能是不可靠的。一旦检测器错误地被错误地归类为背景，将不再维护其相应的ROCKLET的时间一致性。在本文中，我们首先通过提出重新检查网络恢复被错误分类为“假背景”的边界框。重新检查网络创新地扩展了ID从数据关联嵌入ID的角色，以通过有效地将先前的轨迹传播到具有小开销的当前帧的运动预测。请注意，传播结果由独立和有效的嵌入搜索产生，防止模型过度依赖于检测结果。最终，它有助于重新加载“假背景”并修复破碎的Tracklet。在强大的基线Cstrack上建立一个新的单次追踪器，分别通过70.7 $ 76.4，70.6 $ \右前场达到76.3美元的MOT17和MOT17。它还达到了新的最先进的Mota和IDF1性能。代码在https://github.com/judasdie/sots发布。

对象运动和对象外观是多个对象跟踪（MOT）应用中的常用信息，用于将帧跨越帧的检测相关联，或用于联合检测和跟踪方法的直接跟踪预测。然而，不仅是这两种类型的信息通常是单独考虑的，而且它们也没有帮助直接从当前感兴趣帧中使用视觉信息的用法。在本文中，我们提出了PatchTrack，一种基于变压器的联合检测和跟踪系统，其使用当前感兴趣的帧帧的曲线预测曲目。我们使用卡尔曼滤波器从前一帧预测当前帧中的现有轨道的位置。从预测边界框裁剪的补丁被发送到变压器解码器以推断新曲目。通过利用在补丁中编码的对象运动和对象外观信息，所提出的方法将更多地关注新曲目更有可能发生的位置。我们展示了近期MOT基准的Patchtrack的有效性，包括MOT16（MOTA 73.71％，IDF1 65.77％）和MOT17（MOTA 73.59％，IDF1 65.23％）。结果在https://motchallenge.net/method/mot=4725&chl=10上发布。

图提供了一种自然的方式来制定多个对象跟踪（MOT）和多个对象跟踪和分割（MOTS），逐个检测范式中。但是，他们还引入了学习方法的主要挑战，因为定义可以在这种结构化领域运行的模型并不是微不足道的。在这项工作中，我们利用MOT的经典网络流程公式来定义基于消息传递网络（MPN）的完全微分框架。通过直接在图形域上操作，我们的方法可以在整个检测和利用上下文特征上全球推理。然后，它共同预测了数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用这两个任务之间的协同作用。我们在几个公开可用的数据集中获得跟踪和细分的最新结果。我们的代码可在github.com/ocetintas/mpntrackseg上找到。

宽阔的区域运动图像（瓦米）产生具有大量极小物体的高分辨率图像。目标物体在连续帧中具有大的空间位移。令人讨厌的图像的这种性质使对象跟踪和检测具有挑战性。在本文中，我们介绍了我们基于深度神经网络的组合对象检测和跟踪模型，即热图网络（HM-Net）。 HM-Net明显快于最先进的帧差异和基于背景减法的方法，而不会影响检测和跟踪性能。 HM-Net遵循基于对象的联合检测和跟踪范式。简单的热图的预测支持无限数量的同时检测。所提出的方法使用来自前一帧的两个连续帧和物体检测热图作为输入，这有助于帧之间的HM-Net监视器时空变化并跟踪先前预测的对象。尽管重复使用先前的物体检测热图作为基于生命的反馈的存储器元件，但它可能导致假阳性检测的意外浪涌。为了增加对误报和消除低置信度检测的方法的稳健性，HM-Net采用新的反馈滤波器和高级数据增强。 HM-Net优于最先进的WAMI移动对象检测和跟踪WPAFB数据集的跟踪方法，其96.2％F1和94.4％地图检测分数，同时在同一数据集上实现61.8％的地图跟踪分数。这种性能对应于F1，6.1％的地图分数的增长率为2.1％，而在追踪最先进的地图分数的地图分数为9.5％。

本文提出了一个自我监督的目标，用于学习表征，将对象定位在遮挡下 - 一种被称为对象永久的属性。一个中心问题是在全部阻塞的情况下选择学习信号。我们没有直接监督看不见的对象的位置，而是提出一个自制的目标，该目标既不需要人类注释，也不需要对对象动态的假设。我们表明，对象永久性可以通过优化内存的时间连贯性来出现：我们沿着马尔可夫沿着记忆的时空图，每个时间步骤中的状态都是序列编码器中的非马克维亚特征。这导致了存储器表示，该内存表示存储遮挡的对象并预测其运动，以更好地本地化。最终的模型在数个复杂性和现实主义的数据集上的现有方法优于现有方法，尽管需要最少的监督，从而广泛适用。

To track the 3D locations and trajectories of the other traffic participants at any given time, modern autonomous vehicles are equipped with multiple cameras that cover the vehicle's full surroundings. Yet, camera-based 3D object tracking methods prioritize optimizing the single-camera setup and resort to post-hoc fusion in a multi-camera setup. In this paper, we propose a method for panoramic 3D object tracking, called CC-3DT, that associates and models object trajectories both temporally and across views, and improves the overall tracking consistency. In particular, our method fuses 3D detections from multiple cameras before association, reducing identity switches significantly and improving motion modeling. Our experiments on large-scale driving datasets show that fusion before association leads to a large margin of improvement over post-hoc fusion. We set a new state-of-the-art with 12.6% improvement in average multi-object tracking accuracy (AMOTA) among all camera-based methods on the competitive NuScenes 3D tracking benchmark, outperforming previously published methods by 6.5% in AMOTA with the same 3D detector.

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

数据关联是遵循逐个检测范式跟踪的任何多个对象跟踪方法（MOT）方法的关键组件。为了生成完整的轨迹，这种方法采用数据关联过程来在每个时间步长期间建立检测和现有目标之间的分配。最近的数据关联方法试图解决多维线性分配任务或网络流量最小化问题，或者要么通过多个假设跟踪解决。但是，在推论过程中，每个序列帧都需要计算最佳分配的优化步骤，并在任何给定的解决方案中添加显着的计算复杂性。为此，在这项工作的背景下，我们介绍了基于变压器的作业决策网络（TADN），该决策网络（TADN）可以解决数据关联，而无需在推理过程中进行任何明确的优化。特别是，TADN可以在网络的单个正向传球中直接推断检测和活动目标之间的分配对。我们已经将TADN整合到了一个相当简单的MOT框架中，我们设计了一种新颖的培训策略，用于有效的端到端培训，并在两个流行的基准上展示了我们在线视觉跟踪MOT的高潜力，即Mot17和Mot17和UA-DETRAC。我们提出的方法在大多数评估指标中的最新方法都优于最先进的方法，尽管它作为跟踪器的简单性质缺乏重要的辅助组件，例如闭塞处理或重新识别。我们的方法的实现可在https://github.com/psaltaath/tadn-mot上公开获得。