图提供了一种自然的方式来制定多个对象跟踪（MOT）和多个对象跟踪和分割（MOTS），逐个检测范式中。但是，他们还引入了学习方法的主要挑战，因为定义可以在这种结构化领域运行的模型并不是微不足道的。在这项工作中，我们利用MOT的经典网络流程公式来定义基于消息传递网络（MPN）的完全微分框架。通过直接在图形域上操作，我们的方法可以在整个检测和利用上下文特征上全球推理。然后，它共同预测了数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用这两个任务之间的协同作用。我们在几个公开可用的数据集中获得跟踪和细分的最新结果。我们的代码可在github.com/ocetintas/mpntrackseg上找到。

Tracking objects over long videos effectively means solving a spectrum of problems, from short-term association for un-occluded objects to long-term association for objects that are occluded and then reappear in the scene. Methods tackling these two tasks are often disjoint and crafted for specific scenarios, and top-performing approaches are often a mix of techniques, which yields engineering-heavy solutions that lack generality. In this work, we question the need for hybrid approaches and introduce SUSHI, a unified and scalable multi-object tracker. Our approach processes long clips by splitting them into a hierarchy of subclips, which enables high scalability. We leverage graph neural networks to process all levels of the hierarchy, which makes our model unified across temporal scales and highly general. As a result, we obtain significant improvements over state-of-the-art on four diverse datasets. Our code and models will be made available.

Existing Multiple Object Tracking (MOT) methods design complex architectures for better tracking performance. However, without a proper organization of input information, they still fail to perform tracking robustly and suffer from frequent identity switches. In this paper, we propose two novel methods together with a simple online Message Passing Network (MPN) to address these limitations. First, we explore different integration methods for the graph node and edge embeddings and put forward a new IoU (Intersection over Union) guided function, which improves long term tracking and handles identity switches. Second, we introduce a hierarchical sampling strategy to construct sparser graphs which allows to focus the training on more difficult samples. Experimental results demonstrate that a simple online MPN with these two contributions can perform better than many state-of-the-art methods. In addition, our association method generalizes well and can also improve the results of private detection based methods.

大多数（3D）多对象跟踪方法依赖于数据关联的外观提示。相比之下，我们研究了仅通过编码3D空间中对象之间的几何关系作为数据驱动数据关联的线索，我们才能达到多远。我们将3D检测编码为图中的节点，其中对象之间的空间和时间成对关系是通过图边缘上的局部极性坐标编码的。这种表示使我们的几何关系不变到全球变换和平滑的轨迹变化，尤其是在非全面运动下。这使我们的图形神经网络可以学会有效地编码时间和空间交互，并充分利用上下文和运动提示，以通过将数据关联作为边缘分类来获得最终场景解释。我们在Nuscenes数据集上建立了一个新的最先进的方法，更重要的是，我们的方法在不同位置（波士顿，新加坡，Karlsruhe）和数据集（Nuscenes和Kitti）中跨越了我们的方法。

The problem of tracking multiple objects in a video sequence poses several challenging tasks. For tracking-bydetection, these include object re-identification, motion prediction and dealing with occlusions. We present a tracker (without bells and whistles) that accomplishes tracking without specifically targeting any of these tasks, in particular, we perform no training or optimization on tracking data. To this end, we exploit the bounding box regression of an object detector to predict the position of an object in the next frame, thereby converting a detector into a Tracktor. We demonstrate the potential of Tracktor and provide a new state-of-the-art on three multi-object tracking benchmarks by extending it with a straightforward re-identification and camera motion compensation.We then perform an analysis on the performance and failure cases of several state-of-the-art tracking methods in comparison to our Tracktor. Surprisingly, none of the dedicated tracking methods are considerably better in dealing with complex tracking scenarios, namely, small and occluded objects or missing detections. However, our approach tackles most of the easy tracking scenarios. Therefore, we motivate our approach as a new tracking paradigm and point out promising future research directions. Overall, Tracktor yields superior tracking performance than any current tracking method and our analysis exposes remaining and unsolved tracking challenges to inspire future research directions.

我们提出了一种新的方法，用于从室内环境中的RGB-D序列进行连接3D多对象跟踪和重建。为此，我们在每个帧中检测并重建对象，同时预测密集的对应关系映射到归一化对象空间中。我们利用这些对应关系来告知图神经网络，以解决所有对象的最佳，时间一致的7-DOF姿势轨迹。我们方法的新颖性是两个方面：首先，我们提出了一种基于图的新方法，用于随着时间的流逝而进行区分姿势估计，以学习最佳的姿势轨迹。其次，我们提出了沿时间轴的重建和姿势估计的联合公式，以实现健壮和几何一致的多对象跟踪。为了验证我们的方法，我们引入了一个新的合成数据集，其中包含2381个唯一室内序列，总共有60k渲染的RGB-D图像，用于多对象跟踪，并带有移动对象和来自合成3D-Front数据集的相机位置。我们证明，与现有最新方法相比，我们的方法将所有测试序列的累积MOTA得分提高了24.8％。在关于合成和现实世界序列的几个消融中，我们表明我们的基于图的完全端到端学习方法可以显着提高跟踪性能。

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

数据关联是遵循逐个检测范式跟踪的任何多个对象跟踪方法（MOT）方法的关键组件。为了生成完整的轨迹，这种方法采用数据关联过程来在每个时间步长期间建立检测和现有目标之间的分配。最近的数据关联方法试图解决多维线性分配任务或网络流量最小化问题，或者要么通过多个假设跟踪解决。但是，在推论过程中，每个序列帧都需要计算最佳分配的优化步骤，并在任何给定的解决方案中添加显着的计算复杂性。为此，在这项工作的背景下，我们介绍了基于变压器的作业决策网络（TADN），该决策网络（TADN）可以解决数据关联，而无需在推理过程中进行任何明确的优化。特别是，TADN可以在网络的单个正向传球中直接推断检测和活动目标之间的分配对。我们已经将TADN整合到了一个相当简单的MOT框架中，我们设计了一种新颖的培训策略，用于有效的端到端培训，并在两个流行的基准上展示了我们在线视觉跟踪MOT的高潜力，即Mot17和Mot17和UA-DETRAC。我们提出的方法在大多数评估指标中的最新方法都优于最先进的方法，尽管它作为跟踪器的简单性质缺乏重要的辅助组件，例如闭塞处理或重新识别。我们的方法的实现可在https://github.com/psaltaath/tadn-mot上公开获得。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

多摄像机多对象跟踪目前在计算机视野中引起了注意力，因为它在现实世界应用中的卓越性能，如具有拥挤场景或巨大空间的视频监控。在这项工作中，我们提出了一种基于空间升降的多乳制型配方的数学上优雅的多摄像多对象跟踪方法。我们的模型利用单摄像头跟踪器产生的最先进的TOOTWLET作为提案。由于这些Tracklet可能包含ID-Switch错误，因此我们通过从3D几何投影获得的新型预簇来完善它们。因此，我们派生了更好的跟踪图，没有ID交换机，更精确的数据关联阶段的亲和力成本。然后通过求解全局提升的多乳制型制剂，将轨迹与多摄像机轨迹匹配，该组件包含位于同一相机和相互相机间的Tracklet上的短路和远程时间交互。在Wildtrack DataSet的实验结果是近乎完美的结果，在校园上表现出最先进的追踪器，同时在PETS-09数据集上处于校准状态。我们将在接受纸质时进行我们的实施。

我们提出了一种新型的图形神经网络（GNN）方法，用于高通量显微镜视频中的细胞跟踪。通过将整个延时序列建模为直接图，其中细胞实例由其节点及其边缘表示，我们通过查找图中的最大路径来提取整个细胞轨迹。这是由纳入端到端深度学习框架中的几个关键贡献来完成的。我们利用深度度量学习算法来提取细胞特征向量，以区分不同生物细胞的实例并组装相同的细胞实例。我们引入了一种新的GNN块类型，该类型可以对节点和边缘特征向量进行相互更新，从而促进基础消息传递过程。消息传递概念的范围由GNN块的数量确定，这是至关重要的，因为它可以在连续的框架中实现节点和边缘之间的“节点和边缘”之间的“流动”。最后，我们解决了边缘分类问题，并使用已确定的活动边缘来构建单元格的轨道和谱系树。我们通过将其应用于不同细胞类型，成像设置和实验条件的2D和3D数据集，来证明所提出的细胞跟踪方法的强度。我们表明，我们的框架在大多数评估的数据集上都优于当前最新方法。该代码可在我们的存储库中获得：https：//github.com/talbenha/cell-tracker-gnn。

近年来，多个对象跟踪引起了研究人员的极大兴趣，它已成为计算机视觉中的趋势问题之一，尤其是随着自动驾驶的最新发展。 MOT是针对不同问题的关键视觉任务之一，例如拥挤的场景中的闭塞，相似的外观，小物体检测难度，ID切换等，以应对这些挑战，因为研究人员试图利用变压器的注意力机制，与田径的相互关系，与田径的相互关系，图形卷积神经网络，与暹罗网络不同帧中对象的外观相似性，他们还尝试了基于IOU匹配的CNN网络，使用LSTM的运动预测。为了将这些零散的技术在雨伞下采用，我们研究了过去三年发表的一百多篇论文，并试图提取近代研究人员更关注的技术来解决MOT的问题。我们已经征集了许多应用，可能性以及MOT如何与现实生活有关。我们的评论试图展示研究人员使用过时的技术的不同观点，并为潜在的研究人员提供了一些未来的方向。此外，我们在这篇评论中包括了流行的基准数据集和指标。

基于LIDAR的3D对象检测的先前工作主要集中在单帧范式上。在本文中，我们建议通过利用多个帧的时间信息（即点云视频）来检测3D对象。我们从经验上将时间信息分为短期和长期模式。为了编码短期数据，我们提出了一个网格消息传递网络（GMPNET），该网络将每个网格（即分组点）视为节点，并用邻居网格构造K-NN图。为了更新网格的功能，gmpnet迭代从其邻居那里收集信息，从而从附近的框架中挖掘了运动提示。为了进一步汇总长期框架，我们提出了一个细心的时空变压器GRU（AST-GRU），其中包含空间变压器注意（STA）模块和颞变压器注意（TTA）模块。 STA和TTA增强了香草gru，以专注于小物体并更好地对齐运动对象。我们的整体框架支持点云中的在线和离线视频对象检测。我们基于普遍的基于锚和锚的探测器实现算法。关于挑战性的Nuscenes基准的评估结果显示了我们方法的出色表现，在提交论文时，在没有任何铃铛和哨声的情况下在排行榜上获得了第一个。

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。

相机的估计与一组图像相关联的估计通常取决于图像之间的特征匹配。相比之下，我们是第一个通过使用对象区域来指导姿势估计问题而不是显式语义对象检测来应对这一挑战的人。我们提出了姿势炼油机网络（PosErnet），一个轻量级的图形神经网络，以完善近似的成对相对摄像头姿势。posernet利用对象区域之间的关联（简洁地表示为边界框），跨越了多个视图到全球完善的稀疏连接的视图图。我们在不同尺寸的图表上评估了7个尺寸的数据集，并展示了该过程如何有益于基于优化的运动平均算法，从而相对于基于边界框获得的初始估计，将旋转的中值误差提高了62度。代码和数据可在https://github.com/iit-pavis/posernet上找到。

将对象检测和ID嵌入提取到统一网络的单次多对象跟踪，近年来取得了开创性的结果。然而，目前的单次追踪器仅依赖于单帧检测来预测候选界限盒，当面对灾难性的视觉下降时，例如运动模糊，闭塞时可能是不可靠的。一旦检测器错误地被错误地归类为背景，将不再维护其相应的ROCKLET的时间一致性。在本文中，我们首先通过提出重新检查网络恢复被错误分类为“假背景”的边界框。重新检查网络创新地扩展了ID从数据关联嵌入ID的角色，以通过有效地将先前的轨迹传播到具有小开销的当前帧的运动预测。请注意，传播结果由独立和有效的嵌入搜索产生，防止模型过度依赖于检测结果。最终，它有助于重新加载“假背景”并修复破碎的Tracklet。在强大的基线Cstrack上建立一个新的单次追踪器，分别通过70.7 $ 76.4，70.6 $ \右前场达到76.3美元的MOT17和MOT17。它还达到了新的最先进的Mota和IDF1性能。代码在https://github.com/judasdie/sots发布。

The recent trend in multiple object tracking (MOT) is jointly solving detection and tracking, where object detection and appearance feature (or motion) are learned simultaneously. Despite competitive performance, in crowded scenes, joint detection and tracking usually fail to find accurate object associations due to missed or false detections. In this paper, we jointly model counting, detection and re-identification in an end-to-end framework, named CountingMOT, tailored for crowded scenes. By imposing mutual object-count constraints between detection and counting, the CountingMOT tries to find a balance between object detection and crowd density map estimation, which can help it to recover missed detections or reject false detections. Our approach is an attempt to bridge the gap of object detection, counting, and re-Identification. This is in contrast to prior MOT methods that either ignore the crowd density and thus are prone to failure in crowded scenes, or depend on local correlations to build a graphical relationship for matching targets. The proposed MOT tracker can perform online and real-time tracking, and achieves the state-of-the-art results on public benchmarks MOT16 (MOTA of 77.6), MOT17 (MOTA of 78.0%) and MOT20 (MOTA of 70.2%).

3D多对象跟踪旨在唯一，始终如一地识别所有移动实体。尽管在此设置中提供了丰富的时空信息，但当前的3D跟踪方法主要依赖于抽象的信息和有限的历史记录，例如单帧对象边界框。在这项工作中，我们开发了对交通场景的整体表示，该场景利用了现场演员的空间和时间信息。具体而言，我们通过将跟踪的对象表示为时空点和边界框的序列来重新将跟踪作为时空问题，并在悠久的时间历史上进行重新制定。在每个时间戳上，我们通过对对象历史记录的完整顺序进行的细化来改善跟踪对象的位置和运动估计。通过共同考虑时间和空间，我们的代表自然地编码了基本的物理先验，例如对象持久性和整个时间的一致性。我们的时空跟踪框架在Waymo和Nuscenes基准测试中实现了最先进的性能。

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。