宽阔的区域运动图像（瓦米）产生具有大量极小物体的高分辨率图像。目标物体在连续帧中具有大的空间位移。令人讨厌的图像的这种性质使对象跟踪和检测具有挑战性。在本文中，我们介绍了我们基于深度神经网络的组合对象检测和跟踪模型，即热图网络（HM-Net）。 HM-Net明显快于最先进的帧差异和基于背景减法的方法，而不会影响检测和跟踪性能。 HM-Net遵循基于对象的联合检测和跟踪范式。简单的热图的预测支持无限数量的同时检测。所提出的方法使用来自前一帧的两个连续帧和物体检测热图作为输入，这有助于帧之间的HM-Net监视器时空变化并跟踪先前预测的对象。尽管重复使用先前的物体检测热图作为基于生命的反馈的存储器元件，但它可能导致假阳性检测的意外浪涌。为了增加对误报和消除低置信度检测的方法的稳健性，HM-Net采用新的反馈滤波器和高级数据增强。 HM-Net优于最先进的WAMI移动对象检测和跟踪WPAFB数据集的跟踪方法，其96.2％F1和94.4％地图检测分数，同时在同一数据集上实现61.8％的地图跟踪分数。这种性能对应于F1，6.1％的地图分数的增长率为2.1％，而在追踪最先进的地图分数的地图分数为9.5％。

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

这项工作为卫星视频中的车辆检测提供了一种深度学习方法。由于车辆的微小（4-10像素）及其与背景的相似性，因此在单个EO卫星图像中可能不可能进行车辆检测。取而代之的是，我们考虑卫星视频，该视频克服了由于车辆运动的时间一致性而缺乏空间信息。提出了一种紧凑型$ 3 $ 3 $卷积的神经网络的新时空模型，该模型忽略了合并层并使用泄漏的保留。然后，我们使用输出热图的重新制定，包括最终分割的非最大抑制（NMS）。两个新的带注释的卫星视频的经验结果重新确认该方法用于车辆检测的适用性。他们更重要的是表明，对WAMI数据进行预训练，然后在几个带注释的视频帧上进行微调以进行新视频就足够了。在我们的实验中，只有五个带注释的图像在新视频中产生的$ F_1 $得分为0.81，显示出比拉斯维加斯视频更复杂的流量模式。我们对拉斯维加斯的最佳结果是$ F_1 $得分为0.87，这使得拟议的方法成为该基准的领先方法。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

近年来，多个对象跟踪引起了研究人员的极大兴趣，它已成为计算机视觉中的趋势问题之一，尤其是随着自动驾驶的最新发展。 MOT是针对不同问题的关键视觉任务之一，例如拥挤的场景中的闭塞，相似的外观，小物体检测难度，ID切换等，以应对这些挑战，因为研究人员试图利用变压器的注意力机制，与田径的相互关系，与田径的相互关系，图形卷积神经网络，与暹罗网络不同帧中对象的外观相似性，他们还尝试了基于IOU匹配的CNN网络，使用LSTM的运动预测。为了将这些零散的技术在雨伞下采用，我们研究了过去三年发表的一百多篇论文，并试图提取近代研究人员更关注的技术来解决MOT的问题。我们已经征集了许多应用，可能性以及MOT如何与现实生活有关。我们的评论试图展示研究人员使用过时的技术的不同观点，并为潜在的研究人员提供了一些未来的方向。此外，我们在这篇评论中包括了流行的基准数据集和指标。

卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。

检测和避免（DAA）功能对于无人飞机系统（UAS）的安全操作至关重要。本文介绍了Airtrack，这是一个仅实时视觉检测和跟踪框架，尊重SUAS系统的大小，重量和功率（交换）约束。鉴于遥远飞机的低信噪比（SNR），我们建议在深度学习框架中使用完整的分辨率图像，以对齐连续的图像以消除自我动态。然后，对齐的图像在级联的初级和次级分类器中下游使用，以改善多个指标的检测和跟踪性能。我们表明，Airtrack在亚马逊机载对象跟踪（AOT）数据集上胜过最先进的基线。多次现实世界的飞行测试与CESSNA 172与通用航空交通相互作用，并在受控的设置中朝着UAS飞向UAS的其他近碰撞飞行测试，该拟议方法满足了新引入的ASTM F3442/F3442M标准DAA标准。经验评估表明，我们的系统的概率超过900m，范围超过95％。视频可在https://youtu.be/h3ll_wjxjpw上找到。

每年，AEDESAEGYPTI蚊子都感染了数百万人，如登录，ZIKA，Chikungunya和城市黄热病等疾病。战斗这些疾病的主要形式是通过寻找和消除潜在的蚊虫养殖场来避免蚊子繁殖。在这项工作中，我们介绍了一个全面的空中视频数据集，获得了无人驾驶飞行器，含有可能的蚊帐。使用识别所有感兴趣对象的边界框手动注释视频数据集的所有帧。该数据集被用于开发基于深度卷积网络的这些对象的自动检测系统。我们提出了通过在可以注册检测到的对象的时空检测管道的对象检测流水线中的融合来利用视频中包含的时间信息，这些时间是可以注册检测到的对象的，最大限度地减少最伪正和假阴性的出现。此外，我们通过实验表明使用视频比仅使用框架对马赛克组成马赛克更有利。使用Reset-50-FPN作为骨干，我们可以分别实现0.65和0.77的F $ _1 $ -70分别对“轮胎”和“水箱”的对象级别检测，说明了正确定位潜在蚊子的系统能力育种对象。

The problem of tracking multiple objects in a video sequence poses several challenging tasks. For tracking-bydetection, these include object re-identification, motion prediction and dealing with occlusions. We present a tracker (without bells and whistles) that accomplishes tracking without specifically targeting any of these tasks, in particular, we perform no training or optimization on tracking data. To this end, we exploit the bounding box regression of an object detector to predict the position of an object in the next frame, thereby converting a detector into a Tracktor. We demonstrate the potential of Tracktor and provide a new state-of-the-art on three multi-object tracking benchmarks by extending it with a straightforward re-identification and camera motion compensation.We then perform an analysis on the performance and failure cases of several state-of-the-art tracking methods in comparison to our Tracktor. Surprisingly, none of the dedicated tracking methods are considerably better in dealing with complex tracking scenarios, namely, small and occluded objects or missing detections. However, our approach tackles most of the easy tracking scenarios. Therefore, we motivate our approach as a new tracking paradigm and point out promising future research directions. Overall, Tracktor yields superior tracking performance than any current tracking method and our analysis exposes remaining and unsolved tracking challenges to inspire future research directions.

在血管成形术的临床程序中（即开放式堵塞冠状动脉），在X射线荧光镜检查的指导下，需要将气球和支架等装置（例如气球和支架）放置在动脉中。由于X射线剂量的局限性，所得图像通常是嘈杂的。为了检查这些设备的正确放置，平均进行了多个运动补偿帧以增强视图。因此，设备跟踪是为此目的的必要过程。即使设计为具有易于跟踪的放射性标记的血管成形术设备，但由于标记尺寸较小和血管成形术中的复杂场景，当前的方法难以提供令人满意的结果。在本文中，我们提出了一个用于单个支架跟踪的端到端深度学习框架，该框架由三个层次模块组成：基于U-NET的Landmark检测，基于重新连接的支架提案和功能提取，以及图形卷积神经网络（GCN）基于暂时聚集空间信息和外观特征的支架跟踪。实验表明，与基于点的跟踪模型相比，我们的方法在检测中的性能明显更好。此外，其快速推理速度满足临床要求。

Single-frame InfraRed Small Target (SIRST) detection has been a challenging task due to a lack of inherent characteristics, imprecise bounding box regression, a scarcity of real-world datasets, and sensitive localization evaluation. In this paper, we propose a comprehensive solution to these challenges. First, we find that the existing anchor-free label assignment method is prone to mislabeling small targets as background, leading to their omission by detectors. To overcome this issue, we propose an all-scale pseudo-box-based label assignment scheme that relaxes the constraints on scale and decouples the spatial assignment from the size of the ground-truth target. Second, motivated by the structured prior of feature pyramids, we introduce the one-stage cascade refinement network (OSCAR), which uses the high-level head as soft proposals for the low-level refinement head. This allows OSCAR to process the same target in a cascade coarse-to-fine manner. Finally, we present a new research benchmark for infrared small target detection, consisting of the SIRST-V2 dataset of real-world, high-resolution single-frame targets, the normalized contrast evaluation metric, and the DeepInfrared toolkit for detection. We conduct extensive ablation studies to evaluate the components of OSCAR and compare its performance to state-of-the-art model-driven and data-driven methods on the SIRST-V2 benchmark. Our results demonstrate that a top-down cascade refinement framework can improve the accuracy of infrared small target detection without sacrificing efficiency. The DeepInfrared toolkit, dataset, and trained models are available at https://github.com/YimianDai/open-deepinfrared to advance further research in this field.

在监控和搜索和救援应用程序中，重要的是在低端设备上实时执行多目标跟踪（MOT）。今天的MOT解决方案采用深度神经网络，往往具有高计算复杂性。识别帧大小对跟踪性能的影响，我们提出了深度，一种模型不可知框架尺寸选择方法，可在现有的全卷积网络基跟踪器之上进行操作，以加速跟踪吞吐量。在培训阶段，我们将可检测性分数纳入单次跟踪器架构，使得DeepScale以自我监督的方式学习不同帧大小的表示估计。在推理期间，它可以根据基于用户控制参数根据视觉内容的复杂性来调整帧大小。为了利用边缘服务器上的计算资源，我们提出了两个计算分区模式，即仅使用自适应帧大小传输和边缘服务器辅助跟踪仅适用于MOT，即边缘服务器。 MOT数据集的广泛实验和基准测试证明了深度的有效性和灵活性。与最先进的追踪器相比，DeepScale ++，DeepScale的变种实现1.57倍加速，仅在一个配置中的MOT15数据集上跟踪准确性。我们已经实现和评估了DeepScale ++，以及由NVIDIA JETSON TX2板和GPU服务器组成的小型测试平台上所提出的计算分区方案。实验显示与仅服务器或智能相机的解决方案相比跟踪性能和延迟之间的非琐碎权衡。

由于卷积神经网络（CNN）在过去的十年中检测成功，多对象跟踪（MOT）通过检测方法的使用来控制。随着数据集和基础标记网站的发布，研究方向已转向在跟踪时在包括重新识别对象的通用场景（包括重新识别（REID））上的最佳准确性。在这项研究中，我们通过提供专用的行人数据集并专注于对性能良好的多对象跟踪器的深入分析来缩小监视的范围）现实世界应用的技术。为此，我们介绍SOMPT22数据集；一套新的，用于多人跟踪的新套装，带有带注释的简短视频，该视频从位于杆子上的静态摄像头捕获，高度为6-8米，用于城市监视。与公共MOT数据集相比，这提供了室外监视的MOT的更为集中和具体的基准。我们分析了该新数据集上检测和REID网络的使用方式，分析了将MOT跟踪器分类为单发和两阶段。我们新数据集的实验结果表明，SOTA远非高效率，而单一跟踪器是统一快速执行和准确性的良好候选者，并具有竞争性的性能。该数据集将在以下网址提供：sompt22.github.io

最近的多目标跟踪（MOT）系统利用高精度的对象探测器;然而，培训这种探测器需要大量标记的数据。虽然这种数据广泛适用于人类和车辆，但其他动物物种显着稀缺。我们目前稳健的置信跟踪（RCT），一种算法，旨在保持鲁棒性能，即使检测质量差。与丢弃检测置信信息的先前方法相比，RCT采用基本上不同的方法，依赖于精确的检测置信度值来初始化曲目，扩展轨道和滤波器轨道。特别地，RCT能够通过有效地使用低置信度检测（以及单个物体跟踪器）来最小化身份切换，以保持对象的连续轨道。为了评估在存在不可靠的检测中的跟踪器，我们提出了一个挑战的现实世界水下鱼跟踪数据集，Fishtrac。在对FISHTRAC以及UA-DETRAC数据集的评估中，我们发现RCT在提供不完美的检测时优于其他算法，包括最先进的深单和多目标跟踪器以及更经典的方法。具体而言，RCT具有跨越方法的最佳平均热量，可以成功返回所有序列的结果，并且具有比其他方法更少的身份交换机。

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

视频中的实时和在线行动本地化是一个关键但极具挑战性的问题。准确的行动定位需要利用时间和空间信息。最近的尝试通过使用计算密集的3D CNN架构或高度冗余的双流架构来实现这一目标，使它们既不适用于实时在线应用程序。为了在高度挑战的实时约束下完成活动本地化，我们提出利用基于快速高效的关键点的边界框预测到空间本地化动作。然后，我们介绍一种管链接算法，其在闭塞存在下在时间上保持动作管的连续性。此外，我们通过将时间和空间信息与级联输入组合到单个网络的级联输入来消除对双流架构的需要，允许网络从两种类型的信息中学习。使用结构相似索引图有效地提取了时间信息，而不是计算密集的光学流量。尽管我们的方法简单，我们的轻质端到端架构在挑战的UCF101-24数据集上实现了最先进的框架地图，达到了74.7％，展示了以前最好的在线方法的性能增益为6.4％ 。与在线和离线方法两者相比，我们还实现了最先进的视频地图结果。此外，我们的模型实现了41.8 FPS的帧速率，这是对当代实时方法的10.7％。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-theart performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, Center-Point outperforms all previous single model methods by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。

Event-based vision has been rapidly growing in recent years justified by the unique characteristics it presents such as its high temporal resolutions (~1us), high dynamic range (>120dB), and output latency of only a few microseconds. This work further explores a hybrid, multi-modal, approach for object detection and tracking that leverages state-of-the-art frame-based detectors complemented by hand-crafted event-based methods to improve the overall tracking performance with minimal computational overhead. The methods presented include event-based bounding box (BB) refinement that improves the precision of the resulting BBs, as well as a continuous event-based object detection method, to recover missed detections and generate inter-frame detections that enable a high-temporal-resolution tracking output. The advantages of these methods are quantitatively verified by an ablation study using the higher order tracking accuracy (HOTA) metric. Results show significant performance gains resembled by an improvement in the HOTA from 56.6%, using only frames, to 64.1% and 64.9%, for the event and edge-based mask configurations combined with the two methods proposed, at the baseline framerate of 24Hz. Likewise, incorporating these methods with the same configurations has improved HOTA from 52.5% to 63.1%, and from 51.3% to 60.2% at the high-temporal-resolution tracking rate of 384Hz. Finally, a validation experiment is conducted to analyze the real-world single-object tracking performance using high-speed LiDAR. Empirical evidence shows that our approaches provide significant advantages compared to using frame-based object detectors at the baseline framerate of 24Hz and higher tracking rates of up to 500Hz.