将视频视为一系列图像（框架），并重新使用Deep Neur网络模型，这是一种常见的做法，这些模型仅在视频上的图像上接受图像进行培训。在本文中，我们表明，这种信念的飞跃是，在图像上运作良好的深度学习模型也将在视频上效果很好。我们表明，即使摄像机正在查看没有以任何可察觉的方式变化的场景，并且我们控制了视频压缩和环境（照明）等外部因素，视频分析应用程序的准确性也会显着波动。发生这些波动是因为摄像机产生的连续帧可能在视觉上看起来相似，但是视频分析应用程序对这些帧的看法却大不相同。我们观察到这些波动的根本原因是摄像机自动进行的动态摄像头参数更改，以捕获和生成视觉上令人愉悦的视频。摄像机无意间充当无意的对手，因为如我们所示，连续帧中图像像素值的这些微小变化对从视频分析任务中重新使用图像训练的深度学习模型的见解的准确性产生了显着不利影响。为了从相机中解决这种无意的对抗效应，我们探讨了转移学习技术通过从图像分析任务中学习的知识转移来改善视频分析任务中的学习。特别是，我们表明，我们新训练的Yolov5模型在跨帧的对象检测中减少了波动，从而可以更好地跟踪对象（跟踪中的错误少40％）。我们的论文还提供了新的方向和技术，以减轻相机对用于视频分析应用程序的深度学习模型的对抗性影响。

视频分析系统批判性地依赖于摄像机，捕获高质量的视频帧，以实现高分辨率的精度。虽然现代视频摄像机经常暴露数十个可配置的参数设置，但是可以通过最终用户设置的，但今天监控摄像机的部署通常使用固定的一组参数设置，因为最终用户缺少能够重新配置这些参数的技能或理解。在本文中，我们首先表明，在典型的监视摄像机部署中，环境条件变化可能会显着影响人员检测，面部检测和面部识别等分析单元的准确性，以及如何通过动态调整相机设置来减轻这种不利影响。然后我们提出了Camtuner，这是一个可以轻松应用于现有视频分析管道（VAP）的框架，以实现复杂相机设置的自动和动态调整，以改变环境条件，并自主优化VAP中分析单元（AU）的准确性。 Camtuner基于Sarsa加固学习（RL），它包含两种新型组件：轻量级分析质量估算器和虚拟相机。 Camtuner在一个具有轴监控摄像头的系统中实现，几个VAP（具有各种AUS），在机场入口处加工了日常客户视频。我们的评估表明Camtuner可以快速适应更改环境。我们将Camtuner与使用静态相机设置的两种替代方法进行比较，或者每小时手动更改摄像机设置的草兵方法（基于人类对质量）。我们观察到，对于面部检测和人检测AU，与两种方法中最好的相比，Camtuner分别可以获得高达13.8％和9.2％的更高的准确性（两个AUS的8％的平均提高）。

IoT sensors, especially video cameras, are ubiquitously deployed around the world to perform a variety of computer vision tasks in several verticals including retail, healthcare, safety and security, transportation, manufacturing, etc. To amortize their high deployment effort and cost, it is desirable to perform multiple video analytics tasks, which we refer to as Analytical Units (AUs), off the video feed coming out of every camera. In this paper, we first show that in a multi-AU setting, changing the camera setting has disproportionate impact on different AUs performance. In particular, the optimal setting for one AU may severely degrade the performance for another AU, and further the impact on different AUs varies as the environmental condition changes. We then present Elixir, a system to enhance the video stream quality for multiple analytics on a video stream. Elixir leverages Multi-Objective Reinforcement Learning (MORL), where the RL agent caters to the objectives from different AUs and adjusts the camera setting to simultaneously enhance the performance of all AUs. To define the multiple objectives in MORL, we develop new AU-specific quality estimator values for each individual AU. We evaluate Elixir through real-world experiments on a testbed with three cameras deployed next to each other (overlooking a large enterprise parking lot) running Elixir and two baseline approaches, respectively. Elixir correctly detects 7.1% (22,068) and 5.0% (15,731) more cars, 94% (551) and 72% (478) more faces, and 670.4% (4975) and 158.6% (3507) more persons than the default-setting and time-sharing approaches, respectively. It also detects 115 license plates, far more than the time-sharing approach (7) and the default setting (0).

通过流行和通用的计算机视觉挑战来判断，如想象成或帕斯卡VOC，神经网络已经证明是在识别任务中特别准确。然而，最先进的准确性通常以高计算价格出现，需要硬件加速来实现实时性能，而使用案例（例如智能城市）需要实时分析固定摄像机的图像。由于网络带宽的数量，这些流将生成，我们不能依赖于卸载计算到集中云。因此，预期分布式边缘云将在本地处理图像。但是，边缘是由性质资源约束的，这给了可以执行的计算复杂性限制。然而，需要边缘与准确的实时视频分析之间的会面点。专用轻量级型号在每相机基础上可能有所帮助，但由于相机的数量增长，除非该过程是自动的，否则它很快就会变得不可行。在本文中，我们展示并评估COVA（上下文优化的视频分析），这是一个框架，可以帮助在边缘相机中自动专用模型专业化。 COVA通过专业化自动提高轻质模型的准确性。此外，我们讨论和审查过程中涉及的每个步骤，以了解每个人所带来的不同权衡。此外，我们展示了静态相机的唯一假设如何使我们能够制定一系列考虑因素，这大大简化了问题的范围。最后，实验表明，最先进的模型，即能够概括到看不见的环境，可以有效地用作教师以以恒定的计算成本提高较小网络的教师，提高精度。结果表明，我们的COVA可以平均提高预先训练的型号的准确性，平均为21％。

在本文中，我们描述了如何利用明亮的调制光源（例如，廉价，离心激光器）来利用CMOS图像传感器中的电子滚动快门。我们展示了七种不同CMOS相机的攻击，从IoT廉价到半专业监控摄像机，以突出滚动快门攻击的广泛适用性。我们模拟了影响不受控制的设置中滚动快门攻击的基本因素。然后，我们对对象检测任务的攻击作用进行了详尽的评估，研究了攻击参数的效果。我们验证了我们对两个独立相机收集的经验数据的模型，表明通过简单地使用来自相机数据表的信息，对手可以准确地预测注入的失真大小并相应地优化它们的攻击。我们发现，通过选择适当的攻击参数，对手可以通过最先进的探测器隐藏高达75％的物体。我们还调查了与NA \“{i} vers致盲攻击相比攻击的隐秘，表明常见的图像失真度量无法检测到攻击存在。因此，我们向骨干展示了一种新的，准确和轻巧的增强对象检测器的网络识别滚动快门攻击。总体而言，我们的结果表明，滚动快门攻击可以大大降低基于视觉智能系统的性能和可靠性。

对象探测器对于许多现代计算机视觉应用至关重要。但是，即使是最新的对象探测器也不是完美的。在两个看起来与人眼类似的图像上，同一探测器可以做出不同的预测，因为摄像机传感器噪声和照明变化等小图像变形。这个问题称为不一致。现有的准确性指标不能正确解释不一致的情况，并且在该领域的类似工作仅针对人造图像扭曲的改善。因此，我们提出了一种使用非人工视频框架来测量对象检测一致性，随着时间的流逝，跨帧的方法来测量对象检测一致性。使用此方法，我们表明，来自多个对象跟踪挑战的不同视频数据集，现代对象检测器的一致性范围从83.2％至97.1％。最后，我们表明应用图像失真校正（例如.WEBP图像压缩和UNSHARP遮罩）可以提高一致性多达5.1％，而准确性没有损失。

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

由于卷积神经网络（CNN）在过去的十年中检测成功，多对象跟踪（MOT）通过检测方法的使用来控制。随着数据集和基础标记网站的发布，研究方向已转向在跟踪时在包括重新识别对象的通用场景（包括重新识别（REID））上的最佳准确性。在这项研究中，我们通过提供专用的行人数据集并专注于对性能良好的多对象跟踪器的深入分析来缩小监视的范围）现实世界应用的技术。为此，我们介绍SOMPT22数据集；一套新的，用于多人跟踪的新套装，带有带注释的简短视频，该视频从位于杆子上的静态摄像头捕获，高度为6-8米，用于城市监视。与公共MOT数据集相比，这提供了室外监视的MOT的更为集中和具体的基准。我们分析了该新数据集上检测和REID网络的使用方式，分析了将MOT跟踪器分类为单发和两阶段。我们新数据集的实验结果表明，SOTA远非高效率，而单一跟踪器是统一快速执行和准确性的良好候选者，并具有竞争性的性能。该数据集将在以下网址提供：sompt22.github.io

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

在这项工作中，我们呈现了DCC（更深层兼容的压缩），用于实时无人机的辅助边缘辅助视频分析的一个启用技术，内置于现有编解码器之上。DCC解决了一个重要的技术问题，以将流动的视频从无人机压缩到边缘，而不会严格地在边缘执行的视频分析任务的准确性和及时性。DCC通过流式视频中的每一位对视频分析同样有价值，这是对视频分析的同样有价值，这在传统的分析透视技术编解码器技术上打开了新的压缩室。我们利用特定的无人机的上下文和中级提示，从物体检测中追求保留分析质量所需的自适应保真度。我们在一个展示车辆检测应用中有原型DCC，并验证了其代表方案的效率。DCC通过基线方法减少9.5倍，在最先进的检测精度上，19-683％的速度减少了9.5倍。

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

边缘计算广泛用于视频分析。为了减轻准确性和成本之间的固有张力，已经提出了各种视频分析管道，以优化GPU在边缘节点上的使用。但是，我们发现，由于视频内容的变化，在管道的不同位置的视频内容变化，亚次采样和过滤，因此为边缘节点提供的GPU计算资源通常被低估了。与模型和管道优化相反，在这项工作中，我们使用非确定性和分散的闲置GPU资源研究了机会数据增强的问题。具体而言，我们提出了一个特定于任务的歧视和增强模块以及一种模型感知的对抗性训练机制，提供了一种以准确有效的方式识别和转换特定于视频管道的低质量图像的方法。在延迟和GPU资源限制下，进一步开发了多个EXIT模型结构和资源感知调度程序，以做出在线增强决策和细粒度的执行。多个视频分析管道和数据集的实验表明，通过明智地分配少量的空闲资源，这些框架上倾向于通过增强而产生更大的边际收益，我们的系统将DNN对象检测准确性提高了7.3-11.3 \％，而不会产生任何潜行成本。

由于其前所未有的优势，在规模，移动，部署和隐蔽观察能力方面，空中平台和成像传感器的快速出现是实现新的空中监测形式。本文从计算机视觉和模式识别的角度来看，全面概述了以人为本的空中监控任务。它旨在为读者提供使用无人机，无人机和其他空中平台的空中监测任务当前状态的深入系统审查和技术分析。感兴趣的主要对象是人类，其中要检测单个或多个受试者，识别，跟踪，重新识别并进行其行为。更具体地，对于这四项任务中的每一个，我们首先讨论与基于地面的设置相比在空中环境中执行这些任务的独特挑战。然后，我们审查和分析公共可用于每项任务的航空数据集，并深入了解航空文学中的方法，并调查他们目前如何应对鸟瞰挑战。我们在讨论缺失差距和开放研究问题的讨论中得出结论，告知未来的研究途径。

由于捕获的图像中的严重噪音，弱光下的场景推断是一个具有挑战性的问题。减少噪音的一种方法是在捕获过程中使用更长的曝光。但是，在有运动（场景或相机运动）的存在下，较长的暴露会导致运动模糊，从而导致图像信息的丢失。这在这两种图像降解之间创造了权衡取舍：运动模糊（由于长期暴露）与噪声（由于曝光短），也称为本文中的双图像损坏对。随着摄像机的兴起，能够同时捕获同一场景的多次暴露，因此可以克服这一权衡。我们的主要观察结果是，尽管这些不同图像捕获的降解的数量和性质各不相同，但在所有图像中，语义内容保持不变。为此，我们提出了一种方法，以利用这些多曝光捕获在弱光和运动下的鲁棒推理。我们的方法建立在功能一致性损失的基础上，以鼓励这些单个捕获的类似结果，并利用其最终预测的合奏来实现强大的视觉识别。我们证明了方法对模拟图像的有效性以及具有多个暴露的真实捕获，以及对象检测和图像分类的任务。

随着已安装的摄像机的数量，需要处理和分析这些摄像机捕获的所有图像所需的计算资源。视频分析使新用例（例如智能城市）或自动驾驶等开放。与此同时，它敦促服务提供商安装额外的计算资源以应对需求，而严格的延迟要求推动到网络末尾的计算，形成了地理分布式和异构的计算位置集，共享和资源受限。这种景观（共享和分布式位置）迫使我们设计可以在所有可用位置之间优化和分发工作的新技术，并且理想情况下，使得计算要求在安装的相机的数量方面增长。在本文中，我们展示了FOMO（专注于移动物体）。该方法通过预处理场景，过滤空区输出并将来自多个摄像机的感兴趣区域组成为用于预先训练的对象检测模型的输入的单个图像来有效地优化多摄像机部署。结果表明，整体系统性能可以提高8倍，而精度可提高40％作为方法的副产物，所有这些都是使用储物预训练模型，没有额外的训练或微调。

我们介绍了Caltech Fish计数数据集（CFC），这是一个用于检测，跟踪和计数声纳视频中鱼类的大型数据集。我们将声纳视频识别为可以推进低信噪比计算机视觉应用程序并解决多对象跟踪（MOT）和计数中的域概括的丰富数据来源。与现有的MOT和计数数据集相比，这些数据集主要仅限于城市中的人和车辆的视频，CFC来自自然世界领域，在该域​​中，目标不容易解析，并且无法轻易利用外观功能来进行目标重新识别。 CFC允许​​研究人员训练MOT和计数算法并评估看不见的测试位置的概括性能。我们执行广泛的基线实验，并确定在MOT和计数中推进概括的最新技术的关键挑战和机会。

最近的多目标跟踪（MOT）系统利用高精度的对象探测器;然而，培训这种探测器需要大量标记的数据。虽然这种数据广泛适用于人类和车辆，但其他动物物种显着稀缺。我们目前稳健的置信跟踪（RCT），一种算法，旨在保持鲁棒性能，即使检测质量差。与丢弃检测置信信息的先前方法相比，RCT采用基本上不同的方法，依赖于精确的检测置信度值来初始化曲目，扩展轨道和滤波器轨道。特别地，RCT能够通过有效地使用低置信度检测（以及单个物体跟踪器）来最小化身份切换，以保持对象的连续轨道。为了评估在存在不可靠的检测中的跟踪器，我们提出了一个挑战的现实世界水下鱼跟踪数据集，Fishtrac。在对FISHTRAC以及UA-DETRAC数据集的评估中，我们发现RCT在提供不完美的检测时优于其他算法，包括最先进的深单和多目标跟踪器以及更经典的方法。具体而言，RCT具有跨越方法的最佳平均热量，可以成功返回所有序列的结果，并且具有比其他方法更少的身份交换机。