实时视频广播通常需要具有域知识的多种技能和专业知识，以实现多摄像头制作。随着摄像机的数量不断增加，指导现场运动广播现在比以往任何时候都变得更加复杂和挑战。在生产过程中，广播董事需要更加集中，响应，令人满意的知识。为了使董事免于其密集努力，我们开发了一个叫做智能总监的创新自动化体育广播指示系统，旨在模仿典型的人类循环广播过程，以实时自动创建近专业广播节目通过使用一组高级多视图视频分析算法。灵感来自于所谓的“三事”的体育广播建设，我们用一个由三个连续新型组件组成的事件驱动管道构建我们的系统：1）通过建模多视图相关性来检测事件的多视图事件定位2）多视图突出显示检测通过视图选择的视觉重视等级相机视图，3）自动广播调度程序来控制广播视频的生产。为了我们的最佳知识，我们的系统是用于多摄像机运动广播的第一个端到端的自动化指导系统，完全受到体育赛事的语义理解。它还是通过跨视网膜关系建模解决多视图联合事件检测的新问题的第一系统。我们对现实世界的多相机足球数据集进行客观和主观评估，这证明了我们的自动生成视频的质量与人类导向的质量相当。由于其更快的回应，我们的系统能够捕获更快速的快速和短期持续时间，通常由人道持有。

尽管深度学习已被广​​泛用于视频分析，例如视频分类和动作检测，但与体育视频的快速移动主题进行密集的动作检测仍然具有挑战性。在这项工作中，我们发布了另一个体育视频数据集$ \ textbf {p $^2 $ a} $ for $ \ usewessline {p} $ \ in $ \ usepline {p} $ ong- $ \ $ \ usepline {a} $ ction ction ction检测，由2,721个视频片段组成，这些视频片段从世界乒乓球锦标赛和奥林匹克运动会的专业乒乓球比赛的广播视频中收集。我们与一批乒乓球专业人士和裁判员合作，以获取出现在数据集中的每个乒乓球动作，并提出两组动作检测问题 - 行动定位和行动识别。我们使用$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ fextbf {p $^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $ a^2 $^$^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $^2 $^2 $^2 $^2 $ a在各种设置下，这两个问题的$} $。这些模型只能在AR-AN曲线下实现48％的面积，以进行本地化，而识别次数为82％，因为Ping-Pong的动作密集具有快速移动的主题，但广播视频仅为25 fps。结果证实，$ \ textbf {p $^2 $ a} $仍然是一项具有挑战性的任务，可以用作视频中动作检测的基准。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

我们介绍了在视频中发现时间精确，细粒度事件的任务（检测到时间事件的精确时刻）。精确的斑点需要模型在全球范围内对全日制动作规模进行推理，并在本地识别微妙的框架外观和运动差异，以识别这些动作过程中事件的识别。令人惊讶的是，我们发现，最高的绩效解决方案可用于先前的视频理解任务，例如操作检测和细分，不能同时满足这两个要求。作为响应，我们提出了E2E点，这是一种紧凑的端到端模型，在精确的发现任务上表现良好，可以在单个GPU上快速培训。我们证明，E2E点的表现明显优于最近根据视频动作检测，细分和将文献发现到精确的发现任务的基线。最后，我们为几个细粒度的运动动作数据集贡献了新的注释和分裂，以使这些数据集适用于未来的精确发现工作。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

密集的视频字幕旨在使用视频的时间位置生成多个相关标题。以前的方法遵循复杂的“本地化 - 然后描述”方案，这些方案严重依赖于众多手工制作的组件。在本文中，通过将密集的标题产生作为设置预测任务，我们提出了一种具有并行解码（PDVC）的端到端密集视频字幕的简单且有效的框架。实际上，通过在变压器解码器顶部堆叠新提出的事件计数器，PDVC在对视频内容的整体理解下，将视频精确地将视频分成多个事件部分，这有效地提高了预测标题的相干性和可读性。与现有技术相比，PDVC具有多种吸引力优势：（1）不依赖于启发式非最大抑制或复发事件序列选择网络以除去冗余，PDVC直接产生具有适当尺寸的事件集; （2）与采用两级方案相比，我们并行地将事件查询的增强型表达送入本地化头和标题头，使这两个子任务深入相互关联，通过优化相互促进; （3）没有贝尔和吹口哨，对ActivityNet标题和YouScook2的广泛实验表明，PDVC能够产生高质量的标题结果，当其本地化准确性与它们相提并如此时，最先进的两级方法。代码可在https://github.com/ttengwang/pdvc提供。

The potential for agents, whether embodied or software, to learn by observing other agents performing procedures involving objects and actions is rich. Current research on automatic procedure learning heavily relies on action labels or video subtitles, even during the evaluation phase, which makes them infeasible in real-world scenarios. This leads to our question: can the human-consensus structure of a procedure be learned from a large set of long, unconstrained videos (e.g., instructional videos from YouTube) with only visual evidence? To answer this question, we introduce the problem of procedure segmentation-to segment a video procedure into category-independent procedure segments. Given that no large-scale dataset is available for this problem, we collect a large-scale procedure segmentation dataset with procedure segments temporally localized and described; we use cooking videos and name the dataset YouCook2. We propose a segment-level recurrent network for generating procedure segments by modeling the dependencies across segments. The generated segments can be used as pre-processing for other tasks, such as dense video captioning and event parsing. We show in our experiments that the proposed model outperforms competitive baselines in procedure segmentation.

过场动物是许多视频游戏不可或缺的一部分，但是它们的创作既昂贵又耗时，并且需要许多游戏开发人员缺乏的技能。尽管AI已被利用为半自动过场动画的生产，但结果通常缺乏专业人类董事特征的样式的内部一致性和统一性。我们用Cine-AI克服了这一缺点，Cine-AI是一种开源程序性摄影工具集，能够以杰出的人类导演的风格生成游戏中过场动画。 Cine-AI在流行的游戏引擎团结中实现，具有新颖的时间轴和情节板界面，用于设计时间操纵，并结合运行时摄影自动化。通过两项使用定量和定性措施的用户研究，我们证明了Cine-AI产生过过过场动物，这些过场动物与目标主管正确关联，同时提供高于平均水平的可用性。我们的导演模仿数据集可公开使用，可以由用户和电影爱好者扩展。

从多个相机角度捕获事件可以为观众提供该事件最完整，最有趣的图片。为了适合广播，人类导演需要决定在每个时间点显示什么。随着摄像头的数量，这可能会变得笨拙。全向或广角摄像机的引入使事件更加完整地捕获，这使导演更加困难。在本文中，提出了一个系统，即鉴于事件的多个超高分辨率视频流，可以生成视觉上令人愉悦的镜头序列，以遵循事件的相关动作。由于算法是通用的，因此可以应用于以人类为特征的大多数情况。当需要实时广播时，提出的方法允许在线处理，以及当优先级的相机操作质量时，离线处理。对象检测用于检测输入流中人类和其他感兴趣的对象。检测到的感兴趣的人以及基于电影惯例的一组规则，用于确定要显示哪个视频流以及该流的哪一部分实际上是构造的。用户可以提供许多确定这些规则如何解释的设置。该系统能够通过消除镜头扭曲来处理不同广角视频流的输入。对于多种不同的情况，使用用户研究表明，提议的自动导演能够以美学上令人愉悦的视频构图和类似人类的镜头切换行为来捕获事件。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

在计算机视觉中长期以来一直研究了时间行动定位。现有的最先进的动作定位方法将每个视频划分为多个动作单位（即，在一级方法中的两级方法和段中的提案），然后单独地对每个视频进行操作，而不明确利用他们在学习期间的关系。在本文中，我们声称，动作单位之间的关系在行动定位中发挥着重要作用，并且更强大的动作探测器不仅应捕获每个动作单元的本地内容，还应允许更广泛的视野与相关的上下文它。为此，我们提出了一般图表卷积模块（GCM），可以轻松插入现有的动作本地化方法，包括两阶段和单级范式。具体而言，我们首先构造一个图形，其中每个动作单元被表示为节点，并且两个动作单元之间作为边缘之间的关系。在这里，我们使用两种类型的关系，一个类型的关系，用于捕获不同动作单位之间的时间连接，另一类是用于表征其语义关系的另一个关系。特别是对于两级方法中的时间连接，我们进一步探索了两种不同的边缘，一个连接重叠动作单元和连接周围但脱节的单元的另一个。在我们构建的图表上，我们将图形卷积网络（GCNS）应用于模拟不同动作单位之间的关系，这能够了解更有信息的表示来增强动作本地化。实验结果表明，我们的GCM始终如一地提高了现有行动定位方法的性能，包括两阶段方法（例如，CBR和R-C3D）和一级方法（例如，D-SSAD），验证我们的一般性和有效性GCM。

We address temporal action localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in temporal action localization via three segment-based 3D ConvNets: (1) a proposal network identifies candidate segments in a long video that may contain actions; (2) a classification network learns one-vs-all action classification model to serve as initialization for the localization network; and (3) a localization network fine-tunes the learned classification network to localize each action instance. We propose a novel loss function for the localization network to explicitly consider temporal overlap and achieve high temporal localization accuracy. In the end, only the proposal network and the localization network are used during prediction. On two largescale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increases from 15.0% to 19.0% on THUMOS 2014.

已经发现，旨在在未修剪视频的开始和终点范围内发现的时间动作实例的时间动作提案生成可以在很大程度上受益于适当的时间和语义上下文的剥削。最新的努力致力于通过自我发项模块来考虑基于时间的环境和基于相似性的语义上下文。但是，他们仍然遭受混乱的背景信息和有限的上下文特征学习的困扰。在本文中，我们提出了一个基于金字塔区域的新型插槽注意（PRSLOT）模块来解决这些问题。我们的PRSLOT模块不使用相似性计算，而是直接以编码器方式来学习本地关系，并基于注意力输入功能（称为\ textit {slot}}的注意力输入功能，生成了局部区域的表示。具体而言，在输入段级级别上，PRSLOT模块将目标段作为\ textIt {query}，其周围区域为\ textit {key}，然后通过聚集每个\ textit {query-key}插槽来生成插槽表示。具有平行金字塔策略的本地摘要上下文。基于PRSLOT模块，我们提出了一种基于金字塔区域的新型插槽注意网络，称为PRSA-NET，以学习具有丰富的时间和语义上下文的统一视觉表示，以获得更好的建议生成。广泛的实验是在两个广泛采用的Thumos14和ActivityNet-1.3基准上进行的。我们的PRSA-NET优于其他最先进的方法。特别是，我们将AR@100从以前的最佳50.67％提高到56.12％，以生成提案，并在0.5 TIOU下将地图从51.9 \％\％提高到58.7 \％\％\％\％\％，以在Thumos14上进行动作检测。 \ textit {代码可在} \ url {https://github.com/handhand123/prsa-net}中获得

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

本文研究了体育视频上自动化机器描述的建模，最近取得了很多进展。尽管如此，最新的方法还没有捕捉人类专家如何分析体育场景。有几个主要原因：（1）使用的数据集是从非官方提供商那里收集的，该数据集自然会在这些数据集和现实世界应用程序训练的模型之间造成差距； （2）先前提出的方法需要广泛的注释工作（即，像素级别的玩家和球分割）在本地化有用的视觉特征上以产生可接受的结果； （3）很少有公共数据集可用。在本文中，我们提出了一个新颖的大型NBA数据集，用于体育视频分析（NSVA），重点是字幕，以应对上述挑战。我们还设计了一种统一的方法，将原始视频处理成一堆有意义的功能，并以最小的标签工作进行了处理，这表明使用变压器体系结构对此类功能进行交叉建模会导致强大的性能。此外，我们通过解决了另外两个任务，即精细的运动动作识别和显着的球员识别，证明了NSVA的广泛应用。代码和数据集可在https://github.com/jackwu502/nsva上找到。

未来的活动预期是在Egocentric视觉中具有挑战性问题。作为标准的未来活动预期范式，递归序列预测遭受错误的累积。为了解决这个问题，我们提出了一个简单有效的自我监管的学习框架，旨在使中间表现为连续调节中间代表性，以产生表示（a）与先前观察到的对比的当前时间戳框架中的新颖信息内容和（b）反映其与先前观察到的帧的相关性。前者通过最小化对比损失来实现，并且后者可以通过动态重量机制来实现在观察到的内容中的信息帧中，具有当前帧的特征与观察到的帧之间的相似性比较。通过多任务学习可以进一步增强学习的最终视频表示，该多任务学习在目标活动标签上执行联合特征学习和自动检测到的动作和对象类令牌。在大多数自我传统视频数据集和两个第三人称视频数据集中，SRL在大多数情况下急剧表现出现有的现有最先进。通过实验性事实，还可以准确识别支持活动语义的行动和对象概念的实验性。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Temporal action proposal generation is an important yet challenging problem, since temporal proposals with rich action content are indispensable for analysing real-world videos with long duration and high proportion irrelevant content. This problem requires methods not only generating proposals with precise temporal boundaries, but also retrieving proposals to cover truth action instances with high recall and high overlap using relatively fewer proposals. To address these difficulties, we introduce an effective proposal generation method, named Boundary-Sensitive Network (BSN), which adopts "local to global" fashion. Locally, BSN first locates temporal boundaries with high probabilities, then directly combines these boundaries as proposals. Globally, with Boundary-Sensitive Proposal feature, BSN retrieves proposals by evaluating the confidence of whether a proposal contains an action within its region. We conduct experiments on two challenging datasets: ActivityNet-1.3 and THUMOS14, where BSN outperforms other state-of-the-art temporal action proposal generation methods with high recall and high temporal precision. Finally, further experiments demonstrate that by combining existing action classifiers, our method significantly improves the state-of-the-art temporal action detection performance.