我们通过新的框架解决了主动扬声器检测问题，称为法术，从而了解远程多模式图来编码音频和视觉数据之间的模态关系。我们将主动扬声器检测作为了解长期依赖项的节点分类任务。我们首先从视频构造图形，以便每个节点对应一个人。表示在定义的时间窗口中它们之间相同身份的共享边缘的节点。同一视频帧中的节点也连接以编码人际交互。通过对AVA-ActiveSpeaker数据集的广泛实验，我们证明了基于学习的基于图形的表示，由于其明确的空间和时间结构，显着提高了整体性能。法术优于若干相关基线，并在现有技术的比例下执行，同时需要较小的计算成本阶数。

在带有多个扬声器的视频中，主动扬声器检测（ASD）是一项具有挑战性的任务，因为它需要在长时间的暂时窗口上学习有效的视听功能和时空相关性。在本文中，我们提出了一种新颖的时空图形学习框架，可以解决复杂的任务，例如ASD。为此，视频框架中的每个人首先在该框架的唯一节点中编码。对应于跨帧的单个人的节点已连接以编码其时间动力学。帧中的节点也连接到编码人际关系。因此，咒语将ASD减少到节点分类任务。重要的是，咒语能够在所有节点上为所有节点上的长时间环境推理，而无需依赖计算昂贵的完全连接的图形神经网络。通过对Ava-Activespeaker数据集进行的广泛实验，我们证明了基于图形的表示形式可以显着改善主动扬声器检测性能，因为其明确的空间和时间结构。拼写优于所有先前的最新方法，同时需要大大降低内存和计算资源。我们的代码可在https://github.com/sra2/spell上公开获取

主动扬声器检测（ASD）问题的最新进展基于两个阶段的过程：特征提取和时空上下文集合。在本文中，我们提出了一个端到端的ASD工作流程，在其中共同学习特征学习和上下文预测。我们的端到端可训练网络同时学习了多模式的嵌入和汇总时空上下文。这会导致更合适的功能表示，并改善了ASD任务的性能。我们还介绍了交织的图神经网络（IGNN）块，该块根据ASD问题中的上下文主要来源分割消息。实验表明，IGNN块的汇总特征更适合ASD，从而导致最先进的性能。最后，我们设计了一种弱监督的策略，该策略表明也可以通过使用视听数据来解决ASD问题，但仅依赖于音频注释。我们通过对音频信号与可能的声源（扬声器）之间的直接关系进行建模以及引入对比度损失来实现这一目标。该项目的所有资源将在以下网址提供：https：//github.com/fuankarion/end-to-end-end-asd。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

视频动作细分和识别任务已广泛应用于许多领域。大多数先前的研究都采用了大规模的高计算视觉模型来全面了解视频。但是，很少有研究直接采用图形模型来推理视频。该图模型提供了更少的参数，低计算成本，大型接受场和灵活的邻域消息聚合的好处。在本文中，我们提出了一个名为Smatantic2Graph的基于图的方法，以将视频动作分割和识别问题转变为图的节点分类。为了保留视频中的细粒关系，我们在框架级别上构建视频的图形结构，并设计了三种类型的边缘：时间，语义和自循环。我们将视觉，结构和语义特征与节点属性相结合。语义边缘用于建模长期时空关系，而语义特征是基于文本提示的标签文本的嵌入。图形神经网络（GNN）模型用于学习多模式特征融合。实验结果表明，与最先进的结果相比，语义2Graph在GTEA和50萨拉德方面取得了改善。多次消融实验进一步证实了语义特征在改善模型性能方面的有效性，语义边缘使Smantic2Grapl可以以低成本捕获长期依赖性。

听觉事件的感知固有地依赖于音频和视觉提示。许多现有的多模式方法使用模式特异性模型处理每种模式，然后融合嵌入以编码关节信息。相反，我们采用异质图来明确捕获模态之间的空间和时间关系，并表示有关基础信号的详细信息。使用异质图方法来解决视觉感知的声学事件分类的任务，该任务是一种紧凑，有效且可扩展的方式，以图形形式表示数据。通过异质图，我们显示了在空间和时间尺度上有效地建模模式和模式间关系。我们的模型可以通过相关的超参数轻松适应不同的事件规模。在Audioset上进行的实验（一个大型基准）表明，我们的模型实现了最先进的性能。

我们提出了一个简明的视频表示，该视频将感知有意义的功能编码为图。通过这种表示，我们旨在利用视频中的大量冗余并节省计算。首先，我们通过将Superpixel视为图形节点并在相邻的Superpixels之间创建空间和时间连接来构建视频的超级像素图表示。然后，我们利用图形卷积网络来处理此表示形式并预测所需的输出。结果，我们能够使用更少的参数训练模型，这转化为简短的培训期和计算资源要求的减少。一项关于公开可用数据集动力学-400和Charades的全面实验研究表明，该提出的方法具有很高的成本效益，并且在培训和推理过程中使用有限的商品硬件。它减少了计算要求10倍，同时获得与最先进方法相当的结果。我们认为，提出的方法是一个有希望的方向，可以为更有效地解决视频理解打开大门，并使更多的资源用户能够在该研究领域蓬勃发展。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

图提供了一种自然的方式来制定多个对象跟踪（MOT）和多个对象跟踪和分割（MOTS），逐个检测范式中。但是，他们还引入了学习方法的主要挑战，因为定义可以在这种结构化领域运行的模型并不是微不足道的。在这项工作中，我们利用MOT的经典网络流程公式来定义基于消息传递网络（MPN）的完全微分框架。通过直接在图形域上操作，我们的方法可以在整个检测和利用上下文特征上全球推理。然后，它共同预测了数据关联问题的最终解决方案和场景中所有对象的分割掩码，同时利用这两个任务之间的协同作用。我们在几个公开可用的数据集中获得跟踪和细分的最新结果。我们的代码可在github.com/ocetintas/mpntrackseg上找到。

Spatial-temporal graphs have been widely used by skeleton-based action recognition algorithms to model human action dynamics. To capture robust movement patterns from these graphs, long-range and multi-scale context aggregation and spatial-temporal dependency modeling are critical aspects of a powerful feature extractor. However, existing methods have limitations in achieving (1) unbiased long-range joint relationship modeling under multiscale operators and (2) unobstructed cross-spacetime information flow for capturing complex spatial-temporal dependencies. In this work, we present (1) a simple method to disentangle multi-scale graph convolutions and (2) a unified spatial-temporal graph convolutional operator named G3D. The proposed multi-scale aggregation scheme disentangles the importance of nodes in different neighborhoods for effective long-range modeling. The proposed G3D module leverages dense cross-spacetime edges as skip connections for direct information propagation across the spatial-temporal graph. By coupling these proposals, we develop a powerful feature extractor named MS-G3D based on which our model 1 outperforms previous state-of-the-art methods on three large-scale datasets: NTU RGB+D 60, NTU RGB+D 120, and Kinetics Skeleton 400.

我们提出了一种新型的图形神经网络（GNN）方法，用于高通量显微镜视频中的细胞跟踪。通过将整个延时序列建模为直接图，其中细胞实例由其节点及其边缘表示，我们通过查找图中的最大路径来提取整个细胞轨迹。这是由纳入端到端深度学习框架中的几个关键贡献来完成的。我们利用深度度量学习算法来提取细胞特征向量，以区分不同生物细胞的实例并组装相同的细胞实例。我们引入了一种新的GNN块类型，该类型可以对节点和边缘特征向量进行相互更新，从而促进基础消息传递过程。消息传递概念的范围由GNN块的数量确定，这是至关重要的，因为它可以在连续的框架中实现节点和边缘之间的“节点和边缘”之间的“流动”。最后，我们解决了边缘分类问题，并使用已确定的活动边缘来构建单元格的轨道和谱系树。我们通过将其应用于不同细胞类型，成像设置和实验条件的2D和3D数据集，来证明所提出的细胞跟踪方法的强度。我们表明，我们的框架在大多数评估的数据集上都优于当前最新方法。该代码可在我们的存储库中获得：https：//github.com/talbenha/cell-tracker-gnn。

本文的目标是学习强烈的唇读模型，可以在静音视频中识别语音。大多数事先有效地处理开放式视觉语音识别问题，通过调整在漫步的可视化功能之上的现有自动语音识别技术。相反，在本文中，我们专注于唇读中遇到的独特挑战，并提出量身定制的解决方案。为此，我们提出以下贡献：（1）我们提出了一种基于关注的汇集机制来聚合视觉语音表示; （2）我们首次使用Sub-Word单元进行唇读，并显示这使我们能够更好地模拟任务的含糊不限; （3）我们提出了一种用于视觉语音检测（VSD）的模型，在唇读网络顶部培训。在上文之后，我们在公共数据集训练时获得最先进的LRS2和LRS3基准，甚至通过使用更少的数据量级验证的大规模工业数据集培训的型号。我们最好的模型在LRS2数据集中实现了22.6％的字错误率，这是唇读模型前所未有的性能，显着降低了唇读和自动语音识别之间的性能差距。此外，在AVA-ActiveSpeaker基准测试中，我们的VSD模型超越了所有可视基线，甚至优于最近的几种视听方法。

视听扬声器日复速度旨在检测使用听觉和视觉信号时的``谁说话。现有的视听深度数据集主要专注于会议室或新闻工作室等室内环境，这些工作室与电影，纪录片和观众情景喜剧等许多情景中的野外视频完全不同。要创建一个能够有效地比较野外视频的日复速度方法的测试平台，我们向AVA电影数据集注释说话者深度标签，并创建一个名为AVA-AVD的新基准。由于不同的场景，复杂的声学条件和完全偏离屏幕扬声器，该基准是挑战。然而，如何处理偏离屏幕和屏幕上的扬声器仍然是一个关键挑战。为了克服它，我们提出了一种新的视听关系网络（AVR-Net），它引入了有效的模态掩模，以基于可见性捕获辨别信息。实验表明，我们的方法不仅可以优于最先进的方法，而且可以更加强大，因为改变屏幕扬声器的比率。消融研究证明了拟议的AVR-NET和尤其是日复一化的模态掩模的优点。我们的数据和代码将公开可用。

图形神经网络非常适合捕获时空域中各个实体之间的潜在相互作用（例如视频）。但是，当不可用的显式结构时，它不明显的原子元素应该表示为节点。当前工作通常使用预先训练的对象探测器或固定的预定义区域来提取曲线节点。我们提出的模型改进了这一点，了解动态地附加到沉重的突出区域的节点，其与更高级别的任务相关，而不使用任何对象级监督。构建这些本地化的自适应节点，使我们的模型感应偏向为中心的表示，并且我们表明它发现与视频中的对象完全相关的区域。在广泛的消融研究和两个具有挑战性数据集的实验中，我们向前图神经网络模型显示出卓越的性能，用于视频分类。

从空中和卫星图像提取自动化路线图是一个长期存在的挑战。现有算法基于像素级分段，然后是矢量化，或者使用下一个移动预测的迭代图构造。这两种策略都遭受了严重的缺点，特别是高计算资源和不完整的产出。相比之下，我们提出了一种直接在单次通过中缩小最终道路图的方法。关键思想包括组合完全卷积的网络，这些网络负责定位点，例如交叉点，死头和转弯，以及预测这些点之间的链路的图形神经网络。这种策略比迭代方法更有效，并允许我们通过在保持训练端到端的同时消除生成起始位置的需要来简化培训过程。我们评估我们对流行的道路流数据集上现有工作的方法，并实现竞争结果。我们还将速度基准测试，并表明它优于现有的方法。这为嵌入式设备打开了飞行中的可能性。

本文提出了一种新型的多式模式自学架构，用于节能音频 - 视听（AV）语音增强，将图形神经网络与规范相关性分析（CCA-GNN）集成在一起。所提出的方法将其基础放在最先进的CCA-GNN上，该方法通过最大化相同输入的增强视图对之间的相关性来学习代表性的嵌入，同时脱离了断开连接的特征。常规CCA-GNN的关键思想涉及丢弃增强变化的信息并保留增强不变的信息，同时阻止捕获冗余信息。我们提出的AV CCA-GNN模型涉及多模式表示学习环境。具体而言，我们的模型通过从音频和视觉嵌入的同一信道和规范相关性的增强视图中最大化的规范相关性来改善上下文AV语音处理。此外，它提出了一个位置节点编码，该位置节点在计算节点最近的邻居时考虑了先前的框架序列距离，而不是特征空间表示，并通过邻域的连接在嵌入式中引入时间信息。在基准Chime3数据集上进行的实验表明，我们提出的基于框架的AV CCA-GNN确保在时间上下文中获得更好的特征学习，从而导致比最先进的CCA-GNN更节能的语音重建感知器（MLP）和长期记忆（LSTM）模型。

主动扬声器检测在人机相互作用中起着至关重要的作用。最近，出现了一些端到端的视听框架。但是，这些模型的推理时间没有被探索，并且由于其复杂性和较大的输入大小而不适用于实时应用。此外，他们探索了类似的功能提取策略，该策略在音频和视觉输入中采用了Convnet。这项工作提出了一种新型的两流端到端框架融合，通过VGG-M从图像中提取的特征与原始MEL频率Cepstrum系数从音频波形提取。该网络在每个流上附有两个BigRu层，以处理融合之前每个流的时间动态。融合后，将一个BigRU层附着在建模联合时间动力学上。 AVA-ACTIVESPEAKER数据集的实验结果表明，我们的新功能提取策略对嘈杂信号的鲁棒性和推理时间比在这两种模式上使用Convnet的模型更好。提出的模型预测44.41 ms之内，足够快地用于实时应用程序。我们表现​​最佳的模型获得了88.929％的精度，与最先进的工作相同。

具有高质量手动注释的大型数据库在音频域中很少。因此，我们探索了一种从高度有限的标记数据中学习音频表示的自我监管的图形方法。将每个音频示例视为图节点，我们提出了一个基于子图的框架，具有新颖的自学任务，可以学习有效的音频表示。在训练过程中，通过对整个可用培训数据进行采样以利用标签和未标记的音频样本之间的关系来构建子图。在推断期间，我们使用随机边缘来减轻图形结构的开销。我们在三个基准音频数据库和两个任务上评估了模型：声学事件检测和语音情绪识别。我们的半监督模型的性能更好或与完全监督的模型相当，并且优于几个竞争现有模型。我们的模型是紧凑的（240K参数），可以产生对不同类型的信号噪声强大的通用音频表示。