手术工作流程预期可以预测进行哪些步骤或接下来使用哪些工具,这是计算机辅助干预系统的重要组成部分,例如机器人手术中的工作流程推理。但是,当前的方法仅限于它们在工具之间关系的表达能力不足。因此,我们提出了一个图形表示学习框架,以全面表示手术工作流期望问题中的仪器运动。在我们提出的图表表示中,我们将仪器的边界框信息映射到连续帧中的图节点,并构建框架间/互动图形的图形边缘,以表示随着时间的推移仪器的轨迹和相互作用。这种设计增强了我们网络对手术仪器的空间和时间模式及其相互作用的建模能力。此外,我们设计了一种多型胜利学习策略,以平衡对各种视野无动于衷的预期任务的理解,从而大大改善了各种视野的预期模型性能。 cholec80数据集的实验证明了我们提出的方法的性能可以超过基于较富主链的最新方法,尤其是在仪器预期中(1.27 v.s. 1.48 for Inmae; 1.48 v.s. 2.68 for Emae)。据我们所知,我们是第一个将时空图表引入外科工作流程预期的人。
translated by 谷歌翻译
视频中的人类对象相互作用(HOI)识别对于分析人类活动很重要。在现实世界中,大多数关注视觉特征的工作通常都会受到阻塞。当HOI中有多个人和物体涉及时,这种问题将更加复杂。考虑到诸如人类姿势和物体位置之类的几何特征提供有意义的信息来了解HOI,我们认为将视觉和几何特征的好处结合在HOI识别中,并提出了一个新颖的两级几何形状特征信息信息图形卷积(2G) -GCN)。几何级图模拟了人类和对象的几何特征之间的相互依赖性,而融合级别的图将它们与人类和对象的视觉特征融合在一起。为了证明我们方法在挑战性场景中的新颖性和有效性,我们提出了一个新的多人HOI数据集(Mphoi-72)。关于Mphoi-72(多人HOI),CAD-1220(单人HOI)和双人动作(双手HOI)数据集的广泛实验证明了我们的表现与最先进的表现相比。
translated by 谷歌翻译
translated by 谷歌翻译
人类对象相互作用(HOI)识别的关键是推断人与物体之间的关系。最近,该图像的人类对象相互作用(HOI)检测取得了重大进展。但是,仍然有改善视频HOI检测性能的空间。现有的一阶段方法使用精心设计的端到端网络来检测视频段并直接预测交互。它使网络的模型学习和进一步的优化更加复杂。本文介绍了空间解析和动态时间池(SPDTP)网络,该网络将整个视频作为时空图作为人类和对象节点作为输入。与现有方法不同,我们提出的网络通过显式空间解析预测交互式和非相互作用对之间的差异,然后执行交互识别。此外,我们提出了一个可学习且可区分的动态时间模块(DTM),以强调视频的关键帧并抑制冗余帧。此外,实验结果表明,SPDTP可以更多地关注主动的人类对象对和有效的密钥帧。总体而言,我们在CAD-1220数据集和某些ELSE数据集上实现了最先进的性能。
translated by 谷歌翻译
视频动作细分和识别任务已广泛应用于许多领域。大多数先前的研究都采用了大规模的高计算视觉模型来全面了解视频。但是,很少有研究直接采用图形模型来推理视频。该图模型提供了更少的参数,低计算成本,大型接受场和灵活的邻域消息聚合的好处。在本文中,我们提出了一个名为Smatantic2Graph的基于图的方法,以将视频动作分割和识别问题转变为图的节点分类。为了保留视频中的细粒关系,我们在框架级别上构建视频的图形结构,并设计了三种类型的边缘:时间,语义和自循环。我们将视觉,结构和语义特征与节点属性相结合。语义边缘用于建模长期时空关系,而语义特征是基于文本提示的标签文本的嵌入。图形神经网络(GNN)模型用于学习多模式特征融合。实验结果表明,与最先进的结果相比,语义2Graph在GTEA和50萨拉德方面取得了改善。多次消融实验进一步证实了语义特征在改善模型性能方面的有效性,语义边缘使Smantic2Grapl可以以低成本捕获长期依赖性。
translated by 谷歌翻译
图表上的交通流量预测在许多字段(例如运输系统和计算机网络)中具有现实世界应用。由于复杂的时空相关性和非线性交通模式,交通预测可能是高度挑战的。现有的作品主要是通过分别考虑空间相关性和时间相关性来模拟此类时空依赖性的模型,并且无法对直接的时空相关性进行建模。受到图形域中变形金刚最近成功的启发,在本文中,我们建议使用局部多头自我攻击直接建模时空图上的跨空间相关性。为了降低时间的复杂性,我们将注意力接收场设置为空间相邻的节点,还引入了自适应图以捕获隐藏的空间范围依赖性。基于这些注意机制,我们提出了一种新型的自适应图形时空变压器网络(ASTTN),该网络堆叠了多个时空注意层以在输入图上应用自我注意力,然后是线性层进行预测。公共交通网络数据集,Metr-La PEMS-Bay,PEMSD4和PEMSD7的实验结果证明了我们模型的出色性能。
translated by 谷歌翻译
Context-aware decision support in the operating room can foster surgical safety and efficiency by leveraging real-time feedback from surgical workflow analysis. Most existing works recognize surgical activities at a coarse-grained level, such as phases, steps or events, leaving out fine-grained interaction details about the surgical activity; yet those are needed for more helpful AI assistance in the operating room. Recognizing surgical actions as triplets of <instrument, verb, target> combination delivers comprehensive details about the activities taking place in surgical videos. This paper presents CholecTriplet2021: an endoscopic vision challenge organized at MICCAI 2021 for the recognition of surgical action triplets in laparoscopic videos. The challenge granted private access to the large-scale CholecT50 dataset, which is annotated with action triplet information. In this paper, we present the challenge setup and assessment of the state-of-the-art deep learning methods proposed by the participants during the challenge. A total of 4 baseline methods from the challenge organizers and 19 new deep learning algorithms by competing teams are presented to recognize surgical action triplets directly from surgical videos, achieving mean average precision (mAP) ranging from 4.2% to 38.1%. This study also analyzes the significance of the results obtained by the presented approaches, performs a thorough methodological comparison between them, in-depth result analysis, and proposes a novel ensemble method for enhanced recognition. Our analysis shows that surgical workflow analysis is not yet solved, and also highlights interesting directions for future research on fine-grained surgical activity recognition which is of utmost importance for the development of AI in surgery.
translated by 谷歌翻译
Assessing the critical view of safety in laparoscopic cholecystectomy requires accurate identification and localization of key anatomical structures, reasoning about their geometric relationships to one another, and determining the quality of their exposure. In this work, we propose to capture each of these aspects by modeling the surgical scene with a disentangled latent scene graph representation, which we can then process using a graph neural network. Unlike previous approaches using graph representations, we explicitly encode in our graphs semantic information such as object locations and shapes, class probabilities and visual features. We also incorporate an auxiliary image reconstruction objective to help train the latent graph representations. We demonstrate the value of these components through comprehensive ablation studies and achieve state-of-the-art results for critical view of safety prediction across multiple experimental settings.
translated by 谷歌翻译
Spatial-temporal graph modeling is an important task to analyze the spatial relations and temporal trends of components in a system. Existing approaches mostly capture the spatial dependency on a fixed graph structure, assuming that the underlying relation between entities is pre-determined. However, the explicit graph structure (relation) does not necessarily reflect the true dependency and genuine relation may be missing due to the incomplete connections in the data. Furthermore, existing methods are ineffective to capture the temporal trends as the RNNs or CNNs employed in these methods cannot capture long-range temporal sequences. To overcome these limitations, we propose in this paper a novel graph neural network architecture, Graph WaveNet, for spatial-temporal graph modeling. By developing a novel adaptive dependency matrix and learn it through node embedding, our model can precisely capture the hidden spatial dependency in the data. With a stacked dilated 1D convolution component whose receptive field grows exponentially as the number of layers increases, Graph WaveNet is able to handle very long sequences. These two components are integrated seamlessly in a unified framework and the whole framework is learned in an end-to-end manner. Experimental results on two public traffic network datasets, METR-LA and PEMS-BAY, demonstrate the superior performance of our algorithm.
translated by 谷歌翻译
Modeling multivariate time series has long been a subject that has attracted researchers from a diverse range of fields including economics, finance, and traffic. A basic assumption behind multivariate time series forecasting is that its variables depend on one another but, upon looking closely, it's fair to say that existing methods fail to fully exploit latent spatial dependencies between pairs of variables. In recent years, meanwhile, graph neural networks (GNNs) have shown high capability in handling relational dependencies. GNNs require well-defined graph structures for information propagation which means they cannot be applied directly for multivariate time series where the dependencies are not known in advance. In this paper, we propose a general graph neural network framework designed specifically for multivariate time series data. Our approach automatically extracts the uni-directed relations among variables through a graph learning module, into which external knowledge like variable attributes can be easily integrated. A novel mix-hop propagation layer and a dilated inception layer are further proposed to capture the spatial and temporal dependencies within the time series. The graph learning, graph convolution, and temporal convolution modules are jointly learned in an end-to-end framework. Experimental results show that our proposed model outperforms the state-of-the-art baseline methods on 3 of 4 benchmark datasets and achieves on-par performance with other approaches on two traffic datasets which provide extra structural information. CCS CONCEPTS• Computing methodologies → Neural networks; Artificial intelligence.
translated by 谷歌翻译
本文旨在统一非欧几里得空间中的空间依赖性和时间依赖性,同时捕获流量数据的内部空间依赖性。对于具有拓扑结构的时空属性实体,时空是连续的和统一的,而每个节点的当前状态都受到每个邻居的变异时期的邻居的过去状态的影响。大多数用于流量预测研究的空间依赖性和时间相关性的空间神经网络在处理中分别损害了时空完整性,而忽略了邻居节点的时间依赖期可以延迟和动态的事实。为了建模这种实际条件,我们提出了一种新型的空间 - 周期性图神经网络,将空间和时间视为不可分割的整体,以挖掘时空图,同时通过消息传播机制利用每个节点的发展时空依赖性。进行消融和参数研究的实验已经验证了拟议的遍及术的有效性,并且可以从https://github.com/nnzhan/traversenet中找到详细的实现。
translated by 谷歌翻译
检测人对象相互作用对于全面了解视觉场景至关重要。特别是,人与物体之间的空间连接是推理相互作用的重要提示。为此,我们提出了一个用于人类对象相互作用检测的骨骼感知图卷积网络,称为SGCN4HOI。我们的网络利用了人类关键点和对象关键点之间的空间连接,以通过图卷积捕获其细粒的结构相互作用。它将此类几何特征与视觉特征和空间配置特征融合在一起,并从人类对象对获得。此外,为了更好地保留对象结构信息并促进人类对象的相互作用检测,我们提出了一种新型的基于骨架的对象关键点表示。 SGCN4HOI的性能在公共基准V-Coco数据集中进行了评估。实验结果表明,所提出的方法的表现优于最先进的姿势模型,并针对其他模型实现竞争性能。
translated by 谷歌翻译
视频自我监督的学习是一项挑战的任务,这需要模型的显着表达力量来利用丰富的空间时间知识,并从大量未标记的视频产生有效的监督信号。但是,现有方法未能提高未标记视频的时间多样性,并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制,我们利用视频中的多尺度时间依赖性,并提出了一个名为时间对比图学习(TCGL)的新型视频自我监督学习框架,该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地,首先引入空间 - 时间知识发现(STKD)模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性,我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中,即片段/间隙间时间对比图(TCG)。然后,特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号,我们介绍了一种自适应片段订购预测(ASOP)模块,它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。
translated by 谷歌翻译
近年来,图形神经网络(GNN)与复发性神经网络(RNN)的变体相结合,在时空预测任务中达到了最先进的性能。对于流量预测,GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构,以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性,以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列,并随着编码层的增量增加,使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同,城市路段是循环的,其特征是复杂的空间依赖性。与基线方法相比,一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7%以上,同时将计算资源要求提高了一半以上竞争方法。
translated by 谷歌翻译
最近的研究侧重于制定流量预测作为一种时空图形建模问题。它们通常在每个时间步骤构造静态空间图,然后将每个节点连接在相邻时间步骤之间以构造时空图形。在这样的图形中,不同时间步骤的不同节点之间的相关性未明确地反映,这可以限制图形神经网络的学习能力。同时,这些模型在不同时间步骤中使用相同的邻接矩阵时,忽略节点之间的动态时空相关性。为了克服这些限制,我们提出了一种时空关节图卷积网络(StJGCN),用于交通预测在公路网络上的几个时间上限。具体地,我们在任何两个时间步长之间构造预定的和自适应时空关节图(STJG),这代表了全面和动态的时空相关性。我们进一步设计了STJG上的扩张因果时空关节图卷积层,以捕获与多个范围不同的视角的时空依赖关系。提出了一种多范围注意机制来聚合不同范围的信息。四个公共交通数据集的实验表明,STJGCN是计算的高效和优于11个最先进的基线方法。
translated by 谷歌翻译
流量预测是智能交通系统中时空学习任务的规范示例。现有方法在图形卷积神经操作员中使用预定的矩阵捕获空间依赖性。但是,显式的图形结构损失了节点之间关系的一些隐藏表示形式。此外,传统的图形卷积神经操作员无法在图上汇总远程节点。为了克服这些限制,我们提出了一个新型的网络,空间 - 周期性自适应图卷积,并通过注意力网络(Staan)进行交通预测。首先,我们采用自适应依赖性矩阵,而不是在GCN处理过程中使用预定义的矩阵来推断节点之间的相互依存关系。其次,我们集成了基于图形注意力网络的PW注意,该图形是为全局依赖性设计的,而GCN作为空间块。更重要的是,在我们的时间块中采用了堆叠的散布的1D卷积,具有长期预测的效率,用于捕获不同的时间序列。我们在两个现实世界数据集上评估了我们的Staan,并且实验验证了我们的模型优于最先进的基线。
translated by 谷歌翻译
由于运输网络中复杂的时空依赖性,准确的交通预测是智能运输系统中一项艰巨的任务。许多现有的作品利用复杂的时间建模方法与图形卷积网络(GCN)合并,以捕获短期和长期时空依赖性。但是,这些具有复杂设计的分离模块可以限制时空表示学习的有效性和效率。此外,大多数以前的作品都采用固定的图形构造方法来表征全局时空关系,这限制了模型在不同时间段甚至不同的数据方案中的学习能力。为了克服这些局限性,我们提出了一个自动扩张的时空同步图网络,称为Auto-DSTSGN用于流量预测。具体而言,我们设计了自动扩张的时空同步图(自动-DSTSG)模块,以捕获短期和长期时空相关性,通过在增加顺序的扩张因子中堆叠更深的层。此外,我们提出了一种图形结构搜索方法,以自动构建可以适应不同数据方案的时空同步图。在四个现实世界数据集上进行的广泛实验表明,与最先进的方法相比,我们的模型可以取得约10%的改善。源代码可在https://github.com/jinguangyin/auto-dstsgn上找到。
translated by 谷歌翻译
在计算机视觉中长期以来一直研究了时间行动定位。现有的最先进的动作定位方法将每个视频划分为多个动作单位(即,在一级方法中的两级方法和段中的提案),然后单独地对每个视频进行操作,而不明确利用他们在学习期间的关系。在本文中,我们声称,动作单位之间的关系在行动定位中发挥着重要作用,并且更强大的动作探测器不仅应捕获每个动作单元的本地内容,还应允许更广泛的视野与相关的上下文它。为此,我们提出了一般图表卷积模块(GCM),可以轻松插入现有的动作本地化方法,包括两阶段和单级范式。具体而言,我们首先构造一个图形,其中每个动作单元被表示为节点,并且两个动作单元之间作为边缘之间的关系。在这里,我们使用两种类型的关系,一个类型的关系,用于捕获不同动作单位之间的时间连接,另一类是用于表征其语义关系的另一个关系。特别是对于两级方法中的时间连接,我们进一步探索了两种不同的边缘,一个连接重叠动作单元和连接周围但脱节的单元的另一个。在我们构建的图表上,我们将图形卷积网络(GCNS)应用于模拟不同动作单位之间的关系,这能够了解更有信息的表示来增强动作本地化。实验结果表明,我们的GCM始终如一地提高了现有行动定位方法的性能,包括两阶段方法(例如,CBR和R-C3D)和一级方法(例如,D-SSAD),验证我们的一般性和有效性GCM。
translated by 谷歌翻译
准确的交通预测对于智能城市实现交通控制,路线计划和流动检测至关重要。尽管目前提出了许多时空方法,但这些方法在同步捕获流量数据的时空依赖性方面缺陷。此外,大多数方法忽略了随着流量数据的变化而产生的道路网络节点之间的动态变化相关性。我们建议基于神经网络的时空交互式动态图卷积网络(STIDGCN),以应对上述流量预测的挑战。具体而言,我们提出了一个交互式动态图卷积结构,该结构将序列划分为间隔,并通过交互式学习策略同步捕获流量数据的时空依赖性。交互式学习策略使StidGCN有效地预测。我们还提出了一个新颖的动态图卷积模块,以捕获由图生成器和融合图卷积组成的流量网络中动态变化的相关性。动态图卷积模块可以使用输入流量数据和预定义的图形结构来生成图形结构。然后将其与定义的自适应邻接矩阵融合,以生成动态邻接矩阵,该矩阵填充了预定义的图形结构,并模拟了道路网络中节点之间的动态关联的产生。在四个现实世界流量流数据集上进行的广泛实验表明,StidGCN的表现优于最先进的基线。
translated by 谷歌翻译
Autonomous robotic surgery has advanced significantly based on analysis of visual and temporal cues in surgical workflow, but relational cues from domain knowledge remain under investigation. Complex relations in surgical annotations can be divided into intra- and inter-relations, both valuable to autonomous systems to comprehend surgical workflows. Intra- and inter-relations describe the relevance of various categories within a particular annotation type and the relevance of different annotation types, respectively. This paper aims to systematically investigate the importance of relational cues in surgery. First, we contribute the RLLS12M dataset, a large-scale collection of robotic left lateral sectionectomy (RLLS), by curating 50 videos of 50 patients operated by 5 surgeons and annotating a hierarchical workflow, which consists of 3 inter- and 6 intra-relations, 6 steps, 15 tasks, and 38 activities represented as the triplet of 11 instruments, 8 actions, and 16 objects, totaling 2,113,510 video frames and 12,681,060 annotation entities. Correspondingly, we propose a multi-relation purification hybrid network (MURPHY), which aptly incorporates novel relation modules to augment the feature representation by purifying relational features using the intra- and inter-relations embodied in annotations. The intra-relation module leverages a R-GCN to implant visual features in different graph relations, which are aggregated using a targeted relation purification with affinity information measuring label consistency and feature similarity. The inter-relation module is motivated by attention mechanisms to regularize the influence of relational features based on the hierarchy of annotation types from the domain knowledge. Extensive experimental results on the curated RLLS dataset confirm the effectiveness of our approach, demonstrating that relations matter in surgical workflow analysis.
translated by 谷歌翻译