为有效语义分割和特别是视频语义分割构建模型的主要障碍是缺乏大型和良好的注释数据集。这种瓶颈在高度专业化的和监管领域特别禁止，例如医学和手术，视频语义细分可能具有重要应用，但数据和专家注释是稀缺的。在这些设置中，可以在培训期间利用时间线索和解剖结构来提高性能。在这里，我们呈现时间限制的神经网络（TCNN），是用于外科视频的视频语义分割的半监督框架。在这项工作中，我们表明AutoEncoder网络可用于有效地提供空间和时间监控信号来培训深度学习模型。我们在新推出的腹腔镜胆囊切除术文程序，内测序和对CADIS，CADIS的公共数据集的适应时测试我们的方法。我们证明，可以利用预测面罩的较低尺寸表示，以在稀疏标记的数据集中提供一致的改进，这些数据集在推理时间不具有额外的计算成本。此外，TCNN框架是模型无关的，可以与其他模型设计选择结合使用，具有最小的额外复杂性。

自动手术场景细分是促进现代手术剧院认知智能的基础。以前的作品依赖于常规的聚合模块（例如扩张的卷积，卷积LSTM），仅利用局部环境。在本文中，我们提出了一个新颖的框架STSWINCL，该框架通过逐步捕获全球环境来探讨互补的视频内和访问间关系以提高细分性能。我们首先开发了层次结构变压器，以捕获视频内关系，其中包括来自邻居像素和以前的帧的富裕空间和时间提示。提出了一个联合时空窗口移动方案，以有效地将这两个线索聚集到每个像素嵌入中。然后，我们通过像素到像素对比度学习探索视频间的关系，该学习很好地结构了整体嵌入空间。开发了一个多源对比度训练目标，可以将视频中的像素嵌入和基础指导分组，这对于学习整个数据的全球属性至关重要。我们在两个公共外科视频基准测试中广泛验证了我们的方法，包括Endovis18 Challenge和Cadis数据集。实验结果证明了我们的方法的有希望的性能，这始终超过了先前的最新方法。代码可在https://github.com/yuemingjin/stswincl上找到。

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

胎儿镜检查激光​​光凝是一种广泛采用的方法，用于治疗双胞胎输血综合征（TTTS）。该过程涉及光凝病理吻合术以调节双胞胎之间的血液交换。由于观点有限，胎儿镜的可操作性差，可见性差和照明的可变性，因此该程序尤其具有挑战性。这些挑战可能导致手术时间增加和消融不完全。计算机辅助干预措施（CAI）可以通过识别场景中的关键结构并通过视频马赛克来扩展胎儿镜观景领域，从而为外科医生提供决策支持和背景意识。由于缺乏设计，开发和测试CAI算法的高质量数据，该领域的研究受到了阻碍。通过作为MICCAI2021内窥镜视觉挑战组织的胎儿镜胎盘胎盘分割和注册（FETREG2021）挑战，我们发布了第一个Largescale Multencentre TTTS数据集，用于开发广义和可靠的语义分割和视频摩擦质量algorithms。对于这一挑战，我们发布了一个2060张图像的数据集，该数据集是从18个体内TTTS胎儿镜检查程序和18个简短视频剪辑的船只，工具，胎儿和背景类别的像素通道。七个团队参与了这一挑战，他们的模型性能在一个看不见的测试数据集中评估了658个从6个胎儿镜程序和6个短剪辑的图像的图像。这项挑战为创建通用解决方案提供了用于胎儿镜面场景的理解和摩西式解决方案的机会。在本文中，我们介绍了FETREG2021挑战的发现，以及报告TTTS胎儿镜检查中CAI的详细文献综述。通过这一挑战，它的分析和多中心胎儿镜数据的发布，我们为该领域的未来研究提供了基准。

Assessing the critical view of safety in laparoscopic cholecystectomy requires accurate identification and localization of key anatomical structures, reasoning about their geometric relationships to one another, and determining the quality of their exposure. In this work, we propose to capture each of these aspects by modeling the surgical scene with a disentangled latent scene graph representation, which we can then process using a graph neural network. Unlike previous approaches using graph representations, we explicitly encode in our graphs semantic information such as object locations and shapes, class probabilities and visual features. We also incorporate an auxiliary image reconstruction objective to help train the latent graph representations. We demonstrate the value of these components through comprehensive ablation studies and achieve state-of-the-art results for critical view of safety prediction across multiple experimental settings.

半监督视频对象分割（VOS）的任务已经大大提升，最先进的性能是通过密集的基于匹配的方法进行的。最近的方法利用时空存储器（STM）网络并学习从所有可用源检索相关信息，其中使用对象掩模的过去帧形成外部存储器，并且使用存储器中的掩码信息分段为查询作为查询的当前帧进行分割。然而，当形成存储器并执行匹配时，这些方法仅在忽略运动信息的同时利用外观信息。在本文中，我们倡导\ emph {motion信息}的返回，并提出了一个用于半监督VOS的运动不确定性感知框架（MUMET）。首先，我们提出了一种隐含的方法来学习相邻帧之间的空间对应，构建相关成本卷。在构建密集的对应期间处理遮挡和纹理区域的挑战性案例，我们将不确定性纳入密集匹配并实现运动不确定性感知特征表示。其次，我们介绍了运动感知的空间注意模块，以有效地融合了语义特征的运动功能。关于具有挑战性的基准的综合实验表明，\ TextBF {\ Textit {使用少量数据并将其与强大的动作信息组合可以带来显着的性能Boost}}。我们只使用Davis17达到$ \ Mathcal {} $培训{76.5 \％} $ \ mathcal {f} $培训，这显着优于低数据协议下的\ texit {sota}方法。 \ textit {代码将被释放。}

The appearance of an object can be fleeting when it transforms. As eggs are broken or paper is torn, their color, shape and texture can change dramatically, preserving virtually nothing of the original except for the identity itself. Yet, this important phenomenon is largely absent from existing video object segmentation (VOS) benchmarks. In this work, we close the gap by collecting a new dataset for Video Object Segmentation under Transformations (VOST). It consists of more than 700 high-resolution videos, captured in diverse environments, which are 20 seconds long on average and densely labeled with instance masks. A careful, multi-step approach is adopted to ensure that these videos focus on complex object transformations, capturing their full temporal extent. We then extensively evaluate state-of-the-art VOS methods and make a number of important discoveries. In particular, we show that existing methods struggle when applied to this novel task and that their main limitation lies in over-reliance on static appearance cues. This motivates us to propose a few modifications for the top-performing baseline that improve its capabilities by better modeling spatio-temporal information. But more broadly, the hope is to stimulate discussion on learning more robust video object representations.

手卫生是世界卫生组织（WHO）提出的标准六步洗手行动。但是，没有很好的方法来监督医务人员进行手卫生，这带来了疾病传播的潜在风险。在这项工作中，我们提出了一项新的计算机视觉任务，称为手动卫生评估，以为医务人员提供手动卫生的明智监督。现有的行动评估工作通常在整个视频上做出总体质量预测。但是，手动卫生作用的内部结构在手工卫生评估中很重要。因此，我们提出了一个新颖的细粒学习框架，以联合方式进行步骤分割和关键动作得分手，以进行准确的手部卫生评估。现有的时间分割方法通常采用多阶段卷积网络来改善分割的鲁棒性，但由于缺乏远距离依赖性，因此很容易导致过度分割。为了解决此问题，我们设计了一个多阶段卷积转换器网络，以进行步骤细分。基于这样的观察，每个手洗步骤都涉及确定手洗质量的几个关键动作，我们设计了一组关键的动作得分手，以评估每个步骤中关键动作的质量。此外，在手工卫生评估中缺乏统一的数据集。因此，在医务人员的监督下，我们贡献了一个视频数据集，其中包含300个带有细粒注释的视频序列。数据集上的广泛实验表明，我们的方法很好地评估了手动卫生视频并取得了出色的性能。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

Recent advancements in deep learning methods bring computer-assistance a step closer to fulfilling promises of safer surgical procedures. However, the generalizability of such methods is often dependent on training on diverse datasets from multiple medical institutions, which is a restrictive requirement considering the sensitive nature of medical data. Recently proposed collaborative learning methods such as Federated Learning (FL) allow for training on remote datasets without the need to explicitly share data. Even so, data annotation still represents a bottleneck, particularly in medicine and surgery where clinical expertise is often required. With these constraints in mind, we propose FedCy, a federated semi-supervised learning (FSSL) method that combines FL and self-supervised learning to exploit a decentralized dataset of both labeled and unlabeled videos, thereby improving performance on the task of surgical phase recognition. By leveraging temporal patterns in the labeled data, FedCy helps guide unsupervised training on unlabeled data towards learning task-specific features for phase recognition. We demonstrate significant performance gains over state-of-the-art FSSL methods on the task of automatic recognition of surgical phases using a newly collected multi-institutional dataset of laparoscopic cholecystectomy videos. Furthermore, we demonstrate that our approach also learns more generalizable features when tested on data from an unseen domain.

基于3DCNN，ConvlSTM或光流的先前方法在视频显着对象检测（VSOD）方面取得了巨大成功。但是，它们仍然遭受高计算成本或产生的显着图质量较差的困扰。为了解决这些问题，我们设计了一个基于时空存储器（STM）网络，该网络从相邻帧中提取当前帧的有用时间信息作为VSOD的时间分支。此外，以前的方法仅考虑无时间关联的单帧预测。结果，模型可能无法充分关注时间信息。因此，我们最初将框架间的对象运动预测引入VSOD。我们的模型遵循标准编码器 - 编码器体系结构。在编码阶段，我们通过使用电流及其相邻帧的高级功能来生成高级的时间特征。这种方法比基于光流的方法更有效。在解码阶段，我们提出了一种有效的空间和时间分支融合策略。高级特征的语义信息用于融合低级特征中的对象细节，然后逐步获得时空特征以重建显着性图。此外，受图像显着对象检测（ISOD）中常用的边界监督的启发，我们设计了一种运动感知损失，用于预测对象边界运动，并同时对VSOD和对象运动预测执行多任务学习，这可以进一步促进模型以提取提取的模型时空特征准确并保持对象完整性。在几个数据集上进行的广泛实验证明了我们方法的有效性，并且可以在某些数据集上实现最新指标。所提出的模型不需要光流或其他预处理，并且在推理过程中可以达到近100 fps的速度。

手术场景细分对于促使机器人手术的认知援助至关重要。但是，以逐帧方式以像素为单位的注释视频是昂贵且耗时的。为了大大减轻标签负担，在这项工作中，我们从机器人手术视频中研究了半监督的场景细分，这实际上是必不可少的，但以前很少探索。我们考虑在等距采样下的临床上适当的注释情况。然后，我们提出了PGV-CL，这是一种新型的伪标签引导的跨视频对比学习方法，以增强场景分割。它有效地利用了未标记的数据来实现可信赖和全球模型的正则化，从而产生更具歧视性的特征表示。具体来说，对于可信赖的表示学习，我们建议合并伪标签以指导对选择，从而获得更可靠的代表对像素对比度。此外，我们将代表学习空间从以前的图像级扩展到交叉视频，该图像可以捕获全球语义以使学习过程受益。我们广泛评估了公共机器人手术数据集Edovis18和公共白内障数据集Cadis的方法。实验结果证明了我们方法的有效性，在不同的标签比下始终超过了最先进的半监督方法，甚至超过了10.1％标签的destovis18上的全面监督培训。

我们介绍了一个新的问题，即从以自我为中心的视频中预期一个未来的手罩时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，该动作在全球范围内影响了头饰的摄像头视频分析。为此，我们提出了一个新颖的深层生成模型-Egogan，它使用3D完全卷积网络来学习一个时空视频表示，以视觉预期，可以使用生成的对抗网络（GAN）和然后，根据视频表示和生成的未来头部运动来预测未来的手蒙版。我们在Epic-Kitchens和Egtea凝视+数据集上评估了我们的方法。我们进行详细的消融研究，以验证我们方法的设计选择。此外，我们将我们的方法与以前的未来图像分割方法进行比较，并表明我们的方法可以更准确地预测未来的手掩模。

本文的目的是一个模型，能够在视频中发现，跟踪和细分多个移动对象。我们做出四个贡献：首先，我们引入了一个以对象为中心的分段模型，具有深度订购的层表示。这是使用摄入光流的变压器体系结构的变体来实现的，每个查询向量为整个视频指定对象及其层。该模型可以有效地发现多个移动对象并处理相互阻塞。其次，我们引入了一条可扩展的管道，用于生成具有多个对象的合成训练数据，从而大大降低了对劳动密集型注释的要求，并支持SIM2REAL概括；第三，我们表明该模型能够学习对象的持久性和时间形状的一致性，并能够预测Amodal分割掩码。第四，我们评估了标准视频细分基准测试模型，戴维斯，MOCA，SEGTRACK，FBMS-59，并实现最新的无监督分割性能，甚至优于几种监督方法。通过测试时间适应，我们观察到进一步的性能提高。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

视频突出对象检测旨在在视频中找到最具视觉上的对象。为了探索时间依赖性，现有方法通常是恢复性的神经网络或光学流量。然而，这些方法需要高计算成本，并且往往会随着时间的推移积累不准确性。在本文中，我们提出了一种带有注意模块的网络，以学习视频突出物体检测的对比特征，而没有高计算时间建模技术。我们开发了非本地自我关注方案，以捕获视频帧中的全局信息。共注意配方用于结合低级和高级功能。我们进一步应用了对比学学习以改善来自相同视频的前景区域对的特征表示，并将前景 - 背景区域对被推除在潜在的空间中。帧内对比损失有助于将前景和背景特征分开，并且帧间的对比损失提高了时间的稠度。我们对多个基准数据集进行广泛的实验，用于视频突出对象检测和无监督的视频对象分割，并表明所提出的方法需要较少的计算，并且对最先进的方法进行有利地执行。

Human parsing aims to partition humans in image or video into multiple pixel-level semantic parts. In the last decade, it has gained significantly increased interest in the computer vision community and has been utilized in a broad range of practical applications, from security monitoring, to social media, to visual special effects, just to name a few. Although deep learning-based human parsing solutions have made remarkable achievements, many important concepts, existing challenges, and potential research directions are still confusing. In this survey, we comprehensively review three core sub-tasks: single human parsing, multiple human parsing, and video human parsing, by introducing their respective task settings, background concepts, relevant problems and applications, representative literature, and datasets. We also present quantitative performance comparisons of the reviewed methods on benchmark datasets. Additionally, to promote sustainable development of the community, we put forward a transformer-based human parsing framework, providing a high-performance baseline for follow-up research through universal, concise, and extensible solutions. Finally, we point out a set of under-investigated open issues in this field and suggest new directions for future study. We also provide a regularly updated project page, to continuously track recent developments in this fast-advancing field: https://github.com/soeaver/awesome-human-parsing.

基于高质量标签的鱼类跟踪和细分的DNN很昂贵。替代无监督的方法取决于视频数据中自然发生的空间和时间变化来生成嘈杂的伪界图标签。这些伪标签用于训练多任务深神经网络。在本文中，我们提出了一个三阶段的框架，用于强大的鱼类跟踪和分割，其中第一阶段是光流模型，该模型使用帧之间的空间和时间一致性生成伪标签。在第二阶段，一个自我监督的模型会逐步完善伪标签。在第三阶段，精制标签用于训练分割网络。在培训或推理期间没有使用人类注释。进行了广泛的实验来验证我们在三个公共水下视频数据集中的方法，并证明它对视频注释和细分非常有效。我们还评估框架对不同成像条件的鲁棒性，并讨论当前实施的局限性。

Instance segmentation in videos, which aims to segment and track multiple objects in video frames, has garnered a flurry of research attention in recent years. In this paper, we present a novel weakly supervised framework with \textbf{S}patio-\textbf{T}emporal \textbf{C}ollaboration for instance \textbf{Seg}mentation in videos, namely \textbf{STC-Seg}. Concretely, STC-Seg demonstrates four contributions. First, we leverage the complementary representations from unsupervised depth estimation and optical flow to produce effective pseudo-labels for training deep networks and predicting high-quality instance masks. Second, to enhance the mask generation, we devise a puzzle loss, which enables end-to-end training using box-level annotations. Third, our tracking module jointly utilizes bounding-box diagonal points with spatio-temporal discrepancy to model movements, which largely improves the robustness to different object appearances. Finally, our framework is flexible and enables image-level instance segmentation methods to operate the video-level task. We conduct an extensive set of experiments on the KITTI MOTS and YT-VIS datasets. Experimental results demonstrate that our method achieves strong performance and even outperforms fully supervised TrackR-CNN and MaskTrack R-CNN. We believe that STC-Seg can be a valuable addition to the community, as it reflects the tip of an iceberg about the innovative opportunities in the weakly supervised paradigm for instance segmentation in videos.

本文介绍了提交给SHREC 2022坑道轨道和路面裂纹检测的方法。总共比较了道路表面的语义分割的7种不同的运行，参与者和基线方法的6个。所有方法都利用深度学习技术及其性能使用相同的环境（即：单个Jupyter笔记本）进行测试。由3836个语义细分图像/蒙版对组成的培训集和797个带有最新深度摄像机的RGB-D视频片段组成。然后，在验证集中的496个图像/掩码对上，测试集中的504对，最后在8个视频剪辑上评估该方法。结果的分析基于用于图像分割和视频剪辑定性分析的定量指标。参与和结果表明，该方案引起了人们的极大兴趣，在这种情况下，使用RGB-D数据仍然具有挑战性。