本文介绍了基于仅使用合成数据训练的深卷积神经网络的人体部位分割的新框架。该方法实现了尖端的结果，而无需培训具有人体部位的真实注释数据的模型。我们的贡献包括数据生成管道，该管道利用游戏引擎来创建用于训练网络的合成数据，以及一种结合边缘响应映射和自适应直方图均衡的新型预处理模块，以指导网络来学习网络人体部位的形状确保对照明条件的变化的稳健性。为了选择最佳候选架构，我们对真正的人体四肢的手动注释图像进行详尽的测试。我们进一步将我们的方法与若干高端商业分割工具进行了对体零分割任务的几个。结果表明，我们的方法通过显着的余量优于其他模型。最后，我们展示了一个消融研究来验证我们的预处理模块。通过本文，我们释放了所提出的方法以及所获取的数据集的实现。

在真正无约束的基于RGB的设置中的手部分割和检测对于许多应用来说都很重要。然而，由于大量分割和检测数据的手动注释的可行性，现有数据集远非充分的尺寸和变化。结果，目前的方法受许多潜在的假设有限，例如约束环境，呈肤色和照明。在这项工作中，我们展示了EGO2HANDS，这是一种基于大规模的基于RGB的自主手法分割/检测数据集，其是半自动注释的和基于颜色不变的合成的数据生成技术，能够创建具有大量和变化的培训数据。为了定量分析，我们手动注释了一个评估集，可显着超过现有的数量，多样性和注释精度的基准。我们提供跨数据集评估，并彻底分析了EGO2Hand上的最先进模型的性能，以表明我们的数据集和数据生成技术可以生成概括到未经域间适应的未经调整环境的模型。

在非结构化环境中工作的机器人必须能够感知和解释其周围环境。机器人技术领域基于深度学习模型的主要障碍之一是缺乏针对不同工业应用的特定领域标记数据。在本文中，我们提出了一种基于域随机化的SIM2REAL传输学习方法，用于对象检测，可以自动生成任意大小和对象类型的标记的合成数据集。随后，对最先进的卷积神经网络Yolov4进行了训练，以检测不同类型的工业对象。通过提出的域随机化方法，我们可以在零射击和单次转移的情况下分别缩小现实差距，分别达到86.32％和97.38％的MAP50分数，其中包含190个真实图像。在GEFORCE RTX 2080 TI GPU上，数据生成过程的每图像少于0.5 s，培训持续约12H，这使其方便地用于工业使用。我们的解决方案符合工业需求，因为它可以通过仅使用1个真实图像进行培训来可靠地区分相似的对象类别。据我们所知，这是迄今为止满足这些约束的唯一工作。

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

Estimating human pose, shape, and motion from images and videos are fundamental challenges with many applications. Recent advances in 2D human pose estimation use large amounts of manually-labeled training data for learning convolutional neural networks (CNNs). Such data is time consuming to acquire and difficult to extend. Moreover, manual labeling of 3D pose, depth and motion is impractical. In this work we present SURREAL (Synthetic hUmans foR REAL tasks): a new large-scale dataset with synthetically-generated but realistic images of people rendered from 3D sequences of human motion capture data. We generate more than 6 million frames together with ground truth pose, depth maps, and segmentation masks. We show that CNNs trained on our synthetic dataset allow for accurate human depth estimation and human part segmentation in real RGB images. Our results and the new dataset open up new possibilities for advancing person analysis using cheap and large-scale synthetic data.

近年来，人员检测和人类姿势估计已经取得了很大的进步，通过大规模标记的数据集帮助。但是，这些数据集没有保证或分析人类活动，姿势或情境多样性。此外，隐私，法律，安全和道德问题可能会限制收集更多人类数据的能力。一个新兴的替代方案，用于减轻这些问题的一些问题是合成数据。然而，综合数据生成器的创建令人难以置信的具有挑战性，并防止研究人员探索他们的实用性。因此，我们释放了一个以人为本的合成数据发生器PeoplesAnspeople，它包含模拟就绪3D人类资产，参数化照明和相机系统，并生成2D和3D边界框，实例和语义分段，以及Coco姿态标签。使用PeoplesAnspeople，我们使用Detectron2 KeyPoint R-CNN变体进行基准合成数据训练[1]。我们发现，使用合成数据进行预培训网络和对目标现实世界数据的微调（几次传输到Coco-Person Rain的有限子集[2]）导致了60.37 $ 60.37 $的关键点AP（ Coco Test-Dev2017）使用相同的实际数据培训的型号优于同一实际数据（35.80美元的Keypoint AP），并使用Imagenet预先培训（Keypoint AP为57.50美元）。这种自由可用的数据发生器应使其在人用于人工以人为主的计算机视野中的临界领域进行实际转移学习的新兴仿真领域。

成功培训端到端的深网进行真实运动去缩合，需要尖锐/模糊的图像对数据集，这些数据集现实且多样化，足以实现概括以实现真实的图像。获得此类数据集仍然是一项具有挑战性的任务。在本文中，我们首先回顾了现有的Deblurring基准数据集的局限性，从泛化到野外模糊图像的角度。其次，我们提出了一种有效的程序方法，以基于一个简单而有效的图像形成模型来生成清晰/模糊的图像对。这允许生成几乎无限的现实和多样化的培训对。我们通过在模拟对上训练现有的DeBlurring架构，并在四个真实模糊图像的标准数据集中对其进行评估，从而证明了所提出的数据集的有效性。我们观察到使用建议方法训练时动态场景的真实运动毛线照片的最终任务的出色概括性能。

图像协调旨在调整前景的外观，使其更兼容背景。由于对背景照明方向缺乏了解，现有的作品无法产生现实的前景着色。在本文中，我们将图像协调分解为两个子问题：1）背景图像的照明估计和前景对象的渲染。在解决这两个子问题之前，我们首先通过神经渲染框架学习方向感知的照明描述符，其中密钥是一个着色模块，其将阴影场分解为给定深度信息的多个着色组件。然后我们设计背景照明估计模块，以从背景中提取方向感知的照明描述符。最后，照明描述符与神经渲染框架结合使用，以生成包含新颖谐波阴影的统一前景图像。此外，我们构建了一种照片 - 现实的合成图像协调数据集，其包含基于图像的照明的许多阴影变化。对该数据集的广泛实验证明了该方法的有效性。我们的数据集和代码将公开可用。

在这项工作中，我们介绍了我们的实时自我分割算法。由于我们在Thundernet的架构中灵感的浅网络，我们的算法对于640x480的输入分辨率达到了66 fps的帧速率。此外，我们非常重视培训数据的可变性。更具体地说，我们描述了我们的自我中心物体（Egobodies）数据集的创建过程，该数据集由来自三个数据集的近10,000张图像组成，这些图像既来自综合方法和真实捕获。我们进行实验以了解各个数据集的贡献；比较用自行车训练的Thundernet模型，并以更简单，更复杂的先前方法进行比较，并在分段质量和推理时间上以现实生活设置进行了相应的性能。所描述的经过训练的语义分割算法已经集成到混合现实的端到端系统中，使用户有可能在沉浸在MR场景中时看到自己的身体。

随着数据驱动技术的快速发展，数据在各种计算机视觉任务中起着至关重要的作用。已经提出了许多现实和合成数据集来解决不同的问题。但是，有很多尚未解决的挑战：（1）数据集的创建通常是一个带有手动注释的繁琐过程，（2）大多数数据集仅设计用于单个特定任务，（3）3D场景的修改或随机化很难，（4）商业3D数据的发布可能会遇到版权问题。本文介绍了Minervas，这是一种庞大的内部环境虚拟合成系统，以促进3D场景修改和各种视觉任务的2D图像合成。特别是，我们设计了一个具有特定域语言的可编程管道，允许用户（1）从商业室内场景数据库中选择场景，（2）通过自定义规则合成不同任务的场景，以及（3）渲染各种图像数据，例如视觉色，几何结构，语义标签。我们的系统可以轻松为不同任务定制大量场景的困难，并通过使用多级别采样器提供可控制用户控制的随机性来缓解用户操纵精细的场景配置。最重要的是，它使用户能够访问具有数百万个室内场景的商业场景数据库，并保护核心数据资产的版权，例如3D CAD模型。我们通过使用合成数据来改善各种计算机视觉任务的性能来证明系统的有效性和灵活性。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

在过去几年中，许多面部分析任务已经完成了惊人的性能，其中应用包括来自单个“野外”图像的面部生成和3D面重建。尽管如此，据我们所知，没有方法可以从“野外”图像中产生渲染的高分辨率3D面，并且这可以归因于：（a）可用数据的跨度进行培训（b）缺乏可以成功应用于非常高分辨率数据的强大方法。在这项工作中，我们介绍了一种能够从单个“野外”图像中重建光电型渲染3D面部几何和BRDF的第一种方法。我们捕获了一个大型的面部形状和反射率，我们已经公开了。我们用精确的面部皮肤漫射和镜面反射，自遮挡和地下散射近似来定义快速面部光电型拟型渲染方法。有了这一点，我们训练一个网络，将面部漫射和镜面BRDF组件与烘焙照明的形状和质地一起脱颖而出，以最先进的3DMM配件方法重建。我们的方法通过显着的余量优于现有技术，并从单个低分辨率图像重建高分辨率3D面，这可以在各种应用中呈现，并桥接不一体谷。

人工智能（AI），机器学习和深度学习（DL）方法在生物医学图像分析领域变得越来越重要。但是，为了利用此类方法的全部潜力，需要作为训练数据代表数量的实验获得的图像，其中包含大量手动注释对象。在这里，我们将语法（合成数据）介绍为一种新的方法，用于生成合成，光现实和高度复杂的生物医学图像作为DL系统的训练数据。我们在组织学切片中的肌肉纤维和结缔组织分析的背景下显示了方法的多功能性。我们证明，可以在以前看不见的现实世界数据上执行强大和专家级的细分任务，而无需仅使用合成训练数据进行手动注释。作为一种完全参数技术，我们的方法为生成对抗网络（GAN）构成了可解释的可控替代方案，并且有可能在显微镜及其他地区的各种生物医学应用中显着加速定量图像分析。

牡蛎在海湾生活生态系统中起着关键作用，被认为是海洋的生命过滤器。近年来，牡蛎礁经过商业过度收获造成的重大破坏，需要保存以维持生态平衡。该保存的基础是估计需要准确的牡蛎检测的牡蛎密度。但是，用于准确的牡蛎检测系统需要大量数据集获得，这是水下环境中一项昂贵且劳动密集型的任务。为此，我们提出了一种新颖的方法，可以数学上对牡蛎进行建模并在模拟中渲染牡蛎的图像，以使用最小的真实数据来提高检测性能。利用我们的合成数据以及用于牡蛎检测的真实数据，与仅使用牡蛎网络仅使用真实数据相比，我们获得了高达35.1％的性能。我们还将最先进的工作提高了12.7％。这表明，使用对象的基本几何属性可以帮助成功提高有限数据集上的识别任务准确性，我们希望更多的研究人员对难以实现的数据集采用这种策略。

慢性伤口显着影响生活质量。如果没有正确管理，他们可能会严重恶化。基于图像的伤口分析可以通过量化与愈合相关的重要特征来客观地评估伤口状态。然而，伤口类型，图像背景组成和捕获条件的高异质性挑战伤口图像的鲁棒分割。我们呈现了检测和段（DS），深度学习方法，以产生具有高泛化能力的伤口分割图。在我们的方法中，专门的深度神经网络检测到伤口位置，从未经信息背景隔离伤口，并计算伤口分割图。我们使用具有糖尿病脚溃疡图像的一个数据集评估了这种方法。为了进一步测试，使用4个补充独立数据组，具有来自不同体积的较大种类的伤口类型。当以相同的方法组合检测和分割时，在将完整图像上的分割到0.85时，Matthews的相关系数（MCC）从0.29提高到0.29。当从补充数据集汲取的卷绕图像上进行测试时，DS方法将平均MCC从0.17增加到0.85。此外，DS方法使得分段模型的培训能够在保持分割性能的同时培训高达90％的训练数据。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

胎儿镜检查激光​​光凝是一种广泛采用的方法，用于治疗双胞胎输血综合征（TTTS）。该过程涉及光凝病理吻合术以调节双胞胎之间的血液交换。由于观点有限，胎儿镜的可操作性差，可见性差和照明的可变性，因此该程序尤其具有挑战性。这些挑战可能导致手术时间增加和消融不完全。计算机辅助干预措施（CAI）可以通过识别场景中的关键结构并通过视频马赛克来扩展胎儿镜观景领域，从而为外科医生提供决策支持和背景意识。由于缺乏设计，开发和测试CAI算法的高质量数据，该领域的研究受到了阻碍。通过作为MICCAI2021内窥镜视觉挑战组织的胎儿镜胎盘胎盘分割和注册（FETREG2021）挑战，我们发布了第一个Largescale Multencentre TTTS数据集，用于开发广义和可靠的语义分割和视频摩擦质量algorithms。对于这一挑战，我们发布了一个2060张图像的数据集，该数据集是从18个体内TTTS胎儿镜检查程序和18个简短视频剪辑的船只，工具，胎儿和背景类别的像素通道。七个团队参与了这一挑战，他们的模型性能在一个看不见的测试数据集中评估了658个从6个胎儿镜程序和6个短剪辑的图像的图像。这项挑战为创建通用解决方案提供了用于胎儿镜面场景的理解和摩西式解决方案的机会。在本文中，我们介绍了FETREG2021挑战的发现，以及报告TTTS胎儿镜检查中CAI的详细文献综述。通过这一挑战，它的分析和多中心胎儿镜数据的发布，我们为该领域的未来研究提供了基准。

Current state-of-the-art segmentation techniques for ocular images are critically dependent on large-scale annotated datasets, which are labor-intensive to gather and often raise privacy concerns. In this paper, we present a novel framework, called BiOcularGAN, capable of generating synthetic large-scale datasets of photorealistic (visible light and near-infrared) ocular images, together with corresponding segmentation labels to address these issues. At its core, the framework relies on a novel Dual-Branch StyleGAN2 (DB-StyleGAN2) model that facilitates bimodal image generation, and a Semantic Mask Generator (SMG) component that produces semantic annotations by exploiting latent features of the DB-StyleGAN2 model. We evaluate BiOcularGAN through extensive experiments across five diverse ocular datasets and analyze the effects of bimodal data generation on image quality and the produced annotations. Our experimental results show that BiOcularGAN is able to produce high-quality matching bimodal images and annotations (with minimal manual intervention) that can be used to train highly competitive (deep) segmentation models (in a privacy aware-manner) that perform well across multiple real-world datasets. The source code for the BiOcularGAN framework is publicly available at https://github.com/dariant/BiOcularGAN.