使用生成的对抗神经网络和更精确的周期内，无监督和不配对的域翻译是组织病理学图像的染色翻译的最新技术。然而，它通常遭受循环一致但非结构保存错误的存在。我们为一组方法提出了一种替代方法，该方法依赖于分割一致性，可以保留病理结构。专注于免疫组织化学（IHC）和多重免疫荧光（MIF），我们引入了一种简单而有效的指导方案，作为一种损失函数，以利用污渍翻译和染色隔离的一致性。定性和定量实验显示了提出的方法改善两个域之间翻译的能力。
translated by 谷歌翻译
In the clinical setting of histopathology, whole-slide image (WSI) artifacts frequently arise, distorting regions of interest, and having a pernicious impact on WSI analysis. Image-to-image translation networks such as CycleGANs are in principle capable of learning an artifact removal function from unpaired data. However, we identify a surjection problem with artifact removal, and propose an weakly-supervised extension to CycleGAN to address this. We assemble a pan-cancer dataset comprising artifact and clean tiles from the TCGA database. Promising results highlight the soundness of our method.
translated by 谷歌翻译
生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。
translated by 谷歌翻译
渲染程序已经完全改变了设计过程，因为它们可以在制造产品之前查看产品的外观。但是，渲染过程很复杂，并且需要大量时间，不仅在渲染本身，而且在场景的环境中。需要设置材料，灯光和摄像头，以获得最佳质量效果。然而，在第一个渲染中可能无法获得最佳输出。这一切使渲染过程成为一个繁琐的过程。因为Goodfellow等人。 2014年引入了生成对抗网络（GAN）[1]，它们已用于生成计算机分配的合成数据，从不存在的人脸到医学数据分析或图像样式转移。 GAN已被用来将图像纹理从一个域传输到另一个域。但是，需要来自两个域的配对数据。朱等。引入了Cyclegan模型，消除了这种昂贵的约束允许将一个图像从一个域转换为另一个域的，而无需配对数据。这项工作验证了Cyclegans在样式转移从初始草图到2D最终渲染的适用性，该渲染代表3D设计，这是每个产品设计过程中最重要的一步。我们询问将Cyclegans作为设计管道的一部分的可能性，更确切地说是应用于环设计的渲染。我们的贡献需要该过程的关键部分，因为它允许客户在购买前查看最终产品。这项工作为将来的研究树立了基础，展示了gan在设计中的可能性，并为新型应用程序建立了接近工艺设计的起点。
translated by 谷歌翻译
在数字病理学中，许多图像分析任务是挑战，需要大量的耗时的手动数据注释来应对图像域中的各种可变性来源。基于图像到图像转换的无监督域适应在没有手动开销的情况下通过解决变量，在此字段中获得重要性。在这里，我们通过无监督的污渍到污渍翻译来解决不同组织污渍的变化，以实现深度学习分割模型的无关适用性。我们在肾组织病理学中使用污渍到染色翻译的自行合物，并提出了两种提高平移效果的新方法。首先，我们通过语义指导将先前的分段网络集成到自我监督，以自我监督的应用方向优化的翻译中的优化，第二个，我们将额外的通道纳入翻译输出，以隐含地单独分开的人工元信息，以外地编码用于解决问题。重建。后者对未修饰的Cycreatiman进行了部分优异的性能，但前者在所有污渍中表现最佳，提供了大多数肾脏结构的78％和92％的含量为78％至92％，例如肾小球，小管和静脉。然而，Cyclegans在其他结构的翻译中仅显示了有限的性能，例如，动脉。与原始污渍中的分割相比，我们的研究也发现所有污渍中的所有结构的性能稍低。我们的研究表明，随着目前无监督的技术，似乎不太可能生产通常适用的假污渍。
translated by 谷歌翻译
While humans easily recognize relations between data from different domains without any supervision, learning to automatically discover them is in general very challenging and needs many ground-truth pairs that illustrate the relations. To avoid costly pairing, we address the task of discovering cross-domain relations given unpaired data. We propose a method based on generative adversarial networks that learns to discover relations between different domains (DiscoGAN). Using the discovered relations, our proposed network successfully transfers style from one domain to another while preserving key attributes such as orientation and face identity.
translated by 谷歌翻译
组织病理学癌症诊断是基于对染色组织载玻片的视觉检查。苏木精和曙红（H \＆E）是全球常规使用的标准污渍。它很容易获取和成本效益，但是细胞和组织成分与深蓝色和粉红色的色调相对低，从而使视觉评估，数字图像分析和定量变得困难。这些局限性可以通过IHC的靶蛋白的IHC染色来克服。 IHC提供了细胞和组织成分的选择性高对比度成像，但是它们的使用在很大程度上受到了更为复杂的实验室处理和高成本的限制。我们提出了一个条件周期（CCGAN）网络，以将H \＆E染色的图像转换为IHC染色图像，从而促进同一幻灯片上的虚拟IHC染色。这种数据驱动的方法仅需要有限的标记数据，但会生成像素级分割结果。提出的CCGAN模型通过添加类别条件并引入两个结构性损失函数，改善了原始网络\ cite {Zhu_unpaired_2017}，从而实现多重辅助翻译并提高了翻译精度。 ％需要在这里给出理由。实验表明，所提出的模型在不配对的图像翻译中胜过具有多材料的原始方法。我们还探索了未配对的图像对图像翻译方法的潜力，该方法应用于其他组织学图像与不同染色技术相关的任务。
translated by 谷歌翻译
对图像到图像翻译的监督（I2I）任务很难通过，但对所产生的质量产生重大影响。在本文中，我们观察到，对于许多无人监督的I2I（UI2I）方案，一个域更熟悉另一个域，并且提供域的域名先前知识，例如语义分割。我们争辩说，对于复杂的场景，弄清楚域的语义结构很难，特别是没有监督，而是一个成功的I2i操作的重要组成部分。因此，我们介绍了两种技术，以便在翻译质量的好处结合这种无价值的域的现有知识：通过一种新的多流生成器架构，并通过基于语义分段的正则化损耗术语。从本质上讲，我们根据语义掩模提出分离输入数据，明确地将网络引导到图像的不同区域的不同行为。此外，我们提出培训语义分段网络以及翻译任务，并将其作为提高稳健性的损耗术语利用。我们验证了我们对城市数据的方法，展示了将Day Images转换为夜间图像的挑战UI2i任务的卓越品质。此外，我们还展示了如何使用我们的增强图像加强目标数据集，从而提高了诸如经典检测之类的下游任务的培训。
translated by 谷歌翻译
无监督的图像到图像转换方法旨在将一个域从另一个域从一个域映射到合理的示例，同时保留两个域共享的结构。在多对多的设置中，来自目标域的其他引导示例用于确定所生成图像的特定域属性。在没有属性注释的情况下，方法必须推断在训练期间从数据到每个域的特定于每个域的因素。许多最先进的方法硬编码所需的共享VS特定的分为其架构，严重限制问题的范围。在本文中，我们提出了一种新方法，不依赖于这种归纳架构偏见，并且在使用翻译诚实损失和对域特定容量的惩罚的惩罚，通过通过网络来限制信息流是特定于域的域特定的infers。嵌入。我们表明，该方法在两个合成和一个自然数据集中始终如一地实现了跨越各种域特定和共享属性的一个自然数据集。
translated by 谷歌翻译
在良好的弹药条件下，车辆检测准确性相当准确，但在弱光条件下容易受到检测准确性不佳。弱光和眩光的组合效果或尾灯的眩光导致最新的对象检测模型更有可能错过车辆检测。但是，热红外图像对照明的变化是可靠的，并且基于热辐射。最近，生成对抗网络（GAN）已在图像域传输任务中广泛使用。最先进的GAN型号试图通过将红外图像转换为白天的RGB图像来提高夜间车辆检测准确性。但是，与白天条件相比，在夜间条件下，这些模型在夜间条件下表现不佳。因此，这项研究试图通过提出三种不同的方法来缓解这一缺点，该方法基于两个不同级别的GAN模型的组合，试图减少白天和夜间红外图像之间的特征分布差距。通过使用最新的对象检测模型测试模型，可以完成定量分析以比较提出模型的性能与最新模型的性能。定量和定性分析都表明，所提出的模型在夜间条件下的最新车辆检测模型优于最先进的GAN模型，显示了所提出的模型的功效。
translated by 谷歌翻译
组织病理学依赖于微观组织图像的分析来诊断疾病。组织制备的关键部分正在染色，从而使染料用于使显着的组织成分更具区分。但是，实验室协议和扫描设备的差异导致相应图像的显着混淆外观变化。这种变异增加了人类错误和评估者间的变异性，并阻碍了自动或半自动方法的性能。在本文中，我们引入了一个无监督的对抗网络，以在多个数据采集域中翻译（因此使）整个幻灯片图像。我们的关键贡献是：（i）一种对抗性体系结构，该架构使用信息流分支通过单个发电机 - 歧视器网络在多个域中学习，该信息流分支优化可感知损失，以及（ii）在培训过程中包含一个附加功能提取网络，以指导指导指导的额外功能提取网络。转换网络以保持组织图像中的所有结构特征完整。我们：（i）首先证明了提出的方法对120例肾癌的H \＆e幻灯片的有效性，以及（ii）显示了该方法对更一般问题的好处，例如基于灵活照明的自然图像增强功能和光源适应。
translated by 谷歌翻译
语义引导的条件生成的对抗网络（CGANS）已成为近年来面对面编辑的流行方法。然而，大多数现有方法将语义掩模引入发电机的直接条件输入，并且通常需要目标掩模在RGB空间中执行相应的转换。我们提出Secgan，一种新的标签引导，用于利用语义信息编辑面部图像，无需指定目标语义掩模。在培训期间，Secgan有两个发电机分支机构和鉴别者并行运行，有一个训练，用于翻译RGB图像和另一个用于语义面具。要以互利的方式桥接两个分支机构，我们介绍了一个语义一致性损失，限制了两个分支以具有一致的语义输出。虽然在训练期间需要两个分支机构，但RGB分支是我们的主要网络，并且不需要语义分支。我们的结果在Celeba和Celeba-HQ上表明，我们的方法能够以更准确的属性生成面部图像，在目标属性识别率方面表现出竞争性基线，同时维持自我监督的FR \ {E} CHET Inception等质量指标距离和成立得分。
translated by 谷歌翻译
域适应是一种解决未经看线环境中缺乏大量标记数据的技术。提出了无监督的域适应，以使模型适用于使用单独标记的源数据和未标记的目标域数据的新模式。虽然已经提出了许多图像空间域适配方法来捕获像素级域移位，但是这种技术可能无法维持分割任务的高电平语义信息。对于生物医学图像的情况，在域之间的图像转换操作期间，诸如血管的细细节可能会丢失。在这项工作中，我们提出了一种模型，它使用周期 - 一致丢失在域之间适应域，同时通过在适应过程中强制执行基于边缘的损耗来维持原始图像的边缘细节。我们通过将其与其他两只眼底血管分割数据集的其他方法进行比较来证明我们的算法的有效性。与SOTA和〜5.2增量相比，我们达到了1.1〜9.2递增的骰子分数。
translated by 谷歌翻译
未配对的视频对视频翻译旨在在不需要配对培训数据的情况下将视频翻译在源和目标域之间，从而使其对于实际应用程序更可行。不幸的是，翻译的视频通常会遇到时间和语义不一致。为了解决这个问题，许多现有的作品采用了基于运动估计的时间信息，采用时空一致性约束。然而，运动估计的不准确性导致空间颞一致性的指导质量，从而导致不稳定的翻译。在这项工作中，我们提出了一种新颖的范式，该范式通过将输入视频中的动作与生成的光流合成，而不是估算它们，从而使时空的一致性正常。因此，可以在正则化范式中应用合成运动，以使运动在范围内保持一致，而不会冒出运动估计错误的风险。此后，我们利用了我们的无监督回收和无监督的空间损失，在合成光流提供的伪内观察指导下，以准确地在两个域中实现时空一致性。实验表明，在各种情况下，我们的方法在生成时间和语义一致的视频方面具有最先进的性能。代码可在以下网址获得：https：//github.com/wangkaihong/unsup_recycle_gan/。
translated by 谷歌翻译
卫星图像中的云的检测是遥感中的大数据的基本预处理任务。卷积神经网络（CNNS）在检测卫星图像中的云中大大提升了最先进的，但是现有的基于CNN的方法昂贵，因为它们需要大量具有昂贵的像素级云标签的训练图像。为了减轻这种成本，我们提出了针对云检测（FCD）的定点GaN，这是一种弱监督的方法。只有图像级标签训练，我们学习在清晰和阴天的图像之间的固定点转换，因此在翻译期间只影响云。这样做使我们的方法能够通过将卫星图像转换为清除并将阈值设置为两个图像之间的差异来预测像素级云标签。此外，我们提出了FCD +，在那里我们利用CNN的标签噪声稳健性来改进FCD的预测，从而进一步改进。我们展示了我们对Landsat-8生物群落云检测数据集的方法的有效性，在那里我们将性能接近与昂贵的像素级标签一起列车的现有全监督方法。通过微调我们的FCD +，只有1％的可用像素级标签，我们符合完全监督方法的性能。
translated by 谷歌翻译
translated by 谷歌翻译
夜间热红外（NTIR）图像着色，也称为NTIR图像转换为白天颜色图像（NTIR2DC），是一个有希望的研究方向，可促进对人类和不利条件下的智能系统的夜间现场感知（例如，完整的黑暗）。但是，先前开发的方法对于小样本类别的着色性能差。此外，降低伪标签中的高置信度噪声并解决翻译过程中图像梯度消失的问题仍然不足，并且在翻译过程中防止边缘扭曲也很具有挑战性。为了解决上述问题，我们提出了一个新颖的学习框架，称为记忆引导的协作关注生成对抗网络（MORNGAN），该框架受到人类的类似推理机制的启发。具体而言，设计了记忆引导的样本选择策略和自适应协作注意力丧失，以增强小样本类别的语义保存。此外，我们提出了一个在线语义蒸馏模块，以挖掘并完善NTIR图像的伪标记。此外，引入条件梯度修复损失，以减少翻译过程中边缘失真。在NTIR2DC任务上进行的广泛实验表明，在语义保存和边缘一致性方面，提出的Morngan明显优于其他图像到图像翻译方法，这有助于显着提高对象检测精度。
translated by 谷歌翻译
图像到图像翻译在启用合成数据的计算机视觉方面发挥了重要作用。但是，如果源和目标域具有较大的语义不匹配，那么现有的技术通常会遭受源内容损坏，也就是语义翻转。为了解决这个问题，我们提出了一个新的范式，用于使用矢量符号体系结构（VSA），这是一个理论框架，该框架定义了在高维矢量（HyphyMytector）空间中定义代数操作的理论框架。我们通过学习逆转翻译以确保与源内容的一致性来介绍对源到目标翻译的对抗学习的基于VSA的约束。我们在定性和定量上表明我们的方法比其他最先进的技术有所改进。
translated by 谷歌翻译
用商品传感器捕获的深度图通常具有低质量和分辨率；这些地图需要增强以在许多应用中使用。深度图超分辨率的最新数据驱动方法依赖于同一场景的低分辨率和高分辨率深度图的注册对。采集现实世界配对数据需要专门的设置。另一个替代方法是通过亚采样，添加噪声和其他人工降解方法从高分辨率地图中生成低分辨率地图，并不能完全捕获现实世界中低分辨率图像的特征。结果，对这种人造配对数据训练的监督学习方法可能在现实世界中的低分辨率输入上表现不佳。我们考虑了一种基于从未配对数据学习的深度超分辨率的方法。尽管已经提出了许多用于未配对图像到图像翻译的技术，但大多数技术无法使用深度图提供有效的孔填充或重建精确表面。我们提出了一种未配对的学习方法，用于深度超分辨率，该方法基于可学习的降解模型，增强成分和表面正常估计作为特征，以产生更准确的深度图。我们为未配对的深度SR提出了一个基准测试，并证明我们的方法的表现优于现有的未配对方法，并与配对相当。
translated by 谷歌翻译
域的适应性引起了极大的兴趣，因为标签是一项昂贵且容易出错的任务，尤其是当像素级在语义分段中需要标签时。因此，人们希望能够在数据丰富并且标签精确的合成域上训练神经网络。但是，这些模型通常在室外图像上表现不佳。为了减轻输入的变化，可以使用图像到图像的方法。然而，使用合成训练域桥接部署领域的标准图像到图像方法并不关注下游任务，而仅关注视觉检查级别。因此，我们在图像到图像域的适应方法中提出了gan的“任务意识”版本。借助少量标记的地面真实数据，我们将图像到图像翻译指导为更合适的输入图像，用于培训合成数据（合成域专家）的语义分割网络。这项工作的主要贡献是1）一种模块化半监督域适应方法，通过训练下游任务Aware Cycean，同时避免适应合成语义分割专家2）该方法适用于复杂的域适应任务3）通过使用从头开始网络进行较不偏见的域间隙分析。我们在分类任务以及语义细分方面评估我们的方法。我们的实验表明，我们的方法比仅使用70（10％）地面真实图像的分类任务中的准确性优于标准图像到图像方法 - 准确性的准确性7％。对于语义细分，我们可以在训练过程中仅使用14个地面真相图像，在均值评估数据集上，平均交叉点比联合的平均交叉点约4％至7％。
translated by 谷歌翻译