In the clinical setting of histopathology, whole-slide image (WSI) artifacts frequently arise, distorting regions of interest, and having a pernicious impact on WSI analysis. Image-to-image translation networks such as CycleGANs are in principle capable of learning an artifact removal function from unpaired data. However, we identify a surjection problem with artifact removal, and propose an weakly-supervised extension to CycleGAN to address this. We assemble a pan-cancer dataset comprising artifact and clean tiles from the TCGA database. Promising results highlight the soundness of our method.

卫星图像中的云的检测是遥感中的大数据的基本预处理任务。卷积神经网络（CNNS）在检测卫星图像中的云中大大提升了最先进的，但是现有的基于CNN的方法昂贵，因为它们需要大量具有昂贵的像素级云标签的训练图像。为了减轻这种成本，我们提出了针对云检测（FCD）的定点GaN，这是一种弱监督的方法。只有图像级标签训练，我们学习在清晰和阴天的图像之间的固定点转换，因此在翻译期间只影响云。这样做使我们的方法能够通过将卫星图像转换为清除并将阈值设置为两个图像之间的差异来预测像素级云标签。此外，我们提出了FCD +，在那里我们利用CNN的标签噪声稳健性来改进FCD的预测，从而进一步改进。我们展示了我们对Landsat-8生物群落云检测数据集的方法的有效性，在那里我们将性能接近与昂贵的像素级标签一起列车的现有全监督方法。通过微调我们的FCD +，只有1％的可用像素级标签，我们符合完全监督方法的性能。

使用生成的对抗神经网络和更精确的周期内，无监督和不配对的域翻译是组织病理学图像的染色翻译的最新技术。然而，它通常遭受循环一致但非结构保存错误的存在。我们为一组方法提出了一种替代方法，该方法依赖于分割一致性，可以保留病理结构。专注于免疫组织化学（IHC）和多重免疫荧光（MIF），我们引入了一种简单而有效的指导方案，作为一种损失函数，以利用污渍翻译和染色隔离的一致性。定性和定量实验显示了提出的方法改善两个域之间翻译的能力。

生成的对抗网络（GANS）已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中，我们介绍了一个名为循环辨别生成的对抗网络（CDGAN）的新的图像到图像转换网络，填补了上述空白。除了加速本的原始架构之外，所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果，并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。

仅通过改变我们想要的东西是一种在生成的对抗网络（GANS）中的长期研究问题，用于图像操纵。只依赖于全局生成器的大多数现有方法通常都会遭受不需要的属性以及目标属性。最近，由处理整个图像的全局网络和专注于本地部件的全局网络的分层网络都显示成功。然而，这些方法通过围绕稀疏面部关键点围绕的边界盒提取局部区域，这些盒子是非微分，不准确和不切实际的。因此，解决方案变为次优，引入了不需要的人工制品，从而降低了合成图像的整体质量。此外，最近的一项研究表明面部属性和局部语义区域之间的强烈相关性。为了利用这种关系，我们设计了一个统一的语义细分和分层GAN的架构。我们框架的独特优势在于，在前向传递语义分割网络条件的情况下，生成模型以及来自分层GAN的后向通行梯度将传播到语义分段网络，这使我们的框架成为端到端可分辨的体系结构。这允许两个架构彼此受益。为了展示其优势，我们对两种挑战性面部表情翻译基准，影响网络和RAFD以及两个受欢迎的体系结构，Bisenet和Unet的语义细分基准，Celebamask-HQ的方法评估了我们的方法。我们对脸部语义分割和面部表达式操作任务的广泛定量和定性评估验证了我们对现有最先进的方法的工作的有效性。

在整个幻灯片成像中，基于苏木精和曙红（H＆E）（H＆E）和免疫组织化学（IHC）的常用染色技术染色了组织景观的不同方面。在检测转移的情况下，IHC提供了一个独特的读数，病理学家很容易解释。但是，IHC是一种更昂贵的方法，在所有医疗中心都不可用。因此，使用深层神经网络从H＆E生成IHC图像成为一种有吸引力的替代方法。诸如Cyclegans之类的深层生成模型学习两个图像域之间的语义一致映射，同时模拟每个域的纹理特性。因此，它们是污渍转移应用程序的合适选择。但是，它们仍然完全无监督，并且没有在染色转移中执行生物学一致性的机制。在本文中，我们提出了以歧视者区域形式向自行车行驶的扩展。这使Cyclegan可以从未配对的数据集中学习，此外，还希望对象有部分注释，希望它能强制执行一致性。我们在整个幻灯片图像上介绍了用例，其中IHC染色为转移细胞提供了实验生成的信号。我们证明了我们的方法优于先前的艺术在两个数据集上对组织病理学瓷砖的污渍转移中的优越性。我们的代码和型号可在https://github.com/jcboyd/miccai2022-Roigan上找到。

尽管使用深度学习技术从2D ENA中提取血管结构的研究越来越多，但对于这种方法，众所周知，曲线式结构上的数据注释过程（如视网膜脉管系统）非常昂贵且耗时，耗时，耗时，尽管很少有人试图解决注释问题。在这项工作中，我们提出了涂鸦基本弱监督学习方法的应用来自动化像素级注释。所提出的方法称为八度，使用涂鸦的地面真理与对抗性和新颖的自我监督深度监督相结合。我们的新型机制旨在利用来自类似于Unet的结构的歧视层的判别输出，在训练过程中，骨料判别输出和分割图谓词之间的kullback-liebler差异在训练过程中被最小化。如我们的实验所示，这种组合方法导致血管结构的定位更好。我们在大型公共数据集上验证了我们提出的方法，即Rose，Octa-500。将分割性能与最新的完全监督和基于涂鸦的弱监督方法进行了比较。实验中使用的工作的实施位于[链接]。

Diffusion Probabilistic Models (DPMs) have recently been employed for image deblurring. DPMs are trained via a stochastic denoising process that maps Gaussian noise to the high-quality image, conditioned on the concatenated blurry input. Despite their high-quality generated samples, image-conditioned Diffusion Probabilistic Models (icDPM) rely on synthetic pairwise training data (in-domain), with potentially unclear robustness towards real-world unseen images (out-of-domain). In this work, we investigate the generalization ability of icDPMs in deblurring, and propose a simple but effective guidance to significantly alleviate artifacts, and improve the out-of-distribution performance. Particularly, we propose to first extract a multiscale domain-generalizable representation from the input image that removes domain-specific information while preserving the underlying image structure. The representation is then added into the feature maps of the conditional diffusion model as an extra guidance that helps improving the generalization. To benchmark, we focus on out-of-distribution performance by applying a single-dataset trained model to three external and diverse test sets. The effectiveness of the proposed formulation is demonstrated by improvements over the standard icDPM, as well as state-of-the-art performance on perceptual quality and competitive distortion metrics compared to existing methods.

从组织学图像开发AI辅助腺体分割方法对于自动癌症诊断和预后至关重要。但是，像素级注释的高成本阻碍了其对更广泛的疾病的应用。计算机视觉中现有的弱监督语义分割方法获得了腺体分割的退化结果，因为腺体数据集的特征和问题与一般对象数据集不同。我们观察到，与自然图像不同，组织学图像的关键问题是，在不同组织之间拥有阶级与形态同质性和低色对比的混淆。为此，我们提出了一种新颖的在线方法简单的示例采矿（OEEM），该方法鼓励网络专注于可靠的监督信号，而不是嘈杂的信号，因此减轻了伪掩模中不可避免的错误预测的影响。根据腺数据集的特征，我们为腺体分割设计了强大的框架。我们的结果分别超过了MIOU的许多完全监督的方法和弱监督的方法，用于腺体分割超过4.4％和6.04％。代码可从https://github.com/xmed-lab/oeem获得。

自动识别基础心脏异常的结构底物可以潜在地为介入程序提供实时指导。有了心脏组织底物的了解，可以通过检测心律不齐的底物来进一步优化复杂的心律不齐和心室心动过速等复杂的心律不齐和心室心动过速。光学相干断层扫描（OCT）是一种实时成像方式，有助于满足这一需求。心脏图像分析的现有方法主要依赖于完全监督的学习技术，这些技术遇到了在像素标签的劳动密集型注释过程中工作量的缺点。为了减少对像素标签的需求，我们使用人类心脏底物的OCT图像上的图像级注释开发了一个两阶段的深度学习框架，用于心脏脂肪组织分割。特别是，我们将类激活映射与超像素分割整合在一起，以解决心脏组织分割中提出的稀疏组织种子挑战。我们的研究弥合了自动组织分析的需求与缺乏高质量像素的注释之间的差距。据我们所知，这是第一项尝试通过弱监督的学习技术来解决OCT图像上心脏组织分割的研究。在体外人类心脏OCT数据集中，我们证明了我们对图像级注释的弱监督方法可与对像素式注释进行训练的完全监督方法相当。

冷冻切片（FS）是手术操作期间组织微观评估的制备方法。该程序的高速允许病理学医师快速评估关键的微观特征，例如肿瘤边距和恶性地位，以引导手术决策，并尽量减少对操作过程的干扰。然而，FS容易引入许多误导性的人工结构（组织学人工制品），例如核冰晶，压缩和切割人工制品，妨碍了病理学家的及时和准确的诊断判断。额外的培训和长期经验通常需要对冻结部分进行高度有效和时间关键的诊断。另一方面，福尔马林固定和石蜡嵌入（FFPE）的黄金标准组织制备技术提供了显着优越的图像质量，而是一种非常耗时的过程（12-48小时），使其不适合术语用。在本文中，我们提出了一种人工智能（AI）方法，通过在几分钟内将冻结的整个幻灯片（FS-WSIS）计算冻结的整个幻灯片（FS-WSIS）来改善FS图像质量。 AI-FFPE将FS人工制品终止了注意力机制的指导，该引导机制在利用FS输入图像和合成的FFPE样式图像之间利用建立的自正则化机制，以及综合相关特征的合成的FFPE样式图像。结果，AI-FFPE方法成功地生成了FFPE样式图像，而不会显着扩展组织处理时间，从而提高诊断准确性。我们证明了使用各种不同的定性和定量度量，包括来自20个董事会认证的病理学家的视觉图灵测试的各种不同的定性和定量度量。

Video enhancement is a challenging problem, more than that of stills, mainly due to high computational cost, larger data volumes and the difficulty of achieving consistency in the spatio-temporal domain. In practice, these challenges are often coupled with the lack of example pairs, which inhibits the application of supervised learning strategies. To address these challenges, we propose an efficient adversarial video enhancement framework that learns directly from unpaired video examples. In particular, our framework introduces new recurrent cells that consist of interleaved local and global modules for implicit integration of spatial and temporal information. The proposed design allows our recurrent cells to efficiently propagate spatio-temporal information across frames and reduces the need for high complexity networks. Our setting enables learning from unpaired videos in a cyclic adversarial manner, where the proposed recurrent units are employed in all architectures. Efficient training is accomplished by introducing one single discriminator that learns the joint distribution of source and target domain simultaneously. The enhancement results demonstrate clear superiority of the proposed video enhancer over the state-of-the-art methods, in all terms of visual quality, quantitative metrics, and inference speed. Notably, our video enhancer is capable of enhancing over 35 frames per second of FullHD video (1080x1920).

Objective: Accurate visual classification of bladder tissue during Trans-Urethral Resection of Bladder Tumor (TURBT) procedures is essential to improve early cancer diagnosis and treatment. During TURBT interventions, White Light Imaging (WLI) and Narrow Band Imaging (NBI) techniques are used for lesion detection. Each imaging technique provides diverse visual information that allows clinicians to identify and classify cancerous lesions. Computer vision methods that use both imaging techniques could improve endoscopic diagnosis. We address the challenge of tissue classification when annotations are available only in one domain, in our case WLI, and the endoscopic images correspond to an unpaired dataset, i.e. there is no exact equivalent for every image in both NBI and WLI domains. Method: We propose a semi-surprised Generative Adversarial Network (GAN)-based method composed of three main components: a teacher network trained on the labeled WLI data; a cycle-consistency GAN to perform unpaired image-to-image translation, and a multi-input student network. To ensure the quality of the synthetic images generated by the proposed GAN we perform a detailed quantitative, and qualitative analysis with the help of specialists. Conclusion: The overall average classification accuracy, precision, and recall obtained with the proposed method for tissue classification are 0.90, 0.88, and 0.89 respectively, while the same metrics obtained in the unlabeled domain (NBI) are 0.92, 0.64, and 0.94 respectively. The quality of the generated images is reliable enough to deceive specialists. Significance: This study shows the potential of using semi-supervised GAN-based classification to improve bladder tissue classification when annotations are limited in multi-domain data.

尽管具有生成对抗网络（GAN）的图像到图像（I2I）翻译的显着进步，但使用单对生成器和歧视器将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2i翻译方法采用多个针对不同域的特定于域的内容编码，其中每个特定于域的内容编码器仅经过来自同一域的图像的训练。然而，我们认为应从所有域之间的图像中学到内容（域变相）特征。因此，现有方案的每个特定于域的内容编码器都无法有效提取域不变特征。为了解决这个问题，我们提出了一个灵活而通用的Sologan模型，用于在多个域之间具有未配对数据的多模式I2I翻译。与现有方法相反，Solgan算法使用具有附加辅助分类器的单个投影鉴别器，并为所有域共享编码器和生成器。因此，可以使用来自所有域的图像有效地训练Solgan，从而可以有效提取域 - 不变性内容表示。在多个数据集中，针对多个同行和sologan的变体的定性和定量结果证明了该方法的优点，尤其是对于挑战i2i翻译数据集的挑战，即涉及极端形状变化的数据集或在翻译后保持复杂的背景，需要保持复杂的背景。此外，我们通过消融研究证明了Sogan中每个成分的贡献。

恶劣的天气图像翻译属于无监督的图像到图像（I2i）翻译任务，旨在将不利条件领域（例如，雨夜）转移到标准领域（例如，日期）。这是一个具有挑战性的任务，因为来自不利域的图像具有一些伪影和信息不足。最近，许多采用生成的对抗性网络（GANS）的研究在I2I翻译中取得了显着的成功，但仍然有限制将它们应用于恶劣天气增强。基于双向循环 - 一致性损耗的对称架构被采用作为无监督域传输方法的标准框架。但是，如果两个域具有不平衡信息，它可能会导致较差的转换结果。为了解决这个问题，我们提出了一种新的GaN模型，即Au-GaN，它具有不对称的域翻译的非对称架构。我们仅在普通域生成器（即雨夜 - >日）中插入建议的功能传输网络（$ {T} $ - 网），以增强不利域图像的编码特征。此外，我们介绍了对编码特征的解剖学的非对称特征匹配。最后，我们提出了不确定感知的周期 - 一致性损失，以解决循环重建图像的区域不确定性。我们通过与最先进的模型进行定性和定量比较来证明我们的方法的有效性。代码在https://github.com/jgkwak95/au-g中提供。

组织病理学癌症诊断是基于对染色组织载玻片的视觉检查。苏木精和曙红（H \＆E）是全球常规使用的标准污渍。它很容易获取和成本效益，但是细胞和组织成分与深蓝色和粉红色的色调相对低，从而使视觉评估，数字图像分析和定量变得困难。这些局限性可以通过IHC的靶蛋白的IHC染色来克服。 IHC提供了细胞和组织成分的选择性高对比度成像，但是它们的使用在很大程度上受到了更为复杂的实验室处理和高成本的限制。我们提出了一个条件周期（CCGAN）网络，以将H \＆E染色的图像转换为IHC染色图像，从而促进同一幻灯片上的虚拟IHC染色。这种数据驱动的方法仅需要有限的标记数据，但会生成像素级分割结果。提出的CCGAN模型通过添加类别条件并引入两个结构性损失函数，改善了原始网络\ cite {Zhu_unpaired_2017}，从而实现多重辅助翻译并提高了翻译精度。 ％需要在这里给出理由。实验表明，所提出的模型在不配对的图像翻译中胜过具有多材料的原始方法。我们还探索了未配对的图像对图像翻译方法的潜力，该方法应用于其他组织学图像与不同染色技术相关的任务。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

生成的对抗网络（GANS）最近引入了执行图像到图像翻译的有效方法。这些模型可以应用于图像到图像到图像转换中的各种域而不改变任何参数。在本文中，我们调查并分析了八个图像到图像生成的对策网络：PIX2PX，Cyclegan，Cogan，Stargan，Munit，Stargan2，Da-Gan，以及自我关注GaN。这些模型中的每一个都呈现了最先进的结果，并引入了构建图像到图像的新技术。除了对模型的调查外，我们还调查了他们接受培训的18个数据集，并在其上进行了评估的9个指标。最后，我们在常见的一组指标和数据集中呈现6种这些模型的受控实验的结果。结果混合并显示，在某些数据集，任务和指标上，某些型号优于其他型号。本文的最后一部分讨论了这些结果并建立了未来研究领域。由于研究人员继续创新新的图像到图像GAN，因此他们非常重要地了解现有方法，数据集和指标。本文提供了全面的概述和讨论，以帮助构建此基础。

语义引导的条件生成的对抗网络（CGANS）已成为近年来面对面编辑的流行方法。然而，大多数现有方法将语义掩模引入发电机的直接条件输入，并且通常需要目标掩模在RGB空间中执行相应的转换。我们提出Secgan，一种新的标签引导，用于利用语义信息编辑面部图像，无需指定目标语义掩模。在培训期间，Secgan有两个发电机分支机构和鉴别者并行运行，有一个训练，用于翻译RGB图像和另一个用于语义面具。要以互利的方式桥接两个分支机构，我们介绍了一个语义一致性损失，限制了两个分支以具有一致的语义输出。虽然在训练期间需要两个分支机构，但RGB分支是我们的主要网络，并且不需要语义分支。我们的结果在Celeba和Celeba-HQ上表明，我们的方法能够以更准确的属性生成面部图像，在目标属性识别率方面表现出竞争性基线，同时维持自我监督的FR \ {E} CHET Inception等质量指标距离和成立得分。

图像到图像转换是最近使用生成对冲网络（GaN）将图像从一个域转换为另一个域的趋势。现有的GaN模型仅利用转换的输入和输出方式执行培训。在本文中，我们执行GaN模型的语义注射训练。具体而言，我们用原始输入和输出方式训练，并注入几个时代，用于从输入到语义地图的翻译。让我们将原始培训称为输入图像转换为目标域的培训。原始训练中的语义训练注射改善了训练的GaN模型的泛化能力。此外，它还以更好的方式在生成的图像中以更好的方式保留分类信息。语义地图仅在训练时间使用，并且在测试时间不需要。通过在城市景观和RGB-NIR立体数据集上使用最先进的GaN模型进行实验。与原始训练相比，在注入语义训练后，我们遵守SSIM，FID和KID等方面的提高性能。