人工智能缺乏解释性,特别是深神经网络,仍然是在实践中实施模型的瓶颈。诸如梯度加权类激活映射(Grad-Cam)的流行技术提供了图像中的突出特征的粗糙图,这很少讲述卷积神经网络(CNN)学习的全部故事。使用Covid-19胸部X射线,我们提出了一种解释通过利用生成的对抗性网络(GAN)来学习的CNN的方法。我们的GaN Framework Disentangantangly Covid-19功能的肺部结构。使用该GaN,我们可以通过在GaN的潜在空间内插入液体中的胸部射线照片中的一对Covid负肺的过渡到Covid正对对,这提供了细粒度的可视化,这些内部CNN如何响应不同的特征肺。
translated by 谷歌翻译
新的冠状病毒造成了超过一百万的死亡,并继续迅速传播。这种病毒靶向肺部,导致呼吸窘迫,这可以轻度或严重。肺的X射线或计算机断层扫描(CT)图像可以揭示患者是否感染Covid-19。许多研究人员正在尝试使用人工智能改善Covid-19检测。我们的动机是开发一种可以应对的自动方法,该方法可以应对标记数据的方案是耗时或昂贵的。在本文中,我们提出了使用依赖于Sobel边缘检测和生成对冲网络(GANS)的有限标记数据(SCLLD)的半监督分类来自动化Covid-19诊断。 GaN鉴别器输出是一种概率值,用于在这项工作中进行分类。建议的系统使用从Omid Hosparing收集的10,000 CT扫描培训,而公共数据集也用于验证我们的系统。将该方法与其他最先进的监督方法进行比较,例如高斯过程。据我们所知,这是第一次提出了对Covid-19检测的半监督方法。我们的系统能够从有限标记和未标记数据的混合学习,该数据由于缺乏足够量的标记数据而导致的监督学习者失败。因此,我们的半监督训练方法显着优于卷积神经网络(CNN)的监督培训,当标记的训练数据稀缺时。在精度,敏感性和特异性方面,我们的方法的95%置信区间分别为99.56±0.20%,99.88±0.24%和99.40±0.1.18%,而CNN的间隔(训练有素的监督)为68.34 + - 4.11%,91.2 + - 6.15%,46.40 + - 5.21%。
translated by 谷歌翻译
Many image-to-image translation problems are ambiguous, as a single input image may correspond to multiple possible outputs. In this work, we aim to model a distribution of possible outputs in a conditional generative modeling setting. The ambiguity of the mapping is distilled in a low-dimensional latent vector, which can be randomly sampled at test time. A generator learns to map the given input, combined with this latent code, to the output. We explicitly encourage the connection between output and the latent code to be invertible. This helps prevent a many-to-one mapping from the latent code to the output during training, also known as the problem of mode collapse, and produces more diverse results. We explore several variants of this approach by employing different training objectives, network architectures, and methods of injecting the latent code. Our proposed method encourages bijective consistency between the latent encoding and output modes. We present a systematic comparison of our method and other variants on both perceptual realism and diversity.
translated by 谷歌翻译
许多现实世界的分类问题的班级标签频率不平衡;一个被称为“阶级失衡”问题的著名问题。经典的分类算法往往会偏向多数级别,使分类器容易受到少数族裔类别的分类。尽管文献富含解决此问题的方法,但随着问题的维度的增加,许多方法没有扩展,并且运行它们的成本变得越来越高。在本文中,我们提出了端到端的深层生成分类器。我们提出了一个域构成自动编码器,以将潜在空间保留为发电机的先验,然后将其用于与其他两个深网,一个歧视器和一个分类器一起玩对抗游戏。对三个不同的多级不平衡问题进行了广泛的实验,并与最先进的方法进行了比较。实验结果证实了我们方法比流行算法在处理高维不平衡分类问题方面具有优势。我们的代码可在https://github.com/tanmdl/slppl-gan上找到。
translated by 谷歌翻译
人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加,深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则,AI系统至关重要的是透明,强大,公平和确保责任。由于对决策过程的具体细节缺乏了解,目前的深神经系统被称为黑匣子。因此,需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中,我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外,我们报告了评估各种可解释方法产生的解释的进展。最后,我们讨论了局限性,提供了利用可解释性方法和未来方向的指导,了解医学成像分析深度神经网络的解释性。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.
translated by 谷歌翻译
即使自动编码器(AES)具有无标签的学习紧凑表示的理想特性,并且已广泛应用于分布式(OOD)检测,但它们通常仍然很熟悉,并且在检测正常的异常值中被错误地使用并被错误地使用。异常分布是强烈重叠的。通常,假定学习的歧管包含关键信息,这对于描述训练分布中的样本很重要,并且离群值的重建导致较高的残余错误。但是,最近的工作表明,AE在重建某些类型的OOD样品方面可能会更好。在这项工作中,我们挑战了这一假设,并研究了自动编码器在提出两个不同任务时实际学习的内容。首先,我们提出了两个基于FR \'Echet Inception距离(FID)的指标和受过训练的分类器的置信度得分,以评估AES是否可以学习训练分布并可靠地识别其他领域的样本。其次,我们研究了AE是否能够在更具挑战性的肺病理检测任务上合成来自具有异常区域样本的正常图像。我们发现,最新的(SOTA)AES要么无法限制潜在的多种流形并允许重建异常模式,要么无法准确地从其潜伏分布中恢复输入,从而导致模糊或失误的重建。 。我们提出了新型的可变形自动编码器(morphaeus)来学习感知的全局图像先验,并根据估计的致密变形场局部适应其形态法。我们在检测OOD和病理学方面表现出优于无监督方法的卓越性能。
translated by 谷歌翻译
生成照片 - 现实图像,语义编辑和表示学习是高分辨率生成模型的许多潜在应用中的一些。最近在GAN的进展将它们建立为这些任务的绝佳选择。但是,由于它们不提供推理模型,因此使用GaN潜在空间无法在实际图像上完成诸如分类的图像编辑或下游任务。尽管培训了训练推理模型或设计了一种迭代方法来颠覆训练有素的发生器,但之前的方法是数据集(例如人类脸部图像)和架构(例如样式)。这些方法是非延伸到新型数据集或架构的。我们提出了一般框架,该框架是不可知的架构和数据集。我们的主要识别是,通过培训推断和生成模型在一起,我们允许它们彼此适应并收敛到更好的质量模型。我们的\ textbf {invang},可逆GaN的简短,成功将真实图像嵌入到高质量的生成模型的潜在空间。这使我们能够执行图像修复,合并,插值和在线数据增强。我们展示了广泛的定性和定量实验。
translated by 谷歌翻译
近年来,弱监督学习已成为一种流行的技术。在本文中,我们提出了一种新的医学图像分类算法,称为弱监督的生成对抗网络(Wsgan),其仅使用少量的真实图像而没有标签来生成假图像或掩模图像以放大训练的样本大小放。首先,我们将与MixMatch相结合以生成假图像和未标记图像的伪标签进行分类。其次,将对比学习和自我关注机制引入提出的问题,以提高分类准确性。第三,模式崩溃的问题通过循环一致性损失很好地解决。最后,我们设计全局和本地分类器,可以通过分类所需的关键信息来补充彼此。在四个医学图像数据集上的实验结果表明,Wsgan可以通过使用少数标记和未标记的数据来获得相对高的学习性能。例如,Wsgan的分类准确性高于具有100个标记的Mixmatch的11%,在10个标记的图像和OCT数据集上有1000个未标记的图像。此外,我们还开展了消融实验来验证我们算法的有效性。
translated by 谷歌翻译
We study the problem of 3D object generation. We propose a novel framework, namely 3D Generative Adversarial Network (3D-GAN), which generates 3D objects from a probabilistic space by leveraging recent advances in volumetric convolutional networks and generative adversarial nets. The benefits of our model are three-fold: first, the use of an adversarial criterion, instead of traditional heuristic criteria, enables the generator to capture object structure implicitly and to synthesize high-quality 3D objects; second, the generator establishes a mapping from a low-dimensional probabilistic space to the space of 3D objects, so that we can sample objects without a reference image or CAD models, and explore the 3D object manifold; third, the adversarial discriminator provides a powerful 3D shape descriptor which, learned without supervision, has wide applications in 3D object recognition. Experiments demonstrate that our method generates high-quality 3D objects, and our unsupervisedly learned features achieve impressive performance on 3D object recognition, comparable with those of supervised learning methods.
translated by 谷歌翻译
生成对抗网络(GAN)具有许多潜在的医学成像应用,包括数据扩展,域适应和模型解释。由于图形处理单元(GPU)的记忆力有限,因此在低分辨率的医学图像上对当前的3D GAN模型进行了训练,因此这些模型要么无法扩展到高分辨率,要么容易出现斑驳的人工制品。在这项工作中,我们提出了一种新颖的端到端GAN体系结构,可以生成高分辨率3D图像。我们通过使用训练和推理之间的不同配置来实现这一目标。在训练过程中,我们采用了层次结构,该结构同时生成图像的低分辨率版本和高分辨率图像的随机选择子量。层次设计具有两个优点:首先,对高分辨率图像训练的记忆需求在子量之间摊销。此外,将高分辨率子体积固定在单个低分辨率图像上可确保子量化之间的解剖一致性。在推断期间,我们的模型可以直接生成完整的高分辨率图像。我们还将具有类似层次结构的编码器纳入模型中,以从图像中提取特征。 3D胸CT和脑MRI的实验表明,我们的方法在图像生成中的表现优于最新技术。我们还证明了所提出的模型在数据增强和临床相关特征提取中的临床应用。
translated by 谷歌翻译
Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.
translated by 谷歌翻译
这是关于生成对抗性网络(GaN),对抗性自身额外的教程和调查纸张及其变体。我们开始解释对抗性学习和香草甘。然后,我们解释了条件GaN和DCGAN。介绍了模式崩溃问题,介绍了各种方法,包括小纤维GaN,展开GaN,Bourgan,混合GaN,D2Gan和Wasserstein GaN,用于解决这个问题。然后,GaN中的最大似然估计与F-GaN,对抗性变分贝叶斯和贝叶斯甘甘相同。然后,我们涵盖了GaN,Infogan,Gran,Lsgan,Enfogan,Gran,Lsgan,Catgan,MMD Gan,Lapgan,Progressive Gan,Triple Gan,Lag,Gman,Adagan,Cogan,逆甘,Bigan,Ali,Sagan,Sagan,Sagan,Sagan,甘肃,甘肃,甘河的插值和评估。然后,我们介绍了GaN的一些应用,例如图像到图像转换(包括Pacchgan,Cyclegan,Deepfacedrawing,模拟GaN,Interactive GaN),文本到图像转换(包括Stackgan)和混合图像特征(包括罚球和mixnmatch)。最后,我们解释了基于对冲学习的AutoEncoders,包括对手AutoEncoder,Pixelgan和隐式AutoEncoder。
translated by 谷歌翻译
自从2020年的Covid-19流行病发作以来,数百万人屈服于这种致命的病毒。已经制定了许多尝试来设计一种可以检测到病毒的自动测试方法。全球各地的研究人员提出了基于深度学习的方法,以使用胸部X射线检测Covid-19。但是,在大多数研究人员使用的公开胸部X射线数据集中,已经提出了问题。在本文中,我们提出了一个2分阶段的方法来解决这个主题问题。已经进行了两个实验作为在数据集中出现偏置存在的方法的第1阶段的一部分。随后,已经提出了在方法的第2阶段中提出了一种图像分割,超分辨率和基于CNN的流水线以及不同的图像增强技术,以减少偏置的效果。 InceptionResNetv2在胸部X射线图像上培训,随着直方图均衡而增强,其次通过阶段2中提出的管道时γ校正,为3级(正常,肺炎和Covid-19)分类产生了90.47%的最高精度任务。
translated by 谷歌翻译
Figure 1: Manipulating various facial attributes through varying the latent codes of a well-trained GAN model. The first column shows the original synthesis from PGGAN [21], while each of the other columns shows the results of manipulating a specific attribute.
translated by 谷歌翻译
自动化生成和(用户)逼真的虚拟地形的创作是VR模型和游戏等多媒体应用最受寻求的。地形采用的最常见的代表是数字海拔模型(DEM)。现有地形创作和建模技术已经解决了其中一些并且可以广泛地分类为:程序建模,仿真方法和基于示例的方法。在本文中,我们提出了一种由VAE和生成条件GaN模型组合的新型现实地形创作框架。我们的框架是一种基于示例的方法,该方法通过从真实世界地形数据集学习潜在的空间来克服现有方法的局限性。此潜在空间允许我们从单个输入生成地形的多个变体,以及地形之间的内插,同时保持所生成的地形接近真实数据分布。我们还开发了一个交互式工具,让用户使用最低纲领派的输入生成不同的地形。我们进行彻底的定性和定量分析,并提供与其他SOTA方法的比较。我们打算向学术界发出我们的代码/工具。
translated by 谷歌翻译
尽管有无数的同伴审查的论文,证明了新颖的人工智能(AI)基于大流行期间的Covid-19挑战的解决方案,但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能(Xai)以及如何使用它可以克服现实世界成功的障碍。我们发现,Xai的成功使用可以提高模型性能,灌输信任在最终用户,并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术,其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典,现代和潜在的未来趋势,以阐明新颖的XAI技术的演变。最后,我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。
translated by 谷歌翻译
每年有大约4.5亿人受到肺炎的影响,导致250万人死亡。 Covid-19也影响了1.81亿人,这导致了392万人伤亡。如果早期诊断,两种疾病死亡可能会显着降低。然而,目前诊断肺炎(投诉+胸部X射线)和Covid-19(RT-PCR)的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下,可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样,诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中,我们的目标是引出,解释和评估,定性和定量,深入学习方法的主要进步,旨在检测或定位社区获得的肺炎(帽),病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查,本文的重点在于解释了深度学习模型架构,该架构已经被修改或从划痕,以便WIWTH对概括性的关注。对于每个模型,本文回答了模型所设计的方式的问题,特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析,以量化不同模型的有效性与相似的目标。一些权衡无法量化,因此它们在定性分析中明确提到,在整个纸张中完成。通过在一个地方编译和分析大量的研究细节,其中包含所有数据集,模型架构和结果,我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。
translated by 谷歌翻译
The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in-and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.
translated by 谷歌翻译
给定包含具有不同特征的不同对象的图像数据集,例如形状,大小,旋转和X-y位置;以及变异自动编码器(VAE);在VAE的隐藏空间向量中创建这些功能的分解编码是本文感兴趣的任务。DSPRITE数据集为本研究中所需的实验提供了所需的功能。在训练VAE与生成对抗网络(GAN)结合后,隐藏矢量的每个维度都被破坏,以探索每个维度中的分离。请注意,GAN用于提高输出图像重建的质量。
translated by 谷歌翻译