尽管对生成对抗性网络(GAN)越来越感兴趣,但从理论和实际角度来看,训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战,在本文中,我们提出了一种利用真实数据的独特几何结构的新方法,尤其是流形信息。更具体地说,我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外,我们在理论上证明在任何一类GAN(包括DCGAN和Wasserstein GAN)中添加该正则化项导致在泛化方面的性能提高,存在均衡和稳定性。初步实验表明,所提出的流量规划有助于避免模式崩溃并导致稳定的训练。
translated by 谷歌翻译
解决逆问题仍然是计算机视觉中的核心挑战。现有技术要么使用有关损坏的先验知识明确地构建逆映射,要么使用大量示例直接学习逆。然而,在实践中,腐败的性质可能是未知的,因此规范推理合理解决方案的问题具有挑战性。另一方面,收集任务特定的训练数据对于已知的损坏是繁琐的,对于未知的腐败是不可能的。我们提出了MimicGAN,一种无监督的技术,以生成对抗网络(GAN)的形式解决基于图像先验的一般反转问题。使用GAN之前,我们证明人们可以通过代理网络可靠地恢复解决方案确定的反问题,该代理网络在测试时学会了腐败。我们的系统在不需要监督培训的情况下连续估计出腐败和清洁图像,同时在盲图恢复方面表现优于现有基线。我们还证明了MimicGAN改进了最近基于GAN的对抗adversarialattacks的防御,并且代表了当今最强大的测试时间防御之一。
translated by 谷歌翻译
我们提出了一种新的无监督域适应(DA)方法用于跨域视觉识别。虽然子空间方法在DA中取得了成功,但由于假设使用单个低维子空间逼近整个数据集,因此它们的性能通常是有限的。相反,我们开发了一种方法,通过收集低维子空间来有效地表示源数据集和目标数据集,然后通过在Grassmannmanifold上开发子空间空间的自然几何来对齐它们。我们使用两个广泛使用的基准测试的经验研究证明了这种方法的有效性,具有最先进的领域适应性能
translated by 谷歌翻译
无监督维度选择是寻求降低数据维度的重要问题,同时保留最有用的特征。降维度通常用于构建低维度嵌入,它们产生难以解释的特征空间。此外,在诸如传感器设计之类的应用中,需要直接在输入域中执行缩减,而不是构造变换空间。因此,维度选择(DS)旨在解决识别最高$ k $维度的组合问题,这是有效实验设计所需的,在保持可解释性的同时减少数据,以及设计更好的感知机制。在本文中,我们基于图形信号分析开发了一种新的DS方法来测量特征影响。通过分析具有蓝色噪声谱的合成图形信号,我们表明我们可以测量每个维度的重要性。通过在监督学习和图像掩蔽中的实验,我们证明了所提出的方法优于现有技术在捕获高维空间的关键特征方面的优越性,仅使用原始特征的一小部分。
translated by 谷歌翻译
理解复杂机器学习模型功能的技术正变得越来越流行,不仅要改进验证过程,还要通过探索性分析提取有关数据的新见解。虽然目前存在大量此类工具,但大多数人认为预测是点估计并使用这些估计的敏感性分析来解释模型。使用轻量概率网络可以了解如何在灵敏度分析中包含预测不确定性:(i)更强大和可推广的模型; (ii)通过不确定性分解进行模型解释的新方法。特别是,我们引入了一种新的正则化,它将预测的均值和方差都考虑在内,并证明了所得到的网络为不可见的数据提供了改进的广义化。此外,我们提出了一种新技术,通过输入域中的不确定性来解释预测不确定性,从而提供验证和解释深度学习模型的新方法。
translated by 谷歌翻译
计算机断层扫描(CT)重建是从安全性到医疗保健等各种应用的基本组成部分。经典技术需要从对象的完整180 $ ^ \ circ $视图中测量投影,称为正弦图。当视角小于180°时,这在有限的角度范围内是不切实际的,这可能由于不同因素而发生,包括扫描时间的限制,扫描仪旋转的有限灵活性等。因此得到的正弦图导致现有技术产生高度神器重建的重建。在本文中,我们建议通过隐式正弦图完成来解决这个问题,这个问题包含一个包含普通签入式扫描扫描的具有挑战性的现实世界数据集。我们提出了一个由一维和二维卷积神经网络组成的系统,该系统在有限角度的正弦图上运行,直接产生重建的最佳估计。接下来,我们在这个重构上使用x射线变换来获得一个“完整的”正弦图,好像它来自一个完整的180 $ ^ \ circ $测量。我们将其提供给标准分析和迭代重构技术以获得最终重建。我们展示了经过深思熟虑的实验,这种组合策略优于许多竞争基线。我们还提出了对建筑的信任度,使从业者能够衡量我们网络的预测可靠性。我们表明,这一指标是PSNR衡量的一个强有力的质量指标,同时在测试时不需要基本事实。最后,通过分割实验,我们证明了我们的重建有效地保留了对象的三维结构。
translated by 谷歌翻译
Interpretability has emerged as a crucial aspect of machine learning, aimed at providing insights into the working of complex neural networks. However , existing solutions vary vastly based on the nature of the interpretability task, with each use case requiring substantial time and effort. This paper introduces MARGIN, a simple yet general approach to address a large set of interpretability tasks ranging from identifying prototypes to explaining image predictions. MARGIN exploits ideas rooted in graph signal analysis to determine influential nodes in a graph, which are defined as those nodes that maximally describe a function defined on the graph. By carefully defining task-specific graphs and functions, we demonstrate that MARGIN outperforms existing approaches in a number of disparate interpretability challenges.
translated by 谷歌翻译
使用预测模型来识别可作为不同神经病理学病症的生物标志物的模式正变得非常普遍。在本文中,我们考虑了自闭症谱系障碍(ASD)分类的问题,其中先前的研究表明,将各种各样的元特征(如社会文化特征)纳入预测模型可能是有益的。基于图形的方法自然适合这些场景,其中acontextual图捕获表征群体的特征,而特定的大脑活动模式被用作thenodes的多变量信号。图形神经网络已经显示出对图形结构数据的推理的改进。虽然底层图强烈地反映了整体表现,但在实践中没有系统的方法来选择合适的图,从而使预测模型不具有鲁棒性。为了解决这个问题,我们提出了一种图形卷积神经网络(G-CNN)的自举版本,它利用了一组弱训练的G-CNN,并降低了模型对图形结构选择的敏感性。我们在具有挑战性的自闭症脑成像数据交换(ABIDE)数据集上证明了它的有效性,并表明我们的方法改进了最近提出的基于图形的神经网络。我们还表明,我们的方法对噪声图更加稳健。
translated by 谷歌翻译
在参数空间中探索的黑盒优化器经常被证明可以表现出更加复杂的动作空间探索方法,这些方法专门针对强化学习问题而开发。我们仔细研究这些黑盒方法,以确定它们比动作空间探索方法和它们优越的方法更糟糕的情况。通过简单的理论分析,证明了参数空间探索的复杂性取决于参数空间的维数,而动作空间探索的复杂性则取决于动作空间的维数和地平线长度。通过比较几个模型问题的简单探索方法,包括连续控制中的语境强盗,线性回归和强化学习,也可以凭经验证明这一点。
translated by 谷歌翻译
无监督学习是关于捕捉变量之间的依赖关系,并且由这些变量的可能与不可能的配置之间的对比驱动,通常是通过仅对可能性进行采样的生成模型或对于可能的低的能量函数(非标准化的对数密度)和不可思议的高。在这里,我们考虑学习能量函数和有效的近似抽样机制。尽管生成对抗网络(GAN)中的识别者学会分离数据和生成器样本,但在生成器上引入熵最大化正则化可以将批评者的解释转化为能量函数,将训练分布与其他所有内容分开,从而可以用于任务像异常或新奇的检测。然后,我们展示了如何在发生器潜在空间中完成MarkovChain Monte Carlo,其样本可以映射到数据空间,从而产生更好的样本。这些样本用于估计数据空间能量函数的对数似然梯度所需的负相位梯度。为了最大化发电机输出端的熵,我们利用最近引入的相互信息的神经估计器。我们发现除了为异常检测产生有用的评分函数之外,所得到的方法产生清晰的样本,同时很好地覆盖模式,导致高的Inception和Frechet分数。
translated by 谷歌翻译