深度神经网络(DNN)在图像分类任务上具有高精度。然而,由此类数据集训练的具有共现偏差的DNN可能在做出分类决策时依赖于错误的特征。它将极大地影响预训练DNN的可转移性。在本文中,我们提出了一种交互方法,指导分类器注意用户手动指定的区域,以减轻共现偏差的影响。我们在CelebA数据集上进行测试,经过预先训练的AlexNet经过精心调整,专注于基于Grad-CAM结果的特定面部属性。
translated by 谷歌翻译
在现实世界的分类问题中,例如在隐私感知情况下,数据点之间的成对相似性和不相似性可能比完全标记的数据更容易获得。为了处理这样的成对信息,已经提出了经验风险最小化方法,给出了可以仅从成对相似性和未标记数据计算的分类风险的无偏估计。然而,到目前为止,这个方向无法处理配对相似性。另一方面,半监督聚类是可以使用相似性和不相似性的方法之一。然而,它们通常需要对数据分布进行强有力的几何假设,例如多种假设,这可能会降低性能。在本文中,我们推导出一种无偏差风险估计器,它可以处理所有相似性/不相似性和未标记数据。我们从理论上建立了误差界限,并通过实验证明了我们的经验风险最小化方法的实用性。
translated by 谷歌翻译
计算重影成像是一种成像技术,利用该成像技术,物体是使用单像素检测器收集的光而成像的,没有空间分辨率。最近,针对涉及重影成像和机器学习流入细胞计数的超快速细胞分类方法,提出了鬼细胞计数法。鬼细胞计数法跳过信号重建细胞图像,直接使用信号进行细胞分类,因为这种重构是高速分析的瓶颈。在本文中,我们提供了一个理论分析,用于学习没有成像的鬼影成像。
translated by 谷歌翻译
我们考虑半监督序数回归问题,其中除了序数标记数据之外还给出了未标记的数据。在序数回归中有许多评估度量,例如平均绝对误差,均方误差和平均分类误差。现有工作没有考虑评估指标,对模型选择有限制,没有理论保证。为了缓解这些问题,我们提出了一种基于经验风险最小化(ERM)框架的方法,该框架适用于优化上述所有指标。此外,我们的方法具有模型,替代损失和优化算法的灵活选择。此外,我们的方法不需要对未标记数据进行限制性假设,例如聚类假设和多种假设。我们提供估计错误绑定,以表明我们的学习方法是一致的。最后,我们通过实验来展示我们框架的实用性。
translated by 谷歌翻译
平面极小值的概念在深度学习模型的泛化性质中起到了关键作用。然而,已知平坦度的现有定义对参数的重新缩放敏感。这些问题表明,先前对平坦度的定义并不一定能得到泛化,因为泛化对于这种重新定位是不变的。在本文中,从PAC-Bayesian的角度来看,我们仔细研究了关于平面最小值的讨论,并引入了归一化平面最小值的概念。没有已知的规模依赖问题。此外,我们还强调了现有基于矩阵规范的泛化误差边界的不足。我们修改的平坦度概念也没有受到效率低下的影响,这表明它更好地捕捉了泛化。
translated by 谷歌翻译
输入上的数据无关的准不可察觉的扰动会严重降低深度卷积网络的识别精度。这表明他们的预测结构不稳定,并构成潜在的安全威胁。然而,如果存在这种有害扰动的共享方向的表征仍然是未知的,这使得难以应对安全威胁和性能降级。我们的初步发现是卷积网络对傅立叶基函数的方向敏感。我们通过将灵敏度原因(称为神经网络的线性)的假设专门化为卷积网络并经验验证它来推导出该属性。作为分析的副产品,我们提出了一种快速算法来创建在黑盒设置中可用的移位不变的通用对抗性扰动。
translated by 谷歌翻译
无监督域自适应是问题设置,其中源域和目标域中的数据生成分布不同,并且目标域中的标签不可用。无监督域适应中的一个重要问题是如何衡量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高计算成本来估计并且可能导致目标域中的松散一般化误差限制。为了缓解这些问题,我们提出了一个新的差异,称为源引导差异($ S $ -disc),其中包括源域中的标签。因此,可以通过有限的样本收敛保证有效地计算$ S $ -disc。此外,我们证明$ S $ -disc可以提供比基于现有差异更严格的泛化误差限制。最后,我们报告了实验结果,证明了$ S $ -disc优于现有差异的优势。
translated by 谷歌翻译
In Bayesian inference, the posterior distributions are difficult to obtain analytically for complex models such as neural networks. Variational inference usually uses a parametric distribution for approximation, from which we can easily draw samples. Recently discrete approximation by particles has attracted attention because of its high expression ability. An example is Stein variational gradient descent (SVGD), which iteratively optimizes particles. Although SVGD has been shown to be computationally efficient empirically, its theoretical properties have not been clarified yet and no finite sample bound of the convergence rate is known. Another example is the Stein points (SP) method, which minimizes kernelized Stein discrepancy directly. Although a finite sample bound is assured theoretically, SP is computationally inefficient empirically , especially in high-dimensional problems. In this paper, we propose a novel method named maximum mean discrepancy minimization by the Frank-Wolfe algorithm (MMD-FW), which minimizes MMD in a greedy way by the FW algorithm. Our method is computationally efficient empirically and we show that its finite sample convergence bound is in a linear order in finite dimensions.
translated by 谷歌翻译
虽然众包已经成为标记数据的重要手段,但人们很有兴趣从群体工作者制作的不可靠标签中估计基本事实。 Dawid和Skene(DS)模型是众包研究中最着名的模型之一。尽管它具有实用性,但DS模型的理论误差分析仅在类别先验,混淆矩阵或每个工人提供的标签数量的限制性假设下进行。在本文中,我们根据更广泛的众包模型(包括DS模型作为特例)的更实际设置得出最小极大误差率。我们进一步提出了工作集群模型,它比真实存储设置下的DS模型更实用。我们的理论分析的广泛适用性使我们能够立即研究这个模型的行为,现有研究无法对其进行分析。实验结果表明,理论分析得到的极小极大误差率的下界与估计值的经验误差之间存在很强的相似性。
translated by 谷歌翻译
神经网络对输入上的恶意扰动的高灵敏度会引起安全问题。为了向稳健的分类器迈出稳定的一步,我们需要创建可以从扰动中捍卫的神经网络模型。预认证工作需要对网络结构和大量计算成本进行强有力的假设,因此其应用范围是有限的。根据Lipschitz常数和预测准则之间的关系,我们提出了一种计算上有效的计算技术,它可以欺骗网络的对抗性扰动的大小,并且广泛适用于各种复杂的网络。此外,我们提出了一种有效的培训程序,可以使网络变得合理,并显着改善数据点周围可证实保护的区域。在实验评估中,我们的方法显示了它能够提供一个简单的保证并增强甚至大型网络的稳健性。
translated by 谷歌翻译