我们提出了批量虚拟对抗训练(BVAT),这是一种用于图卷积网络(GCN)的新型正则化方法。 BVAT解决了GCN的缺点,这些GCN不考虑模型输出分布的平滑性,而不考虑输入周围的局部扰动。我们提出了两种算法,基于样本的BVAT和基于优化的BVAT,它们适用于通过发现远离彼此的节点子集的虚拟对抗扰动或为所有节点生成虚拟对抗扰动来促进图形结构数据模型的平滑性。使用优化过程。对三个引文网络数据集Cora,Citeseer和Pubmed以及知识图数据集Nell的广泛实验验证了所提方法的有效性,该方法在半监督节点分类任务中建立了最先进的结果。
translated by 谷歌翻译
在本文中,我们提出了一种新的甲状腺细胞病理学WSIs高效滤泡分离方法。首先,我们提出了一种混合分段架构,它通过添加分支将分类器集成到Deeplab V3中。通过使用分类分支来浏览不相关区域,节省了大量的WSI分段时间。其次,将Deeplab V3中的低尺度精细特征融入到原始的空间金字塔空间(ASPP)中,以准确地表示细胞病理图像。第三,我们的混合模型采用面向准则的自适应损失函数进行训练,使模型收敛速度更快。对甲状腺贴片的实验结果表明,所提出的模型在分割精度上达到80.9%。此外,采用我们提出的方法,WSI分割的时间减少了93%,WSI水平精度达到53.4%。
translated by 谷歌翻译
奖励塑造是解决强化学习(RL)中信用分配的关键但具有挑战性的问题的最有效方法之一。然而,设计整形函数通常需要很多专业知识和手工工程,并且考虑到多个相似的任务需要解决困难。 。在本文中,我们考虑奖励塑造任务的分配,并提出一个通用的元学习框架,以自动学习新采样任务的有效奖励塑造,假设只有共享的状态空间,但不一定是动作空间。我们首先在无模型RL的信用分配方面推动理论上最优的奖励形成。然后,我们提出一种基于价值的元学习算法,以提取有效的先验优于最优的奖励形成。先验可以直接应用于新任务,或者可以在几个梯度更新中解决任务时可证明适应任务后验。我们通过显着提高学习效率和各种设置的可解释可视化来展示我们塑造的有效性,包括从DQN到DDPG的成功转移。
translated by 谷歌翻译
虽然深度神经网络已经在变量任务上取得了重大进展,但通常通过模型集合得到增强,但现有的高性能模型很容易受到对抗性攻击。许多努力致力于增强各个网络的鲁棒性,然后构建一个简单的集合,例如,通过直接平均输出,这标志着网络之间的交互。本文提出了一种新的方法来探索各个网络之间的相互作用,以提高鲁棒性的前置模型。从技术上讲,我们在对抗性环境中定义了一个新的集合多样性概念,作为个体成员非最大预测的多样性,并提出了一种适应性多样性促进(ADP)正则化因子,以鼓励多样性,从而通过制造对抗性,从而在整体上产生更好的整体性。个别成员之间难以转移的例子。我们的方法具有计算效率,并且与作用于各个网络的防御方法兼容。各种数据集的经验结果证实,我们的方法可以改善对抗性,同时保持正常实例的最新准确性。
translated by 谷歌翻译
有时,DNN产生结果是不够的。例如,在医疗保健等应用中,用户需要了解决策的基本原理。因此,必须开发算法来学习具有良好可解释性的模型(Doshi-Velez 2017)。导致DNN缺乏可解释性的一个重要因素是神经元的模糊性,其中动脉瘤可能会触发各种不相关的概念。这项工作旨在通过减少神经元的模糊性来增加DNN在整个图像空间上的解释性。在本文中,我们做出以下贡献:1)我们提出了一个度量来定量评估网络中神经元的一致性水平。 2)通过利用对偶实例,我们发现神经元的学习特征是模糊的。 3)我们建议通过具有一致损失的对抗训练算法来改善对抗性实例子集上神经元的一致性。
translated by 谷歌翻译
马尔可夫随机场(MRF)在各种机器学习领域中找到应用,而这些模型的推理和学习一般都是挑战。在本文中,我们提出了对抗变分推理和学习(AVIL)算法,以一个关于MRF模型结构的最小假设来解决问题。 AVIL使用两个变分分布来近似地推断潜在变量并估计分区函数。变参分布被参数化为神经网络,提供了对MRF的负对数似然的估计。一方面,估计是近似对比自由能的直观形式。另一方面,估计是最小极大优化问题,其通过交替方式的随机梯度下降来解决。我们以完全黑盒的方式对各种无向生成模型进行AVIL,并在几个真实数据集上获得比现有竞争对手更好的结果。
translated by 谷歌翻译
我们将随机梯度下降(SGD)的变分推理解释为最小化一个名为\ textit {准势}的新势函数。当损失函数是凸的并且仅允许一个全局最小点时,我们分析地构造准势函数。在这种情况下,我们表明准势函数通过Hamilton-Jacobi型的偏微分方程与SGD的噪声协方差结构相关。这种关系有助于我们证明各向异性噪声比各向同性噪声更快地逃逸。然后,当损失函数是非凸的并且允许几个不同的局部最小值时,我们考虑SGD的动态。在这种情况下,我们演示了一个示例,该示例显示了噪声协方差结构如何在“隐式规则化”中发挥作用,这是SGD偏好某些特定局部最小点的现象。这是通过噪声协方差结构和准电位函数之间的关系来完成的。我们的分析基于大偏差理论(LDT),并通过数值实验进行验证。
translated by 谷歌翻译
通过在网络边缘部署机器学习算法,边缘学习最近成为提供智能服务的有前途的框架。它可以有效地利用丰富的移动设备收集的丰富数据,并利用邻近边缘计算资源进行低延迟执行。 Edgelearning涉及两个学科,即机器学习和无线通信,因此产生了许多新的研究问题。在本文中,我们解决了无线数据采集问题,该问题涉及重传决策,以便优化数据质量与数量之间的权衡。提出了一种称为重要性感知自动重复请求(重要性ARQ)的重传协议。与仅关注可靠性的经典ARQ不同,ARQ基于其不确定性选择性地重传数据样本,这有助于学习并且可以使用模型进行测量。支持所提出的协议是两个相应度量之间的优雅的通信 - 学习关系,即信噪比(SNR)和数据不确定性。这一新措施有助于设计基于阈值的简单重传决策策略。通过对真实数据集的实验证明,所提出的方法避免了由信道噪声引起的学习性能下降,同时实现比传统的基于SNR的ARQ更快的收敛。
translated by 谷歌翻译
在本文中,我们提出了一种新的场景文本检测方法,名为TextMountain。 TextMountain的关键思想是充分利用边界中心信息。与以往将中心边界视为二元分类问题的工作不同,我们预测文本中心边界概率(TCBP)和文本中心方向(TCD)。 TCBP就像一座山,顶部是文本中心,脚是文本边框。山顶可以使用语义分割图分离不易实现的文本实例,并且其上行方向可以为群组阶段的山脚上的每个像素规划通往顶部的道路。 TCD有助于TCBP更好地学习。我们的标签规则不会导致角度变换的明确问题,因此所提出的方法是针对多向文本的,并且可以很好地处理弯曲文本。在推理阶段,山脚的每个像素需要搜索到山顶的路径,这个过程可以有效地并行完成,从而产生我们的方法与其他方法相比的效率。在MLT,ICDAR2015,RCTW-17和SCUT-CTW1500数据库上的实验表明,所提出的方法在药物精度和效率方面实现了更好或相当的性能。值得一提的是,我们的方法在MLT上实现了76.85%的F-测量,其优于以前的方法。代码将可用。
translated by 谷歌翻译
已经证明对抗性示例威胁到许多计算机视觉任务,包括对象检测。然而,现有的对象检测攻击方法有两个局限性:可转移性差,这表明生成的对抗性实例攻击其他类型的检测方法成功率低,计算成本高,这意味着需要更多时间来生成对抗性图像,因此很难处理视频数据。为了解决这些问题,我们利用生成机制来获得对抗性图像和视频。这样,处理时间减少了。为了增强可转移性,我们破坏了从特征网络中提取的特征图,这通常构成了对象检测器的基础。所提出的方法基于生成对抗网络(GAN)框架,其中我们将高级别类丢失和低级别特征丢失相结合以联合训练对抗性示例生成器。在PASCAL VOC和ImageNet VID数据集上进行的一系列实验表明,我们的方法可以有效地生成图像和视频对抗实例,更重要的是,这些对抗实例具有更好的可转移性,因此,能够同时攻击两种代表性对象检测模型:基于提议像Faster-RCNN这样的模型,以及基于回归的模型,如SSD。
translated by 谷歌翻译