医疗应用通过要求高精度和易于解释来挑战当今的文本分类技术。尽管深度学习在准确性方面提供了一个飞跃,但这种飞跃是在牺牲可解释性的基础上实现的。为了解决这种准确性 - 可解释性挑战,我们首次引入了一种文本分类方法,该方法利用了最近引入的Tsetlin机器。简而言之,我们将文本的术语表示为命题变量。从这些,我们使用简单的命题公式捕获类别,例如:如果“rash”和“反应”和“青霉素”然后过敏。 Tsetlin机器从标签文本中学习这些公式,利用连接子句来表示每个类别的特定方面。实际上,即使没有术语(否定的特征)也可用于分类目的。我们与Na \'ive Bayes,决策树,线性支持向量机(SVM),随机森林,长期记忆(LSTM)神经网络和其他技术的实证比较是非常有用的.Tsetlin机器的表现与在20个新闻组和IMDb数据集上,以及非公共临床数据集上的所有评估方法都优于其他。平均而言,Tsetlin机器在数据集中提供最佳的召回率和精度分数。最后,我们的Tsetlin机器的GPU实现执行5比CPU实现快15倍,具体取决于数据集。因此我们相信,我们的novelapproach可以对广泛的文本分析应用产生重大影响,形成了使用Tsetlin机器进行更深层次自然语言理解的有希望的起点。
translated by 谷歌翻译
图像到图像(I2I)转换是像素级映射,其需要大量成对的训练数据并且经常遭受图像场景中的高度多样性和强类别偏差的问题。为了解决这些问题,我们提出了一种新的BiLevel(BiL)学习范式,它分别在特定实例(IS)和通用(GP)级别上学习两个模型。在每个场景中,IS模型学习如何维护特定的场景属性。它由来自所有场景的GP模型初始化,以获得可推广的翻译知识。该GP初始化为IS模型提供了一个有效的起点,使其能够快速适应具有稀缺训练数据的新场景。我们在人脸和街景数据集上进行了广泛的I2I翻译实验。定量结果验证了我们的方法可以显着提高经典I2I翻译模型的性能,例如PG2和Pix2Pix。我们的可视化结果显示出更高的图像质量和更适合的特定于实例的细节,例如,人的翻译图像在身份方面看起来更像那个人。
translated by 谷歌翻译
元学习已被证明是少数学习的有效策略。关键的想法是利用大量类似的少数射击任务,以便学习如何最好地启动(单一)基础学习者来完成新的射击任务。虽然元学习如何初始化基础学习者已经显示出有希望的结果,但众所周知,超学习设置(如学习率和正则化术语的权重)对于获得最佳表现非常重要。因此,我们建议对这些超参数进行元学习,并实际上学习一种时间和层次变化的方案,用于学习基础学习者的新任务。此外,我们建议不仅要学习单个基础学习者,还要学习几个基础学习者的集合,以获得更多的结果。虽然学习者的合奏已经证明可以在各种环境中提高表现,但由于训练样本数量有限,这对于少数学习任务来说具有挑战性。因此,我们的方法还旨在学习如何有效地结合几个基础学习者。我们进行了大量的实验,并在两个具有挑战性的基准测试中报告了五级几次识别任务的最佳性能:miniImageNet和Fewshot-CIFAR100(FC100)。
translated by 谷歌翻译
当标记的训练数据很少时,有希望的数据增强方法是使用它们的属性生成未知类的视觉特征。为了学习CNN特征的类条件分布,这些模型依赖于成对的图像特征和类属性。因此,他们无法利用大量未标记的数据样本。在本文中,我们在一个统一的特征生成框架中处理任何镜头学习问题,即零射击和少射击,在感应和转换学习环境中运行。我们开发了一个条件生成模型,结合了VAE和GAN的强度,此外通过无条件鉴别器,学习未标记图像的边缘特征分布。我们凭经验证明,我们的模型为五个数据集(即CUB,SUN,AWA和ImageNet)提供了高度辨别力的CNN特征,并在任何一个镜头学习中建立了一种新的先进技术,即诱导和转换(广义)零和少数-shot学习设置。我们还证明我们学到的特征是可解释的:我们通过将它们反转回像素空间进行可视化,并通过生成文本参数来解释它们,为什么它们与某个标签相关联。
translated by 谷歌翻译
视觉上下文在场景理解任务中的重要性在计算机视觉社区中得到了充分认可。然而,用于图像分类和语义分割的计算机视觉模型在多大程度上依赖于上下文来进行预测尚不清楚。当在遇到与训练数据不同的上下文分布中的对象时,过度依赖于上下文的模型将失败,因此在我们可以在现实世界中部署模型之前识别这些依赖性是很重要的。我们提出了一种方法,通过编辑图像以去除所选对象并测量目标模型的响应来量化黑盒视觉模型对视觉上下文的敏感性。我们将这种方法应用于两个任务,即图像分类和语义分割,并发现对象和上下文之间的不良依赖关系,例如“人行道”分割在很大程度上依赖于图像中存在的“汽车”。我们提出了一种基于对象移除的数据增强解决方案,以消除这种依赖性,并增加分类和分段模型对上下文变化的鲁棒性。我们的实验表明,所提出的数据增强有助于这些模型改善上下文场景中的性能,同时保持常规数据的性能。
translated by 谷歌翻译
机器学习(ML)模型越来越多地用于执行各种任务。在这项工作中,我们询问这种“受害者”模型的逆向系统功能在多大程度上可以完全基于blackboxinteractions:image in,predictions out。与先前的工作相比,我们提出的对手缺乏模型使用的训练/测试数据的知识,其内部和模型输出的语义。我们将模型功能表达为两步法:(i)将一组输入图像查询到黑盒模型以获得预测; (ii)训练具有被证实的图像预测对的“仿冒”。我们进行了多次显着的观察:(a)查询来自不同分布的随机图像,而不是blackboxtraining数据,导致表现良好的仿冒; (b)即使使用不同的架构表示仿冒品,这也是可能的; (c)我们的强化学习方法还可以在某些设置中提高查询样本效率,并提供性能提升。我们验证了在一系列数据集和任务上的模式功能窃取,以及我们创建一个合理的仿冒品,只需30美元的apopular图像分析API。
translated by 谷歌翻译
已经提出元学习作为解决具有挑战性的学习设置的框架。关键的想法是利用大量类似的几次射击任务,以学习如何使基础学习者适应只有少数标记样本可用的新任务。由于深度神经网络(DNN)倾向于仅使用少量样本进行过度拟合,因此元学习通常使用浅层神经网络(SNN),从而限制其有效性。在本文中,我们提出了一种称为元转移学习(MTL)的新型小镜头学习方法。学习适应深度NN用于少数镜头学习任务。具体地,“元”指的是训练多个任务,并且通过学习缩放和每个任务的DNN权重的移位函数来实现“转移”。此外,我们将硬任务(HT)元批处理方案作为MTL的有效学习课程。我们使用(5级,1次射击)和(5级,5次射击)识别任务在两个具有挑战性的少数射击学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。对相关工作的广泛比较验证了我们使用所提出的HT元批处理方案训练的元转移学习方法实现了最佳性能。消融研究表明,这两个组成部分都有助于快速收敛和高精度。
translated by 谷歌翻译
获得对抗对抗性示例并且能够很好地扩展的深层网络是一个悬而未决的问题。最近的一个假设甚至表明,鲁棒性和准确性模型都是不可能的,即对抗性稳健性和普遍性是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系,我们假设一个潜在的,低维数据流形,并表明:1。常规的对抗性例子留下了流形; 2.存在约束于多样性的对抗性例子,即在多面体上的对抗性例子; 3.在多面体上的对抗性例子是泛化误差,并且在多面体上的对抗训练促进了一般化; 4.常规鲁棒性与泛化无关。这些假设意味着稳健和准确的模型都是可能的。然而,不同的模型(架构,训练策略等)可以表现出不同的鲁棒性和泛化特征。为了证实我们的主张,我们提供了关于合成数据(可访问真实流形)以及EMNIST,Fashion-MNIST和CelebA的大量实验。
translated by 谷歌翻译
全球平均联合(GAP)允许将判别信息本地化以进行识别[40]。虽然GAP帮助卷积神经网络参与对象的最具辨别力的特征,但是如果该信息缺失,则可能会受到影响。由于相机视点的变化。为了避免这个问题,我们认为通过建模高级特征之间的空间关系来关注对象的全局配置是有利的。我们提出了一种新的人物重新识别体系结构,它基于一个新颖的无参数空间关注层,将特征地图激活之间的空间关系引入模型。如果没有它,我们的空间注意力层会不断提高模型的性能。四个基准测试的结果表明,我们的模型优于现有技术,在市场-1501上达到94.7%的秩-1准确度,在杜克MTTMC-ReID上达到89.0%,在CUHK03标记上达到74.9%,在检测到CUHK03时达到69.7%。
translated by 谷歌翻译
过去关系提取的工作主要集中在单句内的二元关系。最近,NLP社区已经在跨越多个句子的实体对中获得关系提取的兴趣。在本文中,我们提出了一种新的架构来完成这项任务:基于感知间依赖性的神经网络(iDepNN)。 iDepNN通过循环和递归神经网络对最短和增强的依赖路径进行建模,以提取(内)和跨(句间)句子边界内的关系。与SVM和神经网络基线相比,iDepNN对于跨越句子的关系中的错误存活更加健壮。我们在来自newswire(MUC6)和医学(BioNLP共享任务)领域的四个数据集上评估我们的模型,这些数据集实现了最先进的性能,并在精确度和回忆中显示出更好的平衡关系。比参加2016年BioNLP共享任务的11支队伍表现更好,并且在F1中获胜率为5.2%(0.587 vs 0.558)。我们还发布了MUC6的交叉句注释。
translated by 谷歌翻译