深度学习中的关键挑战之一是检测对抗例的有效策略的定义。为此,我们提出了一种名为Ensemble对抗探测器(EAD)的新型方法,用于识别对抗性示例,在标准的多字节分类场景中。 EAD结合了多个检测器,该检测器利用了预先训练的深神经网络(DNN)内部表示中的输入实例的不同属性。具体而言,EAD基于Mahalanobis距离和局部内在的维度(盖子)与基于单级支持向量机(OSVM)的新引进的方法集成了最先进的探测器。尽管所有构成方法都假定测试实例从一组正确分类的训练实例的距离越大,但概率越高,其是对手示例的概率越高,它们在计算距离的方式中不同。为了利用不同方法的有效性在捕获数据分布的不同特性,因此,有效地解决泛化和过度装备之间的权衡,EAD采用探测器特定的距离分数作为逻辑回归分类器的特征,独立的超公数后优化。我们在不同的数据集(CIFAR-10,CiFar-100和SVHN)和模型(Reset和Densenet)上评估了EAD方法,以及通过与竞争方法进行比较,关于四个对抗性攻击(FGSM,BIM,DeepFool和CW)。总的来说,我们表明EAD达到了最大的Auroc和Aupr在大多数设置和其他方面的表现。对现有技术的改进以及容易延伸EAD以包括任何任意探测器的可能性,铺平了在普遍示例性检测的广场上广泛采用的集合方法。
translated by 谷歌翻译
人类思想的知识呈现了二元矢量/网络性质。作为矢量的建模词是自然语言处理的关键,而单词关联网络可以映射语义记忆的性质。我们通过引入具有丰富的多重词汇(FERMULEX)网络来调和跨语言学,心理学和计算机科学的这些范式 - 碎片化。这种新颖的框架合并网络和矢量特征中的结构相似之处,可以独立地组合或探索。相似之处模型语义/语法/语音方面的异构词关联。用多维特征嵌入的单词富集,包括频率,获取,长度和多义。这些方面使得前所未有的认知知识探索。通过童话数据,我们使用Fermulex网络在18至30个月之间将规范语言采集模拟1000个幼苗。相似之处和嵌入通过符合性捕获单一的妙语,通过距离和特征测量各种混合。符合性解除了频繁/多仪/短名词的语言内核和基本句子生产的动词密钥,支持最近在30个月内出现的儿童句法构建的证据。此内核对网络核心检测和特征群集是不可见的:它从单词的双向矢量/网络性质中出现。我们的定量分析揭示了早期学习中的两个关键策略。将单词获取作为随机散步在Fermulex拓扑上,我们突出了无统一填充交际发育库存(CDIS)。基于符合性的步行者可以准确(75%),精确(55%),并在CDIS中的早期学习的部分召回(34%)预测,为以前的实证发现和发育理论提供了定量支持。
translated by 谷歌翻译
在本文中,我们研究了在非静止环境中的多任务决策的代表学习。我们考虑顺序线性炸匪的框架,其中代理执行从与不同环境相关联的不同集合绘制的一系列任务。每个集合中任务的嵌入式共享一个名为表示表示的低维特征提取器,并且横跨集合不同。我们提出了一种在线算法,通过以自适应方式学习和转移非静止表示来促进有效的决策。我们证明我们的算法显着优于独立处理任务的现有问题。我们还使用合成和实际数据进行实验,以验证我们的理论见解并展示我们算法的功效。
translated by 谷歌翻译
本文报告了Chalearn的Autodl挑战系列的结果和后攻击分析,这有助于对自动学习(DL)进行分类,以便在各种环境中引入的深度学习(DL),但缺乏公平的比较。格式化所有输入数据模型(时间序列,图像,视频,文本,表格)作为张量,所有任务都是多标签分类问题。代码提交已在隐藏的任务上执行,具有限制时间和计算资源,推动快速获取结果的解决方案。在此设置中,DL方法占主导地位,但流行的神经结构搜索(NAS)是不切实际的。解决方案依赖于微调预培训的网络,架构匹配数据模块。挑战后测试没有透露超出强加时间限制的改进。虽然没有组件尤其原始或新颖,但是一个高级模块化组织出现了“Meta-Learner”,“数据摄入”,“模型选择器”,“模型/学习者”和“评估员”。这种模块化使得消融研究,揭示了(离坡)元学习,合奏和高效数据管理的重要性。异构模块组合的实验进一步证实了获胜解决方案的(本地)最优性。我们的挑战队遗产包括一个持久的基准(http://utodl.chalearn.org),获胜者的开放源代码,以及免费的“autodl自助服务”。
translated by 谷歌翻译
图形神经网络(GNNS)已成为图形结构化数据上许多应用的最先进的方法。 GNN是图形表示学习的框架,其中模型学习生成封装结构和特征相关信息的低维节点嵌入。 GNN通常以端到端的方式培训,导致高度专业化的节点嵌入。虽然这种方法在单任务设置中实现了很大的结果,但是可以用于执行多个任务的生成节点嵌入式(具有与单任务模型的性能)仍然是一个开放问题。我们提出了一种基于元学习的图形表示学习的新颖培训策略,这允许培训能够产生多任务节点嵌入的GNN模型。我们的方法避免了学习同时学习快速学习多个任务时产生的困难(即,具有梯度下降的几步),适应多个任务。我们表明,由我们的方法训练的模型生产的嵌入物可用于执行具有比单个任务和多任务端到端模型的可比性或令人惊讶的,甚至更高的性能的多个任务。
translated by 谷歌翻译
我们通过投影仪操作员研究较大尺寸的连续动态系统的嵌入。我们称这种技术PED,动态系统的投影嵌入,因为动态的稳定固定点通过从较高尺寸空间的投影回收。在本文中,我们提供了一种通用定义,并证明对于特定类型的Rank-1的投影仪操作者,均匀的平均场投影仪,运动方程成为动态系统的平均场逼近。虽然一般来说,嵌入取决于指定的变量排序,但对于均匀平均字段投影仪而不是真的。此外,我们证明原始稳定的固定点保持稳定的动态的定点,鞍点保持鞍座,但不稳定的固定点变成马鞍。
translated by 谷歌翻译
在设计可持续和弹性的城市建造环境的同时,越来越多地促进了世界各地的,重大的数据差距对压迫可持续性问题挑战开展的研究。已知人行道具有强大的经济和环境影响;然而,由于数据收集的成本持久和耗时的性质,大多数城市缺乏它们的表面的空间目录。计算机愿景的最新进展与街道级别图像的可用性一起为城市提供了新的机会,以利用较低的实施成本和更高的准确性提取大规模建筑环境数据。在本文中,我们提出了一个基于主动学习的框架,利用计算机视觉技术来使用广泛可用的街道图像进行分类的计算机视觉技术。我们培训了来自纽约市和波士顿的图像的框架,评价结果显示了90.5%的Miou评分。此外,我们使用六个不同城市的图像评估框架,表明它可以应用于具有不同城市面料的区域,即使在培训数据的领域之外。 Citysurfaces可以为研究人员和城市代理商提供低成本,准确,可扩展的方法来收集人行道材料数据,在寻求主要可持续性问题方面发挥着关键作用,包括气候变化和地表水管理。
translated by 谷歌翻译
概率间隔是在不确定性下推理的有吸引力的工具。但是,与信仰功能不同,它们缺乏用于在实用工具理论框架中的决策中的自然概率转变。在本文中,我们提出了使用交叉路口概率,最初导致的变换,以便在不确定的几何方法的框架内进行信仰功能,作为最自然的这种转变。我们回顾其理由和定义,将其与其他概率间隔系统的其他候选者进行比较,讨论其作为一对简单的焦点的信任理由,并概述了概率间隔的可能决策框架,类似于可转移信仰功能的信仰模式。
translated by 谷歌翻译
这项工作研究了伪标签的偏见问题,一种广泛发生的自然现象,但经常通过先前的研究忽视。当在源数据上培训的分类器被传送到未标记的目标数据时,会生成伪标签。当半监督的学习模型Fixmatch预测未标记的数据时,我们观察到沉重的长尾伪标签即使未标记的数据被策划到平衡。没有干预,培训模型继承了伪标签的偏置,最终是次优。为了消除模型偏置,我们提出了一种简单而有效的方法DebiSmatch,包括自适应脱叠模块和自适应边际损失。通过使用在线更新的队列,可以自动调整脱叠的强度和边距的大小。在ImageNet-1K上基准测试,DebiasMatch分别在半监督学习(0.2%注释数据)和零拍摄学习任务中显着超过26%和8.7%的最先进。
translated by 谷歌翻译
传统文本分类方法通常需要良好数量的标记数据,这很难获得,尤其是限制域或较少的广泛语言。这种缺乏标记的数据导致了低资源方法的兴起,这在自然语言处理中具有低数据可用性。其中,零射击学习脱颖而出,它包括在没有任何先前标记的数据的情况下学习分类器。通过此方法报告的最佳结果使用变压器等语言模型,但下降到两个问题:高执行时间和无法处理长文本作为输入。本文提出了一种新的模型Zeroberto,它利用无监督的聚类步骤来获得分类任务之前的压缩数据表示。我们展示Zeroberto对长输入和更短的执行时间具有更好的性能,在FOLHauol数据集中的F1分数中表现出XLM-R大约12%。关键词:低资源NLP,未标记的数据,零射击学习,主题建模,变形金刚。
translated by 谷歌翻译