深度神经网络过度参数化,这意味着参数的数量远远大于用于训练网络的样本数量。即使在这样的制度下,深层架构也不会过度配合。这种现象是一个活跃的研究领域,并且已经提出了许多理论来理解这种特殊的观察。这些包括VapnikChervonenkis(VC)维边界和Rademacher复杂边界,其表明网络的容量由权重的范数表征,而不是参数的数量。然而,尚未研究输入噪声对浅层和深层架构的这些措施的影响。在本文中,我们分析了各种正则化方案对神经网络复杂性的影响,我们用损失,权重的$ L_2 $范数,Rademacher复杂性(直接近似正则化复杂度-DARC1),基于VC维度的低复杂度神经网络(LCNN)来表征。 )不同程度的高斯输入噪声。我们证明了$ L_2 $正则化导致了一个更简单的假设类,并且DARC1正则化器随后对于浅层和深层架构都进行了更好的泛化。雅可比正则化器适用于具有高水平输入噪声的浅层架构。对于浅层和深层架构,光谱归一化获得最高的测试设备准确度。我们还表明,Dropoutalone在输入噪声存在的情况下表现不佳。最后,我们展示了较深的体系结构对输入噪声的鲁棒性,而不是它们的浅部分。
translated by 谷歌翻译
解释深度学习的不合理有效性已经让全球各地的研究人员望而却步。各种作者都描述了多个度量标准来评估深层体系结构的容量。在本文中,我们提到了对具有铰链损耗的支持向量机(SVM)所描述的半边界限,将其应用于深度前馈体系结构并导出与先前限制的术语不同的Vapnik-Chervonenkis(VC)边界。网络的权重数量。在这样做的过程中,我们还提出了Dropout和Dropconnect等技术在降低网络容量方面的有效性。最后,我们描述了最大化输入和输出裕度的效果,以实现输入噪声稳健的深层体系结构。
translated by 谷歌翻译
本文描述了我们的表面实现共享任务2018(SRST'18)的浅轨道提交系统。任务是将真正的UDstructures转换成正确的句子形式,从这些UDstructures中删除了词序信息,并将tokenshad语法化。我们将问题陈述分为两个部分,即单词重新反射和正确的词序预测。对于第一个子问题,我们使用基于长短期记忆的编码器 - 解码器方法。对于第二个子问题,我们提出了一种基于LanguageModel(LM)的方法。我们在LMBased方法中应用两种不同的子方法,这两种方法的组合结果被认为是系统的最终输出。
translated by 谷歌翻译
典型的对话包括参与者之间的多次转弯,其中他们在不同主题之间来回转换。在每个用户转弯时,对话状态跟踪(DST)旨在通过处理当前的容差来估计用户的目标。然而,在许多回合中,用户隐含地提到了先前的目标,因此需要使用相关的对话历史。尽管如此,区分相关历史是具有挑战性的,并且使用对话新近度的流行方法是低效的。因此,我们提出了一种新的DST框架,通过参考特定时隙值变化的过去话语来识别相关的历史背景,并将其与加权系统话语一起用于识别相关的上下文。具体来说,我们使用当前用户话语和最近的系统话语来确定系统话语的相关性。实证分析表明,与以前最先进的GLAD模型相比,我们分别在WoZ 2.0和MultiWoZ 2.0餐厅域数据集上提高了2.75%和2.36%的联合目标准确度。
translated by 谷歌翻译
在快速增长的智能设备中,Android是最受欢迎的操作系统,由于具有吸引力的功能,移动性,易用性,这些设备可以保存敏感信息,如个人数据,浏览历史记录,购物历史记录,财务详细信息等。这些设备中的安全性差距意味着存储或访问智能设备的信息很有可能被恶意软件窃取。这些恶意软件不断增长,并被用于军事间谍活动,破坏行业,电网等.Todetect这些恶意软件,传统的签名匹配技术被广泛使用。然而,由于恶意软件开发人员使用了几种混淆技术,因此这些策略无法检测到高级Android恶意软件应用程序。因此,研究人员不断解决基于Android的智能设备中的安全问题。因此,在本文中使用Drebin基准软件数据集,我们通过实验证明如何在根据许可对所收集的数据进行分组后分析应用程序来提高检测准确度,并实现97.15%的总体平均准确度。我们的结果优于没有分组数据(79.27%,2017),Arp,etal获得的准确度。 (94%,2014),Annamalai等。 (84.29%,2016),Bahman Rashidi等。 (82%,2017))和Ali Feizollah,et al。 (95。5%,2017年)。分析还显示,在群组中,麦克风组检测准确度最低,而Calendargroup应用程序检测具有最高的准确性,并且具有最高的准确性,并且为了获得最佳性能,需要80-100个功能。
translated by 谷歌翻译
心理健康和社交媒体一直是密切相关的研究领域。在这项研究中,提出了一种新的模型,AD预测模型,用于实时推文中的焦虑抑制预测。这种混合性焦虑抑郁症主要与不稳定的思维过程,烦躁不安和失眠有关。基于语言线索和用户发布模式,使用5元组向量<字,时间,频率,情感,对比度>来定义特征集。建立一种与焦虑相关的词汇来检测焦虑指标的存在。分析推特的时间和频率是否存在不规则性,并且进行意见极性分析以发现发布行为的不一致性。该模型使用三个分类器(多项式na \“ive bayes,梯度增强和随机森林)进行训练,并使用集合投票分类器进行多数投票。对抽样100个用户的推文评估初步结果,建议的模型分类精度为85.09 %。
translated by 谷歌翻译
当标记的训练数据很少时,有希望的数据增强方法是使用它们的属性生成未知类的视觉特征。为了学习CNN特征的类条件分布,这些模型依赖于成对的图像特征和类属性。因此,他们无法利用大量未标记的数据样本。在本文中,我们在一个统一的特征生成框架中处理任何镜头学习问题,即零射击和少射击,在感应和转换学习环境中运行。我们开发了一个条件生成模型,结合了VAE和GAN的强度,此外通过无条件鉴别器,学习未标记图像的边缘特征分布。我们凭经验证明,我们的模型为五个数据集(即CUB,SUN,AWA和ImageNet)提供了高度辨别力的CNN特征,并在任何一个镜头学习中建立了一种新的先进技术,即诱导和转换(广义)零和少数-shot学习设置。我们还证明我们学到的特征是可解释的:我们通过将它们反转回像素空间进行可视化,并通过生成文本参数来解释它们,为什么它们与某个标签相关联。
translated by 谷歌翻译
双曲流形是一个具有负常曲率的光滑流形。虽然双曲流形在文献中得到了很好的研究,但由于其在连续层次模型中的有用性,它在机器学习和自然语言处理中获得了兴趣。具有分层结构的任务在这些领域中无处不在,并且对于学习双曲线表示或嵌入此类任务存在普遍兴趣。此外,这些相关任务的嵌入也可以共享低秩空间。在这项工作中,我们建议学习双曲线嵌入,使得它们也位于低维子空间中。特别是,我们考虑学习双曲线嵌入的低秩分解的问题。我们将这些问题作为多方面的优化问题来提出,并提出了计算效率高的算法。实证结果说明了所提出的方法的有效性。
translated by 谷歌翻译
分析电视剧和电影背后的故事往往需要了解角色是什么以及他们在做什么。随着深层面部模型的改进,这似乎是一个已解决的问题。然而,随着面部检测器越来越好,需要重新考虑聚类/识别以解决面部外观中增加的多样性。在本文中,我们使用无监督方法解决视频人脸聚类问题。我们的重点是从使用深度预训练面网络获得的表示中提取基本信息,身份。我们提出了一种自我监督的Siamese网络,可以在不需要基于视频/轨道的监督的情况下进行训练,因此也可以应用于图像集。我们在三个视频聚类数据集上评估我们提出的方法。实验表明,我们的方法在所有数据集上都优于当前最先进的方法。视频人脸聚类是一个共同的基准,因为当前的作品通常用不同的度量和/或不同的人脸轨迹集来评估。
translated by 谷歌翻译
大规模行为数据集使研究人员能够使用复杂的机器学习算法来更好地预测人类行为,但这种增加的预测能力并不总是能够更好地理解问题中的行为。在本文中,我们概述了一个数据驱动的迭代过程,它允许认知科学家使用机器学习来生成既可解释又准确的模型。我们在道德决策领域展示了这种方法,其中标准实验方法经常识别影响人类判断的相关原则,但未能将这些发现归结为“现实世界”情境,这些原则使这些原则不受影响。最近发布的道德机器数据集允许我们构建能够预测这些冲突结果的强大模型,同时保持足够简单以解释人类决策背后的基础。
translated by 谷歌翻译