神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
生成释义,即传达相同含义的句子的不同变体,是NLP中一项重要且具有挑战性的任务。自动生成释义在许多NLP任务中具有实用性,例如问答,信息检索,会话系统等等。在本文中,我们引入了基于VAE的生成框架中生成的释义的迭代细化。当前的序列生成模型缺乏能够(1)在生成句子后进行改进; (2)解码时产生的整流器。我们提出了一种使用多个解码器迭代地改进输出的技术,每个解码器都参与由前一个解码器生成的输出语句。我们显着改善了当前的现有技术水平 - 分别在QUora问题对和MSCOCO数据集上的METEOR得分绝对增加超过9%和28%。我们还通过实例定性地展示了我们的重新解码方法通过纠正错误并在复述结构中进行改进,引入变化并引入新的语义相干信息,与单个解码器相比产生更好的相似性。
translated by 谷歌翻译
通过社交媒体渠道参与挑战的人数激增。这种挑战的一个例子就是Kiki挑战赛,人们走出他们的移动车,跳到歌曲的歌曲“Kiki,你爱我吗?”。这样的行动使得接受挑战的人们容易发生事故,并且还可能对在路上行驶的其他人产生影响。在这项工作中,我们介绍了社交媒体中此类挑战的普遍性,并展示了机器学习社区如何通过开发可以区分危险和非危险挑战视频的模型来帮助预防由他们引发的危险情况。为实现这一目标,我们发布了一个新的数据集即MIID-KIKI数据集,包括手动注释的危险和非危险的Kiki挑战视频。此外,我们培训深度学习模型,以识别危险和非危险的视频,并报告我们的结果。
translated by 谷歌翻译
本论文由两个独立的部分组成:随机矩阵,构成本论文的前三分之一,机器学习构成了其中的一部分。本文的主要研究结果如下:$(m,n,\ beta)$ - Laguerre矩阵和复合Wishart矩阵的逆矩是有限的;分别在metricsigma-有限维空间和度量有限维空间中的$ k $最近邻规则的普遍弱一致性和强一致性。在第一部分中,第1章介绍了$(m,n,\ beta)$ - Laguerrematrix,Wishart和复合Wishart矩阵及其联合特征值分布。在第2章中,已经得出了具有有限逆矩的充分必要条件。在第二部分中,第1章介绍了公制维度和区分属性的各种概念,然后我们证明了Preiss结果的必要部分。此外,第2章介绍了统计机器学习中的数学概念,然后第3章介绍了$ k $最近邻规则,并对Stone定理进行了证明。在第4章和第5章中,我们将基于它展示我们的主要结果和一些可能的未来方向。
translated by 谷歌翻译