尽管对生成对抗性网络(GAN)越来越感兴趣,但从理论和实际角度来看,训练GAN仍然是一个具有挑战性的问题。为了应对这一挑战,在本文中,我们提出了一种利用真实数据的独特几何结构的新方法,尤其是流形信息。更具体地说,我们设计了一种通过添加称为流量调节器的附加正则化项来规范GANtraining的方法。流形正则化器迫使发生器尊重实际数据流形的独特几何结构并生成高质量数据。此外,我们在理论上证明在任何一类GAN(包括DCGAN和Wasserstein GAN)中添加该正则化项导致在泛化方面的性能提高,存在均衡和稳定性。初步实验表明,所提出的流量规划有助于避免模式崩溃并导致稳定的训练。
translated by 谷歌翻译
本文使用k-medoids算法研究数据序列的聚类。假设所有数据序列都是从\ emph {未知}连续分布生成的,这些分布形成簇,每个簇包含一组紧密定位的分布(基于分布之间的某个距离度量)。假设最大簇内距离小于最小簇间距离,并且假设两个值都是已知的。目标是如果基础生成分布(未知)属于一个集群,则将数据序列分组在一起。针对已知和未知数量的分布集群,提出了基于k-medoids算法的分布距离度量。还提供了大样本制度下的误差概率和收敛结果的上界。结果表明,当每个数据序列中的样本数量变为无穷大时,误差概率以指数方式快速衰减。无论应用何种距离度量,满足不确定条件,errorexponent都有一个简单的形式。特别地,当Kolmogrov-Smirnov距离或最大meandisppancy用作距离度量时,表征误差指数。提供模拟结果以验证分析。
translated by 谷歌翻译
随着人工智能越来越多地影响社会和生活的各个方面,人们越来越认识到机器学习模型的人类可解释性很重要。人们常常认为,必须牺牲准确性或其他类似的广义性能指标才能获得解释性。然而,这些论点未能承认整个决策系统由两个实体组成:学习模型和将模型输出与他或她自己的信息融合在一起的人类。因此,相关的性能标准应该适用于整个系统,而不仅仅适用于机器学习组件。在这项工作中,我们使用分布检测理论来表征这种双节点串联数据融合系统的性能。在这样做时,我们在人口设置和模型可解释的学习模型中工作为多级量化器。我们证明,在一个人类的整体系统中,具有可解释的classifierout的整个系统用一个黑盒子分类器来形成一个。
translated by 谷歌翻译
恶意类型的拼写错误的单词通过更改特定关键字来实现,旨在阻止现有的自动化应用程序进行网络环境控制,例如骚扰互联网上的内容检测和电子邮件垃圾邮件检测。在本文中,我们关注恶意拼写纠正,这需要一种依赖于上下文和关键词的表面形式的方法。在两个应用程序的背景下 - 亵渎性检测和邮件垃圾邮件检测 - 我们表明恶意拼写错误会严重降低其性能。然后,我们提出了一种上下文敏感的方法,用于使用单词嵌入进行苹果拼写校正,并证明其与最先进的拼写检查器相比具有更高的性能。
translated by 谷歌翻译
虽然以前用于提高偏见分类器预测公平性的后处理方法仅解决了群体公平性,但我们提出了一种增加个人和群体公平性的方法。我们的新颖框架包括一个单独的偏差检测器,用于在偏差传递算法中对数据样本进行优先级排序,旨在改善不同影响的群体公平性度量。我们在信用,就业和刑事司法等应用中的几个实际数据集的分类准确性,个人公平性和群体公平性的组合中表现出优于以往工作的优越性能。
translated by 谷歌翻译
分布式神经网络训练对于包括使用计算集群进行扩展,对诸如IOT设备和边缘服务器之类的数据进行训练,利用跨异构环境中的未充分利用资源等的若干原因特别感兴趣。大多数现代方法主要使用计算集群进行扩展,并且需要高网络带宽和频繁的通信。本文概述了标准分发培训,并提出了一种新技术,涉及使用类似Gossip的协议进行空中通信,称为弹性八卦。这种方法建立在称为弹性平均SGD(EASGD)的现有技术的基础上,类似于另一种称为Gossiping SGD的技术,它也是类似Gossip的协议。弹性八卦使用MNIST数字识别和CIFAR-10分类任务,使用常用的跨越多层感知器(MLP)和卷积神经网络(CNN)的神经网络架构,对Gossiping SGD进行经验评估。发现Elastic Gossip,Gossiping SGD和All-reduce SGD表现相当可观,即使后者需要相当高的通信成本。虽然弹性八卦在这些实验中表现优于Gossiping SGD,但可以通过对超参数空间进行更彻底的搜索(特定于agiven应用),可能会产生比弹性八卦更有效的Gossiping SGD配置。
translated by 谷歌翻译
由于来自多种模态的丰富数据,具有图像文本,音频图像等的跨模态检索任务正变得越来越重要。在提出的不同方法中,监督方法通常会对其无人监督的对应方提供显着的改进,但需要额外的标记或注释训练数据。半监督方法最近变得流行,因为它们提供了一个优雅的框架来平衡标记成本和准确性的冲突要求。在这项工作中,我们提出了一种新颖的深度半监督框架,它可以无缝地处理标记和未标记数据。网络有两个重要组成部分:(a)标签预测组件预测数据未标记部分的标签,然后(b)学习共模态不变表示以进行跨模态检索。网络的两个部分依次一个接一个地训练。对三个标准基准数据集,Wiki,Pascal VOC和NUS-WIDE进行了大量实验,证明所提出的框架对于监督和半监督设置都具有最新技术水平。
translated by 谷歌翻译
最近的研究表明,在由皮肤类型和性别定义的交叉群体中,性别分类任务中商业面部分类服务的表现不均衡。对于皮肤黝黑的女性来说,准确性比其他任何一组都要差。在本文中,我们进行了几次分析,以揭示造成这种差距的原因。可能令人惊讶的是,主要发现是皮肤类型不是驱动因素。这一结论是通过稳定性实验得出的,这些实验通过颜色理论方法改变图像的皮肤类型,即亮度模式偏移和最佳传输。第二个嫌疑人,头发长度,也显示不是通过实验在面部图像裁剪以排除头发。最后,使用对比神经网络的对比解释技术,我们提出证据表明,种族间的眼睛,眼睛和脸颊结构的差异导致了差异。此外,唇部和眼部化妆被视为女性面部的强烈预测因素,这是性别刻板印象的一种传播。
translated by 谷歌翻译
在低延迟约束下设计信道代码是5G标准中最苛刻的要求之一。然而,传统代码的性能的清晰表征仅在大块长度限制中可用。代码设计由那些渐近分析引导,并且需要大块长度和长延迟以实现期望的错误率。此外,当为一个信道(例如,加法高斯白噪声(AWGN)信道)设计的代码用于另一个信道(例如非AWGN信道)时,启发式必须实现任何非平凡的性能 - 其中严重缺乏不稳定性和适应性。通过联合设计基于回归神经网络(RNN)的编码和解码器获得,我们提出了一种端到端学习神经码,其在块设置下优于经典卷积码。凭借这种设计新型神经阻滞码的经验,我们提出了一类新的码延迟约束 - 低延迟高效自适应鲁棒神经(LEARN)码,其性能优于现有技术的低延迟码以及禁止码。稳健性和适应性。学习代码显示了为现代深度学习的未来通信技术和通信工程见解设计新的通用和通用代码的潜力。
translated by 谷歌翻译
人工智能系统正在被越来越多地部署,因为它们可以提高决策的效率,规模,一致性,公平性和准确性。然而,由于这些系统中的许多系统在其操作中是不透明的,因此对这种系统的需求不断增加,以便为其决策提供解释。解决该问题的传统方法试图揭示机器学习模型的内部工作,希望得到的解释对消费者有意义。相比之下,本文提出了解决这一问题的新方法。它引入了一个简单实用的框架,称为决策教学解释(TED),它提供了与消费者心智模型相匹配的有意义的解释。我们用两个不同的例子说明了这种方法的一般性和有效性,从而得到了高度准确的解释而没有损失这两个例子的预测准确性。
translated by 谷歌翻译