随着社交网络的普及及其对仇恨言论的不幸使用,对后者的自动检测已成为一个迫切的问题。在本文中,我们从先前的工作中再现了七种最先进的仇恨语音检测模型,并表明它们只有在经过相同类型的数据训练时才能表现良好。基于这些结果,我们认为对于成功的hatespeech检测,模型体系结构不如数据类型和标签标准重要。我们进一步表明,所有提出的检测技术都可以对抗那些可以(自动)插入拼写错误,更改字符边界或在原始仇恨言论中添加无害字词的对手。这些方法的组合对Google Perspective来说也是有效的 - 来自行业的尖端解决方案。我们的实验证明,对抗训练并不能完全缓解攻击,使用特征级功能可以使模型在使用单词级特征时更具系统攻击力。
translated by 谷歌翻译
我们提出了一种新方法来构建自动语言转换,用于许多任务,包括受控的语法或词汇变化,样式转换,文本生成和机器翻译。我们的方法包括创建句子的意义和语法的抽象表示,我们将其用作训练重现原始句子的编码器 - 解码器网络的输入。操纵抽象表示允许根据用户提供的参数(以语法和词汇方式)以任何组合来转换句子。另外,相同的结构可以用于受控文本生成,甚至是无监督的机器翻译,其中网络用于在不使用并行语料库之外的并行语料库之间进行翻译。由于缺乏足够的训练数据,这种策略有望实现迄今为止在NLP技术范围之外的许多任务。我们通过复制和转换英语句子,以及手动和自动评估结果,为我们的方法的有效性提供了经验证据。单个无监督模型用于所有任务。对于句子复制以及14对类之间的后向语法转换,我们报告55.99和81.82之间的.BLE分数。
translated by 谷歌翻译
用于训练物体探测器的高效且可靠的方法比以往任何时候都更高,并且越来越多的与该领域相关的数据变得可用。但是,像Open Image Dataset v4(OID)这样的大型数据集是经过精心注释的,必须采取一些措施以确保可靠检测器的训练。为了将这些遗传算法的不完整性考虑在内,一种可能性是使用预训练模型来检测未验证对象的存在。然而,这种策略的表现在很大程度上取决于预训练模型的力量。在这项研究中,我们提出了部分感知抽样,一种利用人类直觉来处理对象之间的层次关系的方法。简而言之,我们的方法通过制定假设,例如“汽车的边界框应该包含轮胎的边界框”。我们在OID上展示了我们方法的强大功能,并将性能与基于预训练模型的方法进行了比较。我们的方法在第一季度和第二季度也是Google AIOpen Images Competition 2018的公共和私人测试集。
translated by 谷歌翻译
我们提出了一个由PFDet团队组成的大型物体检测系统。我们的系统可以使用512个GPU来处理庞大的数据集,处理稀疏验证的类,以及大规模的类不平衡。使用我们的方法,我们在Kaggle上的Google AI Open Images Object Detection Track 2018中获得第二名。
translated by 谷歌翻译
跨语言或跨域通信在从机器翻译到转移学习的任务中起着关键作用。最近,纯粹无监督的单语嵌入操作方法已成为有效的对齐工具。然而,当前最先进的方法涉及多个步骤,包括启发式事后细化策略。在本文中,我们直接将对应问题转换为最优传输(OT)问题,从而构建了嵌入式度量源于度量恢复算法的思想。实际上,我们利用格罗莫夫 - 瓦瑟斯坦距离来衡量两个词之间的相似性如何在不同语言之间相互关联。我们证明了我们的OT目标可以被有效地估计,需要很少或不需要调整,并且结果与各种无监督的字翻译任务中的最新技术相当。
translated by 谷歌翻译
分层贝叶斯方法可以将许多相关任务(例如,k-shotclassification,条件和无条件生成)统一为单个生成模型中的推断。然而,当这种生成模型被表达为强大的神经网络(如PixelCNN)时,我们表明现有的学习技术通常无法有效地使用潜在变量。为了解决这个问题,我们开发了变分自动编码器的修改,其中编码观察被解码为来自同一类的新元素。这种技术,我们称之为变分同源编码器(VHE),产生一种分层潜变量模型,可以更好地利用潜变量。我们使用VHE框架来学习Omniglot数据集上的分层PixelCNN,其优于测试集可能性的allexisting模型,并在一次性生成和分类任务上实现强大的性能。我们还验证了YouTube Faces数据库中的VHEon自然图像。最后,我们开发了适用于更丰富的数据集结构(如因子和层次类别)的模型。
translated by 谷歌翻译
可解释性已经成为机器学习模型在外部表现的关键需求。到目前为止,方法主要涉及固定尺寸输入,强调特征相关性或选择。相比之下,我们专注于时间建模以及在功能上为可解释的家庭定制预测器的问题。为此,我们提出了预测器和解释器之间的合作博弈,而不对预测器的功能类别进行任何先验限制。该解释器的目标是在本地突出预测器与时间模型的可解释家族的一致性。出于效率原因,我们的合作游戏在信息集方面是不对称的。我们在时间序列模型的背景下开发和说明框架。
translated by 谷歌翻译
我们认为解释的稳健性 - 即类似的输入应该引起类似的解释 - 是可解释性的关键需求。我们引入量化稳健性的指标并证明当前方法根据这些指标表现不佳。最后,我们建议可以对现有的可解释性方法强制执行。
translated by 谷歌翻译
最近关于复杂机器学习模型的可解释性的工作主要集中在估计围绕特定预测的先前训练模型的$ \ textit {a posteriori} $解释。 $ \ textit {自我解释} $ modelswhere可解释性在学习过程中起到了关键作用。我们提出了一般性解释的三个需求 - 显性,忠诚和稳定 - 并且表明现有方法不能满足它们。作为回应,我们分阶段设计自解释模型,逐步将线性分类器推广到复杂但架构上明确的模型。忠诚和稳定是通过专门针对这些模型定制的规范化来实施的。各种基准数据集的实验结果表明,我们的框架为调和模型复杂性和可解释性提供了一个很有前景的方向。
translated by 谷歌翻译
Language identification ("LI") is the problem of determining the natural language that a document or part thereof is written in. Automatic LI has been extensively researched for over fifty years. Today, LI is a key part of many text processing pipelines, as text processing techniques generally assume that the language of the input text is known. Research in this area has recently been especially active. This article provides a brief history of LI research, and an extensive survey of the features and methods used in the LI literature. We describe the features and methods using a unified notation, to make the relationships between methods clearer. We discuss evaluation methods, applications of LI, as well as off-the-shelf LI systems that do not require training by the end user. Finally, we identify open issues, survey the work to date on each issue, and propose future directions for research in LI.
translated by 谷歌翻译