通过强化学习(RL)在人工智能方面的最新进展已经在日益复杂的单一代理环境和双人回合制游戏中取得了巨大成功。然而,真实世界包含多个代理,每个代理都独立学习和行动以与其他代理进行合作和竞争,反映这种复杂程度的环境仍然是一个难题。在这项工作中,我们首次演示了一个代理可以在一个流行的3D多人第一人称视频游戏Quake III Arena夺旗中实现人类级别,仅使用像素和游戏点作为输入。这些结果是通过一个新颖的两层优化过程,其中独立RL代理的人口从数千个并行匹配中同时训练,其中代理一起玩并且在随机生成的环境中彼此相对。群体中的每个代理人学习其自己的内部奖励信号以补充来自获胜的稀疏延迟奖励,并且使用新颖的时间分层表示来选择动作,该代表可以使代理在多个时间尺度下进行推理。在游戏过程中,这些代理人基于丰富的学习表示来显示类似人的行为,例如导航,跟随和保护,该学习表示被示出为编码高级游戏知识。在广泛的锦标赛风格评估中,训练有素的球员超过了作为队友和对手的强大的人类球员的胜利率,并且证明远比现有的最先进的特工更强。这些结果表明人工智能的能力显着提升,让我们更接近人类智慧的目标。
translated by 谷歌翻译
本文讨论了教育数据挖掘中的一个关键挑战,即模拟学生的行为轨迹,以便为识别最危险的学生提供一种手段,目的是提供支持性干预。虽然许多形式的数据(包括点击流数据或来自传感器的数据)已广泛用于此类目的的时间序列模型中,但在本文中,我们探讨了文本数据的使用,有时可在大学在线大学的学生记录中使用。我们提出了一个时间序列模型,它使用滑动数据和从分配给每个学生的人类导师记录的文本笔记中提取的信号构建演化的学生状态表示。我们探讨了这种文本数据的添加如何提高学生国家的预测能力,以便识别处于课程失败风险中的学生,以及提供关于学生课程参与过程的可解释的见解。
translated by 谷歌翻译
最近神经机器翻译和其他NLP任务的变压器网络的成功导致了试图将其应用于forspeech识别的研究工作的激增。最近的努力研究了关于将位置嵌入与语音特征相结合的方法以及用于大规模学习变压器网络的优化的稳定性的关键研究问题。在本文中,我们建议用具有卷积学习的输入表示替换变压器的正弦位置嵌入。这些上下文表示为随后的变换器块提供了相对位置信息,用于发现局部概念之间的长程关系。所提出的系统具有有利的优化特性,其中我们报道的结果以固定学习率1.0并且没有预热步骤产生。当没有提供额外的LM文本时,所提出的模型将单词错误率(WER)降低了12%和16%相对于Librispeech“dev other”和“测试其他”子集的相对顶级发表的工作。重现我们的结果的完整代码将在发布时在线提供。
translated by 谷歌翻译
大多数机器翻译系统通过从左到右顺序预测令牌来自动生成文本。相反,我们使用蒙板语言建模目标来训练模型以预测目标词的任何子集,以输入文本和部分掩蔽的目标翻译为条件。这种方法允许有效的迭代解码,其中我们首先非自动回归地预测所有目标词,然后重复地屏蔽并重新生成模型最不可信的单词子集。通过将此策略应用于恒定次数的迭代,我们的模式平均超过3 BLEU,为恒定时间转换模型提供了最先进的性能水平。它还能够达到典型的从左到右变压器模型的性能的92-95%,而解码速度明显更快。
translated by 谷歌翻译
程序员通常使用高级编码模式或惯用结构(例如嵌套循环,异常处理程序和递归块)来组织可执行源代码,而不是单独的代码令牌。相反,现有技术的语义解析器仍然通过一次一个节点构建代码语法树来将自然语言指令映射到源代码。在本文中,我们介绍了一种迭代方法,通过反复折叠其共同密集的最频繁深度2子树,从大型源代码库中提取代码习语,并且我们训练语义解析器在解码期间应用这些习语。我们将这种基于成语的代码生成应用于最近的依赖于上下文的语义分析任务,并将BLEU得分提高2.2%,同时将训练时间缩短50%以上。这种提高的速度使我们能够通过对扩展训练集进行5x倍的训练来训练模型,从而进一步提升现有技术水平2.3%的BLEU和0.9%的精确匹配。
translated by 谷歌翻译
公平性越来越被认为是机器学习系统的关键组成部分。然而,正是这些系统所采用的基础数据经常反映歧视,这表明存在数据库修复问题。现有的公平处理依赖于可能被统计异常所欺骗的统计相关性,例如辛普森的悖论。基于因果关系的公平定义的提议可以正确地模拟一些情况,但是它们需要指定潜在的因果模型。在本文中,我们将这种情况形式化为数据库修复问题,在公允分类器的条件下,根据完整的因果模型提供了可接受的变量。我们表明这些条件正确地捕获了微妙的公平违规行为。然后,我们使用这些条件作为数据库修复算法的基础,该算法为在其训练标签上训练的分类器提供可证明的公平性保证。我们在实际数据上评估我们的算法,证明了对文献中提出的多重公平度量的现有技术的改进,同时保留了高效用。
translated by 谷歌翻译
医学生和放射学学员通常会观看数以千计的图像,以“训练他们的眼睛”,以检测诊断所需的微妙视觉模式。然而,基础设施和法律约束通常使得难以访问并使用用户指定的特征集快速查询大量图像。在本文中,我们使用条件生成对抗网络(GAN)来合成$ 1024 \ times1024 $像素骨盆放射照片,可以通过调节骨折状态进行查询。我们证明条件GAN通过训练卷积神经网络专门对从GAN采样的图像和在保持的真实图像上实现$> 0.95 $的AUC来学习区分骨折与非骨折的特征。我们对从GAN采样的图像进行了额外的分析,并描述了正在进行的工作以验证教育效果。
translated by 谷歌翻译
用于鉴定遗传变异体的DNA测序在临床环境中变得越来越有价值。对这种测序数据中的变体的评估通常通过贝叶斯启发式算法来实现。机器学习在改进这些变体调用方面显示出巨大的希望,但输入仍然是标准化的“堆积”图像,并不总是最适合。在本文中,我们提出了一种从DNA序列数据生成图像的新方法,它将人类参考基因组与个性化测序输出交织在一起,以最大限度地利用测序读数并提高机器学习算法的性能。我们证明了这在改进标准种系变异调用中的成功。我们还进一步采用这种方法,通过Siamese网络对肿瘤/正常数据进行包括调整。这些方法可用于测序数据的机器学习应用,希望改善临床结果,并可在www.ccg.ai免费用于非商业用途。
translated by 谷歌翻译
全基因组关联研究(GWAS)已经成为疾病生物学遗传线索的丰富来源,并且它们揭示了许多疾病和性状之间强烈的遗传相关性。这些遗传相关性中的一些可能反映了因果关系。我们开发了一种方法,使用GWAS摘要关联统计量化遗传相关性状之间的因果关系。特别是,我们的方法使用混合的第四个元素$ E(\ alpha_1 ^ 2 \ alpha_1 \ alpha_2)$和$ E(\ alpha_2 ^ 2 \ alpha_1 \ alpha_2)$来量化特质1的遗传成分的哪个部分也是特质2的因果关系双变量效应大小分布。如果特质1是特质2的因果关系,则影响特征1(大$ \ alpha_1 ^ 2 $)的SNP将具有相关影响ontrait 2(大$ \ alpha_1 \ alpha_2 $),但反之亦然。我们在广泛的模拟中验证了这种方法。在52个特征(平均$ N = 331 $ k)中,我们鉴定了30个假定的遗传因果关系,许多新的,包括LDL胆固醇对骨矿物质密度降低的影响。更广泛地说,我们证明使用遗传关联数据可以区分遗传相关和因果关系。
translated by 谷歌翻译
重复的问题检测是社区问卷调查中的持续挑战,因为语义上等同的问题可能具有显着不同的单词和结构。此外,当不重复相同的问题时,重复检查的识别可以减少检索所需的资源。本研究比较了深度神经网络和梯度树增强的性能,并利用三个异构数据集探讨了使用转移学习进行域适应的可能性,以改善文本对重复分类任务的不良目标域:通用Quora,技术问题Ubuntu ,和学术英语堆栈交换。最终,我们的研究揭示了另一种假设,即“重复”的含义本质上不是通用目的,而是依赖于学习领域,因此通过适应领域降低了转学的机会。
translated by 谷歌翻译