从少数观察中快速推广的能力对于智能系统至关重要。在本文中,我们介绍了APL,这是一种通过记住它遇到的最令人惊讶的观察来近似概率分布的算法。这些过去的观察结果从外部存储器模块中回忆并由解码器网络处理,该解码器网络可以组合来自不同存储器槽的信息以概括超出直接调用。 Weshow这个算法可以执行与现有基线相同的onfew-shot分类基准测试,具有更小的内存占用。此外,它的内存压缩使其可以扩展到数千个未知标签。最后,我们介绍了一种元学习推理任务,它比直接分类更具挑战性。在此设置中,APL能够通过演绎推理以每个类别少于一个示例进行推广。
translated by 谷歌翻译
抽象地,象棋和扑克等零和游戏的功能是对代理商进行评估,例如将它们标记为“胜利者”和“失败者”。如果游戏具有近似传递性,那么自我游戏会产生强度增加的序列。然而,非传递性游戏,如摇滚剪刀,可以表现出战略周期,并且不再有透明的目标 - 我们希望代理人增加力量,但对谁不清楚。在本文中,我们引入了一个用于在零和游戏中制定目标的几何框架,以构建产生开放式学习的目标的自适应序列。该框架允许我们推断非传递性游戏中的人口表现,并且能够开发一种新算法(纠正的Nash响应,PSRO_rN),该算法使用游戏理论小生境构建不同的有效代理群体,产生比现有算法更强的代理集合。我们将PSRO_rN应用于两个高度非传递性的资源分配游戏,并发现PSRO_rN一直优于现有的替代方案。
translated by 谷歌翻译
神经过程(NPs)(Garnelo等2018a; b)通过学习来回归以将观察到的输入 - 输出对的上下文集映射到分布式回归函数。每个函数都根据上下文对输出的分布进行建模。 NP具有有效拟合数据的优势,具有上下文输入 - 输出对数量的线性复杂度,并且可以学习一大类条件分布;它们学习以仲裁集的上下文集为条件的预测分布。尽管如此,我们还是表明NPs存在一个基本的缺点,即在观察到的数据条件的输入上给出了不准确的预测。我们通过将注意力集中到NP来解决这个问题,允许每个输入位置参与预测的相关上下文点。我们证明,这极大地提高了预测的准确性,显着加快了训练速度,并扩展了可以建模的功能范围。
translated by 谷歌翻译
概率模型是现代深度学习工具箱的关键部分 - 从生成模型(VAE,GAN),序列到机器翻译和语音处理中使用的序列模型,再到功能空间上的模型(条件神经过程,神经过程)。考虑到这些模型的大小和复杂性,在应用程序中安全地部署它们需要开发工具来严格分析它们的行为,并提供一些保证,这些模型与所需属性列表一致。例如,机器翻译模型应该为inodel的输入中的无害变化产生语义上等效的输出。学习分布超单调函数的函数回归模型应该在更大的输入处预测更大的值。这些属性的验证需要一个新的框架,该框架超出了在确定性前馈网络中研究的验证的概念,在概率模型中可能会出现最坏情况保证产生保守或空洞的结果。我们提出了一种新的深度概率模型验证方法,它在产生输出的过程中考虑了条件输入和样本变量:我们要求模型的输出满足线性约束,在潜在变量的采样和每个选择调节输入到模型。我们证明了可以有效地获得满足约束的概率的严格下界。使用神经过程进行的实验表明,在建模函数空间时可以对几个感兴趣的属性进行建模(单调性,凸性),并使用我们的算法进行有效验证
translated by 谷歌翻译
随机视频预测模型采用一系列图像帧,并生成一系列连续的未来图像帧。这些模型通常以自回归方式生成未来帧,这种方式很慢并且要求输入和输出帧是连续的。我们通过从任意一组帧生成潜在表示来引入一个模型来克服这些缺点,然后可以使用这些表示在任意时间点同时有效地对时间上一致的帧进行采样。例如,我们的模型可以“跳转”并直接在视频结尾处对帧进行采样,而不对中间帧进行采样。合成视频评估确认了速度和功能方面的重要性,而不会损失保真度。我们还将框架应用于3D场景重建数据集。在这里,我们的模型是根据摄像机位置进行调整的,并且可以对3D场景的一个被遮挡的区域看起来像是一致的图像集,即使该区域可能包含多个可能性。重建和视频可在https://bit.ly/2O4Pc4R上找到。
translated by 谷歌翻译
神经网络(NN)是参数化函数,可以通过梯度下降来调整以近似标记的高精度数据集合。另一方面,高斯过程(GP)是定义可能函数的分布的概率模型,并且通过概率推理的规则根据数据进行更新。 GP是概率性的,数据有效的和灵活的,但是它们也是计算密集型的,因此它们的适用性受到限制。我们介绍了一类神经潜变量模型,我们称之为神经过程(NPs),结合了两个世界中最好的。与GP类似,NP定义了函数的分布,能够适应新的观察,并且可以估计其预测中的不确定性。与NN一样,NP在培训评估期间具有计算效率,但也学会使其先验适应数据。我们展示了NP在一系列学习任务中的表现,包括回归和优化,并与文献中的相关模型进行比较和对比。
translated by 谷歌翻译
深度神经网络在函数逼近方面表现优异,但它们通常从头开始训练每个新函数。另一方面,贝叶斯方法,例如高斯过程(GP),利用先验知识在测试时快速推断新函数的形状。然而,GP在计算上是昂贵的,并且很难设计合适的先验。在本文中,我们提出了一系列神经模型,即条件神经过程(CNPs),它们结合了两者的优点。 CNP受到GP等随机过程灵活性的启发,但结构为神经网络,并通过梯度下降进行训练。 CNP仅在观察一些训练数据点后进行准确预测,然后扩展到复杂函数和大数据集。我们在一系列规范机器学习任务中展示了该方法的性能和多功能性,包括回归,分类和图像完成。
translated by 谷歌翻译
面部标志被用于许多研究领域,如面部识别,颅面识别,年龄和性别估计等重要性。在法医领域,重点是分析面部地标的细节,定义为头部测量标志。以前的工作证明,这些解剖学参考文献的间接应用(照片 - 人体测量学描述)的描述性充分性提高了这些点的标记精度,有助于提高这些分析的可靠性。但是,大多数都是手动执行的,并且专家审查员固有的所有主观性。从这个意义上讲,这项工作的目的是开发和验证自动技术,从法医领域的正面数字图像中检测头部测量标志。所提出的方法在监督学习过程中使用计算机视觉和图像处理技术的组合。所提出的方法获得与一组人类手动头部测量参考标记类似的精确度,并且导致更准确地对抗其他最先进的面部标志检测框架。它实现了0.014的标准化平均距离(以像素为单位)误差,类似于平均专家间离散度(0.009),并且明显优于其他自动方法,也分析了这项工作(0.026和0.101)。
translated by 谷歌翻译
性别偏见对自然语言处理应用程序产生了很大影响。人们已经证明,嵌入式语言既可以保持和扩大当前数据源中存在的性别偏见。最近,语境化的wordembeddings通过计算依赖于它们出现的句子的词向量表示来增强以前的词嵌入技术。在本文中,我们研究了这种概念变化在worndmbedding计算中与性别偏见的关系。我们的分析包括以前在文献中应用于标准wordembeddings的不同措施。我们的研究结果表明,语境化词汇嵌入比标准语言嵌入更少,即使后者被去除了。
translated by 谷歌翻译
近年来,机器学习(ML)采用了生物学和化学信息学领域,为大量相关的蛋白质序列,结构和相互作用分析问题提供了新的解决方案。尤其是ML技术,尤其是神经网络,被证明比预测分子复合物的结合亲和力等任务的经典模型更有效。在这项工作中,我们研究了药物发现过程的早期阶段 - 在蛋白质表面上找到药物插口,可以在以后用于设计活性分子。为此,我们开发了一种能够结合位点分割的3D完全卷积神经网络。我们的解决方案具有很高的预测准确性,并提供结果的直观表示,这使得它很容易纳入药物发现项目。该模型的源代码以及大多数常见用例的脚本可以免费获得,网址为:http://gitlab.com/cheminfIBB/kalasanty
translated by 谷歌翻译