元学习是一种工具,可以让我们构建样本有效的学习系统。在这里,我们表明,一旦经过元训练,LSTM元学习者不仅仅是他们的样本效率低下的深度学习(DL)和重建学习(RL)兄弟,而是他们实际上追求的是基本不同的学习轨迹。我们在三组结构化任务中研究他们的学习动态,其中先前已经描述了DL和RL系统的相应学习动力学:线性回归(Saxe etal。,2013),非线性回归(Rahaman等,2018; Xu等, 2018年)和背景匪徒(Schaul等,2019)。在每种情况下,虽然样本效率低下的DL和RL学习者以交错的方式揭示任务结构,但经过元训练的LSTM元学习者同时发现几乎所有的任务结构,与贝叶斯最优推理算法所期望的模式一致。这对于学习行为本身感兴趣的研究领域有影响,例如安全性,课程设计和人机循环机器学习。
translated by 谷歌翻译
多智能体系统的行为动态具有丰富有序的结构,可用于理解这些系统,并改善人工智能学习如何在其中运行。在这里,我们介绍了用于多智能体学习的关系前向模型(RFM),这些网络可以学习如何在多智能体环境中对代理的未来行为进行准确的预测。因为这些模型对环境中存在的离散实体和关系进行操作,所以它们产生可解释的中间体表达能够深入了解推动代理人行为的因素,以及调解社交互动的强度和价值的事件。此外,我们展示了代理内部的RFM模块,与非增强基线相比,可以实现更快的学习系统。随着我们开发和交互的自治系统越来越多地成为多智能体,开发利用分析工具来表征代理如何以及为何做出决策的工具越来越必要。此外,开发快速且易于学会彼此协调的人工制剂以及在共享环境中与人类协调是至关重要的。
translated by 谷歌翻译
通过强化学习(RL)在人工智能方面的最新进展已经在日益复杂的单一代理环境和双人回合制游戏中取得了巨大成功。然而,真实世界包含多个代理,每个代理都独立学习和行动以与其他代理进行合作和竞争,反映这种复杂程度的环境仍然是一个难题。在这项工作中,我们首次演示了一个代理可以在一个流行的3D多人第一人称视频游戏Quake III Arena夺旗中实现人类级别,仅使用像素和游戏点作为输入。这些结果是通过一个新颖的两层优化过程,其中独立RL代理的人口从数千个并行匹配中同时训练,其中代理一起玩并且在随机生成的环境中彼此相对。群体中的每个代理人学习其自己的内部奖励信号以补充来自获胜的稀疏延迟奖励,并且使用新颖的时间分层表示来选择动作,该代表可以使代理在多个时间尺度下进行推理。在游戏过程中,这些代理人基于丰富的学习表示来显示类似人的行为,例如导航,跟随和保护,该学习表示被示出为编码高级游戏知识。在广泛的锦标赛风格评估中,训练有素的球员超过了作为队友和对手的强大的人类球员的胜利率,并且证明远比现有的最先进的特工更强。这些结果表明人工智能的能力显着提升,让我们更接近人类智慧的目标。
translated by 谷歌翻译
在本报告中,我们回顾了基于记忆的元学习作为建筑样本有效策略的工具,该策略从过去的经验中学习以适应目标类中的任何任务。我们的目标是为读者提供此工具的概念基础,以构建在陆域上运行的新的可扩展代理。为此,我们提出了基本的算法模板,用于建立最佳预测器和强化学习器,其行为就好像它们具有允许它们有效地利用任务结构的概率模型。此外,我们在贝叶斯框架内重建基于内存的元学习,显示元学习策略接近最优,因为它们分摊贝叶斯过滤数据,其中适应在内存动态中实现为具有足够统计数据的状态机。从本质上讲,基于记忆的学习 - 学习将概率序贯推理的难题转化为回归问题。
translated by 谷歌翻译
在这里,我们介绍DIVE:数据驱动的顶点演化推理。 DIVE是一种基于图像的疾病进展模型,具有单顶点分辨率,旨在从短期纵向数据集重建脑病理学的长期模式。 DIVE聚集在患者人群中具有相似时间动态的皮质表面上的顶点生物标记物测量,并且同时估计每个聚类中的顶点测量的平均轨迹。 DIVE独特地将一个分区输出到具有共同进展模式的区域,从而为个体疾病带来新的签名。潜水进一步估计每个受试者每次就诊的疾病阶段和进展速度,可能增强临床试验或管理的分层。在模拟数据上,如果平均轨迹在群集之间充分不同,则DIVE可以恢复地面真实群及其潜在轨迹。我们对来自两个队列的数据进行了潜水:阿尔茨海默氏病神经影像学研究(ADNI)和英国老年痴呆症研究中心(DRC),其中包括患有后皮质萎缩(PCA)的患者以及典型的阿尔茨海默氏病(tAD)。 DIVE在两个独立数据集(ADNI和DRC)中发现tAD受试者萎缩的类似空间模式,并进一步揭示不同疾病(tAD与PCA)和不同类型生物标志物数据的不同病理模式:来自磁共振成像(MRI)的皮质厚度来自正电子发射断层扫描(PET)的抗淀粉样蛋白负荷。最后,DIVE可以用于估计大脑中病理学的细粒度空间分布,使用任何类型的体素或顶点测量,包括雅可比压缩图,来自扩散成像的分数各向异性(FA)图或其他PET测量。 DIVE源代码可在线获取:https://github.com/mrazvan22/dive
translated by 谷歌翻译
我们介绍了疾病知识转移(DKT),这是一种在相关神经退行性疾病之间转移生物标志物信息的新技术。即使只有有限的单峰数据可用,DKT也可以通过转移来自常见神经退行性疾病的较大多模式数据集的信息,在罕见的神经退行性疾病中推断出稳健的多模式生物标志物轨迹。 DKT是生物标志物进展的联合疾病生成模型,其利用跨疾病共享的生物标志物关系。与目前的深度学习方法相比,DKT是可解释的,它允许理解潜在的疾病机制。在这里,我们展示了DKT onAlzheimer's disease(AD)变体及其在后皮质萎缩(PCA)中预测多模态生物标志物的轨迹的能力,缺乏来自PCA受试者的此类数据。为此,我们在包含两个不同疾病和大小数据的主题的组合数据集上训练DKT:1)来自TADPOLE挑战的更大的多模式典型AD(tAD)数据集,以及2)来自更小的单峰后部皮质萎缩(PCA)数据集英国痴呆症研究中心(DRC),其中只有有限数量的磁共振成像(MRI)扫描。我们首先表明DKT估计PCA中可能的多模轨迹与先前的文献一致。我们在两种情况下进一步验证DKT:(1)合成数据,显示它可以准确估计地面实况参数;(2)来自对照和PCA患者的20次DTI扫描,表明它与标准方法相比具有良好的预测性能。虽然我们展示了DKT onAlzheimer的变异,但我们注意到DKT对于其他形式的相关神经退行性疾病是普遍存在的。 DKT的源代码可在线获取:https://github.com/mrazvan22/dkt。
translated by 谷歌翻译
蛔虫C. elegans表现出强烈的逃逸行为,以响应迅速升高的温度。行为持续几秒钟,显示历史依赖性,涉及感觉和运动系统,并且使用当前可用的知识机械地进行过于复杂的模型化。相反,我们在现象学上对过程进行建模,并且我们使用Sir Isaac动态推理平台以完全自动化的方式直接从实验数据推断模型。推断的模型需要结合未观察到的动态变量,并且在生物学上是可解释的。该模型对蠕虫行为的动态进行了准确的预测,可以用来描述逃逸响应背后的动力系统的功能逻辑。这项工作说明了现代人工智能在发现复杂自然系统的准确和可解释模型方面的力量。
translated by 谷歌翻译
以顺序方式学习任务的能力对于人工智能的发展至关重要。一般而言,神经网络不具备此功能,并且人们普遍认为灾难性遗忘是连接模型的必然特征。我们表明,有可能克服这种限制并培养能够保持他们长期没有经历过的专业知识的网络。我们的方法通过有选择地减慢重量重要任务的权重学习来记住任务。我们通过基于MNIST手写数字数据集解决一组分类任务并依次学习几个Atari 2600游戏,证明我们的方法是可扩展和有效的。
translated by 谷歌翻译
在本文中,我们介绍了深度高斯过程(GP)模型。深度GP是基于高斯过程映射的非常信任的网络。数据被建模为多变量GP的输出。该高斯过程的输入由另一个GP进行转换。单层模型等同于标准GP或GP潜变量模型(GP-LVM)。我们通过近似变分边缘化在模型中进行推理。这导致我们用于模型选择的模型的边际可能性的严格下限(每层的层数和节点数)。深度置信网络通常应用于使用随机梯度下降进行优化的相对大的数据集。即使在数据稀缺的情况下,我们的完全贝叶斯处理也允许应用深度模型。通过我们的变分界限进行模型选择表明即使在仅包含150个示例的数字数据集建模时,五层层次结构也是合理的。
translated by 谷歌翻译
我们研究了在$ T $是Toeplitz的假设下估计adistribution $ \ mathcal {D} $超过$ d $ -dimensional向量的协方差矩阵$ T $的查询复杂度。这种假设出现在许多信号处理问题中,其中任何两个测量之间的协方差仅取决于那些测量之间的时间或距离。我们对估计策略感兴趣,这些估计策略可能选择仅查看每个矢量样本$ x ^ {(\ ell)} \ sim \ mathcal {D} $中的条目子集,这通常等同于减少无线信号处理应用中的硬件和通信要求高级成像。我们的目标是最小化1)从$ \ mathcal {D} $中抽取的矢量样本数量和2)每个样本中访问的条目数量。我们提供了一些关于利用$ T $的Toeplitz结构的这些样本复杂性度量的第一个非渐近边界,并且通过这样做,显着改进了通用协方差矩阵的结果。我们的界限来自对经典和广泛使用的估计算法(以及一些新变体)的分析,包括基于根据所谓的稀疏标尺从每个矢量样本中选择条目的方法。在许多情况下,我们将上层边界与匹配或几乎匹配的下边界配对。除了适用于任何Toeplitz $ T $的结果之外,我们进一步研究了当$ T $接近低等级时的重要设置,这通常是实践中的情况。我们表明,基于稀疏标尺的方法在这个设置中表现得更好,样本复杂度在$ d $中线性地缩放。受此发现的推动,我们开发了一种新的协方差估计策略,该策略进一步改进了低秩情况下的所有现有方法:当$ T $排名为$ k $ ornearly rank- $ k $时,它实现了样本复杂度,取决于$ k的多项式$并且仅以$ d $对数。
translated by 谷歌翻译