以顺序方式学习任务的能力对于人工智能的发展至关重要。一般而言,神经网络不具备此功能,并且人们普遍认为灾难性遗忘是连接模型的必然特征。我们表明,有可能克服这种限制并培养能够保持他们长期没有经历过的专业知识的网络。我们的方法通过有选择地减慢重量重要任务的权重学习来记住任务。我们通过基于MNIST手写数字数据集解决一组分类任务并依次学习几个Atari 2600游戏,证明我们的方法是可扩展和有效的。
translated by 谷歌翻译
本文提出了一个统计框架,用于描述大脑模型的物理和概念实体之间的关系。特别是,特征和概念实例被置于上下文中。这可能有助于理解或实现类似的模型。该论文表明,特征实际上是布线。有了这个想法,连接的实际长度很重要,因为它与神经元同步有关。然后该论文表明这些概念是基于神经元的,而发射神经元是概念实例。因此,特征成为互联神经系统的静态框架,概念是这些的组合,由外部刺激和神经关联决定。除了这个统计模型,还可以为神经元本身提出简化设计,但基于它可以改变其输入和输出信号的想法。一些测试结果也有助于支持该理论。
translated by 谷歌翻译
报道了一种新颖的中心线提取框架,其结合了端到端可训练的多任务完全卷积网络(FCN)和最小路径提取器。 FCN同时计算中心线距离图并检测分支端点。该方法生成没有伪分支的单像素宽中心线。它处理任意树形结构对象,没有关于树的深度或其分叉模式的先验假设。它对于目标对象的不同部分的大量尺度变化以及对象的分割掩模的微小缺陷也是稳健的。据我们所知,这是第一个基于深度学习的中心线提取方法,其保证了单像素宽的中心线。 Complextree结构对象。所提出的方法在620名患者(其中400名用作测试集)的数据集上的冠状动脉中心线提取中得到验证。由于大量冠状动脉支管,分支弯曲度以及长度,厚度,形状等的大的变化,因此该应用具有挑战性。所提出的方法产生定位良好的中心线,显示较少数量的缺失分支,并且在存在对象分割掩模的微小缺陷的情况下更加稳健。根据独立的人工专家评论,与最先进的传统最小路径方法相比,我们的方法将患者级中心线提取的成功率从54.3%提高到88.8%。
translated by 谷歌翻译
本文描述了神经网络,一个用于神经网络和深度学习的并行Fortran框架。它具有简单的界面,可构建任意结构和大小的前馈神经网络,severalactivation函数和随机梯度下降作为默认优化算法。 Neural-fortran还利用Fortran 2018标准集合子程序在共享或分布式内存机器上实现基于数据的并行性。首先,我描述了使用Fortran派生类型,全数组算法和集体命令广播操作实现神经网络以实现并行性。其次,我在一个从图像中识别手写数字的例子中演示了使用neur-fortran。最后,我评估了串行和并行模式的计算性能。易用性和计算性能类似于现有的流行机器学习框架,使得神经堡垒成为进一步开发和用于生产的可行候选者。
translated by 谷歌翻译
我们展示了AMOS Patches,一组大量的图像切口,主要用于将可训练的局部特征描述符强化为照明和外观变化。有助于AMOS补丁的图像源自大量户外网络摄像头录制的AMOS数据集。描述了用于生成AMOS补丁的半自动方法。它包括摄像机选择,视点聚类和补丁选择。 Fortraining,我们提供注册的完整源图像以及补丁。引入了一个新的描述符,该描述符是在AMOS补丁和6Brown数据集上训练的。它在标准基准的照明变化下实现了最先进的匹配。
translated by 谷歌翻译
我们展示了梯度下降和MM算法的紧密收敛速度界限,用于广义Bradley-Terrymodel的流行贝叶斯推断方法的最大似然估计和最大后验概率估计。这类模型包括配对比较的Bradley-Terry模型,配对比较的Rao-Kupper模型,Lucechoice模型和Plackett-Luce排名模型。我们的结果表明,MM算法具有与梯度下降算法相同的收敛速度。对于最大似然估计,收敛是线性的,其速率主要由观察到的比较数据中项目对共现矩阵的代数连通性决定。对于贝叶斯推断,收敛速度也是线性的,速率由先验分布的参数确定,其方式可以使该参数的小值的收敛任意慢。我们提出了简单的一阶加速方法来解决缓慢的收敛问题。
translated by 谷歌翻译
在过去十年中,DBpedia社区已经投入大量精力开发技术基础设施和方法,以便从维基百科中有效地提取结构化信息。这些努力主要集中在收集,改进和发布维基百科文章中的半结构信息,例如来自信息框,分类信息,图像,wikilink和引用的信息。尽管如此,非结构化维基百科文章中仍然包含大量有价值的信息。在本文中,我们提出了DBpedia NIF - 一个大规模和多语言的知识提取语料库。数据集的目标是双重的:大大拓宽和深化DBpedia中的结构信息量,并为各种NLP和IR任务的开发提供大规模和多语言的语言资源。该数据集提供了128种维基百科语言的所有文章的内容。我们描述了数据集创建过程和NLP交换格式(NIF),用于对维基百科文章的内容,链接和结构进行建模。 Thedataset进一步丰富了大约25%的链接和选定的分区作为关联数据发布。最后,我们描述维护和可持续性计划,以及从TextExtknowledge提取挑战中选择数据集的用例。
translated by 谷歌翻译
我们介绍了变分滤波EM算法,这是一种简单,通用的方法,用于使用仅来自过去和现在变量的信息(即滤波)在动态潜变量模型中执行变分推理。该算法源自过滤设置中的变分目标,并由每个时间步的优化过程组成。通过迭代摊销推理模型执行每个推理优化过程,我们获得了算法的计算有效实现,我们称之为摊销变分过滤。我们通过实验证明这种通用方法可以改善几个深动力潜变量模型的性能。
translated by 谷歌翻译
生成释义,即传达相同含义的句子的不同变体,是NLP中一项重要且具有挑战性的任务。自动生成释义在许多NLP任务中具有实用性,例如问答,信息检索,会话系统等等。在本文中,我们引入了基于VAE的生成框架中生成的释义的迭代细化。当前的序列生成模型缺乏能够(1)在生成句子后进行改进; (2)解码时产生的整流器。我们提出了一种使用多个解码器迭代地改进输出的技术,每个解码器都参与由前一个解码器生成的输出语句。我们显着改善了当前的现有技术水平 - 分别在QUora问题对和MSCOCO数据集上的METEOR得分绝对增加超过9%和28%。我们还通过实例定性地展示了我们的重新解码方法通过纠正错误并在复述结构中进行改进,引入变化并引入新的语义相干信息,与单个解码器相比产生更好的相似性。
translated by 谷歌翻译
虽然深度代表性学习越来越能够从数据中的其他混淆因素中分离任务相关的表示,但仍然存在两个重大挑战。首先,在数据中通常存在未知的和潜在无限数量的混杂因素。其次,并非所有这些因素都是容易观察到的。在本文中,我们提出了一个深层的条件生成模型,该模型学会将来自未知数量的混杂因素的atask相关表示解开,这些因素可能无限增长。这是通过将深度生成模型的表征能力与贝叶斯非参数因子模型结合来实现的,其中无监督确定性编码器学习任务相关表示,而具有印度自助过程(IBP)的概率编码器学习未知数量的不可观察的混杂因子。我们在两个数据集中测试了所呈现的模型:用彩色数字增加的手写数字数据集(MNIST)和具有显着的主体间变化并且具有信号伪影的临床ECG数据集。这些不同的数据集突出了所呈现的模型随着数据的复杂性而增长的可能性,并且识别出未观察到的混淆因素的存在或存在。
translated by 谷歌翻译