我们探索人工神经网络作为从虚构时间格林函数重建光谱函数的工具,这是一个经典条件反问题。我们的ansatz基于有监督的学习框架,其中先验知识在训练数据中被编码,并且逆变换流形通过神经网络被明确地参数化。我们系统地研究了这种新的重建方法,提供了对其在物理动机模拟数据上的表现的详细分析,并将其与已建立的贝叶斯推理方法进行了比较。发现构造精度至少是可比较的,并且特别是在较大的噪声水平下可能是优越的。我们认为,在监督环境中使用标记的训练数据和确定优化目标的自由度是本方法的固有优势,并且可能导致对未来最先进方法的重大改进。进一步研究的潜在方向是详细讨论。
translated by 谷歌翻译
图形神经网络(GNN)有许多种类,但应始终是不变的(输入图的节点的排列不影响输出)或等变的(输入的排列置换输出)。在本文中,我们考虑一类特定的不变和等变网络,为此我们证明了新的普遍性定理。更确切地说,我们考虑具有单个隐藏层的网络,通过对通过应用等变线性算子,点态非线性和不变量等变线性算子形成的通道求和来获得。最近,Maron等人。 (2019)表明,通过网络内部的高阶张量化,可以获得通用不变量GNN。作为第一个贡献,我们提出了这个结果的另一种证明,它依赖于Stone-Weierstrass定理用于实值函数的代数。我们的主要贡献是将这种结果扩展到等效的情况,这种情况出现在许多实际应用中,但从理论的角度来看,研究较少。该证明依赖于一个新的广义Stone-Weierstrass定理,用于等变函数的代数,这是一个独立的兴趣。最后,与考虑固定数量的节点的许多先前设置不同,我们的结果表明,由单个参数集定义的GNN可以均匀地近似在不同大小的图上定义的函数。
translated by 谷歌翻译
在本报告中,我们回顾了基于记忆的元学习作为建筑样本有效策略的工具,该策略从过去的经验中学习以适应目标类中的任何任务。我们的目标是为读者提供此工具的概念基础,以构建在陆域上运行的新的可扩展代理。为此,我们提出了基本的算法模板,用于建立最佳预测器和强化学习器,其行为就好像它们具有允许它们有效地利用任务结构的概率模型。此外,我们在贝叶斯框架内重建基于内存的元学习,显示元学习策略接近最优,因为它们分摊贝叶斯过滤数据,其中适应在内存动态中实现为具有足够统计数据的状态机。从本质上讲,基于记忆的学习 - 学习将概率序贯推理的难题转化为回归问题。
translated by 谷歌翻译
事实证明,半监督学习是利用未标记数据来减轻对大型标记数据集的依赖的有力范例。在这项工作中,我们统一了当前用于半监督学习的主要方法,产生了一种新算法MixMatch,它通过猜测低熵标签来处理数据增强的未标记示例,并使用MixUp混合标记和未标记数据。我们展示了MixMatch通过许多数据集和标记数据量的大数据获得最先进的结果。例如,在具有250个标签的CIFAR-10上,我们将错误率降低了4倍(从38%降至11%),在STL-10上降低了2倍。我们还演示了MixMatch如何帮助实现更好的准确性 - 隐私折衷以实现差异隐私。最后,我们进行了一项消融研究,以分辨出MixMatch的哪些组件对其成功最重要。
translated by 谷歌翻译
许多现实世界的任务表现出丰富的结构,在州空间的不同部分或时间上重复。在这项工作中,我们研究了利用这种重复结构加速和规范学习的可能性。我们从KL正规化的预期奖励目标开始,该目标引入了一个额外的组件,即默认策略。我们不是依赖于固定的默认策略,而是从数据中学习它。但至关重要的是,我们限制默认策略接收的信息量,迫使其学习可重用行为,以帮助策略更快地学习。我们正式化了这一策略,并讨论了与信息瓶颈方法和变分EM算法的联系。我们在离散和连续作用域中提供实证结果,并证明,对于某些任务,在策略旁边学习默认策略可以显着加快和改善学习。
translated by 谷歌翻译
预测视频序列的未来帧是具有挑战性的生成建模任务。有希望的方法包括概率潜变量模型,例如变分自动编码器。虽然VAE可以处理不确定性并模拟多种可能的未来结果,但它们倾向于产生预测。在这项工作中,我们认为这是欠拟合的标志。为了解决这个问题,我们建议增加潜在分布的表现力并使用更高容量的可能性模型。我们的方法依赖于潜在变量的层次结构,它定义了一系列灵活的priorand后验分布,以便更好地模拟未来序列的概率。我们通过一系列消融实验来验证我们的建议,并将我们的方法与当前最先进的潜变量模型进行比较。我们的方法在三个不同的数据集中的几个指标下表现良好。
translated by 谷歌翻译
我们旨在使用医学术语来增强临床名称 - 实体识别(NER)的监督模型的性能。为了用法语评估我们的系统,我们为5种类型的临床建立了一个语料库。我们使用基于术语的系统作为基线,基于UMLS和SNOMED。然后,我们评估了biGRU-CRF,以及使用基于术语的系统的预测作为biGRU-CRF的特征的混合系统。在InEnglish中,我们评估了i2b2-2009药物名称识别药物挑战中的NER系统,其中包含8,573个实体,用于268个文档。在法国,我们建立了APcNER,这是一份包含5个实体(药物名称,标志或症状,疾病或病症,诊断程序或实验室测试和治疗程序)的147个文件的语料库。我们使用针对NER的F-measure的精确和部分匹配定义来评估每个NER系统。 APcNER包含4,837个实体,需要28个小时进行注释,注释器间协议对于完全匹配的药物名称(85%)是可接受的,并且对于非完全匹配的其他实体类型(> 70%)是可接受的。对于i2b2-2009和APcNER的药物名称识别,biGRU-CRF比基于术语的系统表现更好,精确匹配F-测量值分别为91.1%和73%以及81.9%和75%。此外,混合系统的表现优于biGRU-CRF,其非对称F-测量值为92.2%,而91.1%(i2b2-2009)和88.4%对比81.9%(APcNER)。在APcNER语料库中,5个实体上混合系统的微观平均F-度量在精确匹配中为69.5%,在非精确匹配中为84.1%。 APcNER是一个法语语料库,用于五种实体的临床NER,涵盖各种各样的文档类型。扩展监督模型,使用术语轻松获得,特别是在低实体制度中,以及在i2b2-2009语料库中建立的最先进的结果。
translated by 谷歌翻译
近年来,深度学习技术彻底改变了远程感知数据的处理方式。高光谱数据的分类不是规则的例外,但具有内在的特性,这使得深度学习的应用不如其他光学数据那么直接。本文介绍了先前机器学习方法的现有技术,回顾了目前为高光谱分类提出的各种深度学习方法,并确定了为此任务实现深度神经网络所出现的问题和困难。特别地,解决了空间和光谱分辨率,数据量以及从多媒体图像到高光谱数据的模型转移的问题。另外,提供了各种网络体系结构的比较研究,并且公开发布了软件工具箱以允许试验这些方法。 1本文适用于对高光谱数据感兴趣的数据科学家和渴望将深度学习技术应用于他们自己的数据集的遥感专家。
translated by 谷歌翻译
ISUP 2014中规定的Gleason分级是分期前列腺癌的临床标准,也是治疗决策中最重要的部分。然而,分级是主观的并且受到高内部和用户间变化的影响。为了提高分级的一致性和客观性,我们引入了具有基底细胞(WOB)的腺体组织作为基础事实。基底细胞的存在是良性腺体组织最常被接受的生物标志物,并且基底细胞的缺失是前列腺癌的最常见形式的腺泡前列腺癌的强烈指示。通过对腺体组织(细胞角蛋白8/18)和基底细胞(细胞角蛋白5/6 + p63)使用特异性免疫染色,可以目标评估腺体组织为WOB或不评估WOB。更重要的是,WOB允许我们开发半自动数据生成管道,以加速病理学家对整个幻灯片图像进行注释的极其耗时且昂贵的过程。我们用WOB完全注释了295个前列腺切除术图像。然后我们使用了我们的Deep LearningFramework,它在Camelyon17Challenge中获得了$ 2 ^ {nd} $最佳报告分数,用于训练网络以在针吸活检中分割WOB。 63针活检组织模型的评估显示了有希望的结果,通过在118个用WOB注释的活组织检查中对该模型进行微调,在像素级实现F1分数为0.80,精确回忆AUC为0.89,进一步提高了结果。然后,我们将模型的性能与仅由3名病理学家仅使用H \和E染色独立注释的17个活组织检查进行比较。该比较表明该模型与病理学家相提并论。最后,该模型检测并准确地概述了两个活组织检查中的现有WOB区域被三位病理学家完全注释为完全无WOB的活组织检查,并由两位病理学家进行了活检。
translated by 谷歌翻译
自动超参数调整旨在促进非专家的机器学习应用。在文献中,为此目的应用了不同的优化方法。本文研究差分进化的性能,用于调整分类任务的监督学习算法的超参数。该实证研究涉及一系列不同的机器学习算法和具有各种特性的数据集,以比较差分进化与基于序列模型的算法配置(SMAC)(参考贝叶斯优化方法)的性能。结果表明,在调整给定的机器学习算法时,差异演化对大多数数据集执行SMAC - 特别是在以首次报告方式断开关系时。只有最严格的计算预算,SMAC才能表现得更好。在smalldatasets上,差异进化比SMAC高出19%(37%的后续破坏)。在从文献中得到的一系列代表性数据的第二次实验中,差异进化得分比SMAC高出15%(23%的失败率)。
translated by 谷歌翻译