学习解开的表示被认为是代表性学习的基石问题。最近,Locatello等人。 (2019)证明,在没有归纳偏差的情况下,无监督的解缠结构学习在理论上是不可能的,并且现有的归纳偏差和无监督方法不允许一致地学习解缠结的表示。但是,在许多实际设置中,人们可能可以访问非常有限的监视,例如通过手动标记训练示例。在本文中,我们研究了这种监督对现有技术纠正方法的影响,并进行了大规模的研究,在明确和可重复的实验条件下培训了29000多个模型。我们首先认为,非常有限数量的标记示例(数据集的0.01-0.5%)足以在最先进的无监督模型上执行模型选择。然而,如果一个人可以获得监督模型选择的标签,那么就会提出一个自然的问题,即它们是否也应该纳入培训过程。作为案例研究,我们测试了将(非常有限的)监督引入现有的最先进的无监督纠正方法的好处,这些方法利用了标签的值和可以从中推导出的标准信息。总的来说,我们通过非常少且可能不精确的监督来经验性地验证,可以可靠地学习解开的表示。
translated by 谷歌翻译
深度生成模型正在成为现代机器学习的基石。对条件生成对抗网络的近期研究表明,在自然图像上学习复杂的高维分布是在范围内。虽然最新型号能够以高分辨率生成高保真,多样化的图像,但它们依赖于大量的标记数据。在这项工作中,我们展示了如何从最近的自我和半监督学习的工作中受益,以便在无监督的ImageNet综合以及条件设置中超越最先进的技术(SOTA)。特别地,所提出的方法能够使用当前最先进的条件模型BigGAN onImageNet上的样本质量(由FID测量)仅使用10%的标签并且使用20%的标签超过它。
translated by 谷歌翻译
在很少或没有监督的情况下学习有用的表示是人工智能的关键挑战。我们提供了对表示学习中近期进展的深入回顾,重点是基于自动编码器的模型。为了组织这些结果,我们利用了对下游任务有用的元先验,例如解开和特征的层次组织。特别是,我们发现了强制执行此类属性的三种主要机制,即(i)规范(近似或汇总)后向分布,(ii)分解编码和解码分布,或(iii)引入结构化先验分布。虽然有一些有希望的结果,但隐性或显性监督仍然是关键推动因素,所有当前方法都使用强诱导偏差和建模假设。最后,我们通过速率 - 失真理论的分析提供了基于自动编码器的表示学习的分析,并确定了关于下游任务的现有知识量之间的明确权衡,以及该任务对于该任务的有用性。
translated by 谷歌翻译
生成建模的最新进展已导致对统计差异研究的兴趣增加,作为模型比较的手段。常用的评估方法,例如Frechet初始距离(FID),与样本的感知质量很好地相关,并且对模式敏感敏感。但是,这些指标无法区分不同的失败案例,因为它们只会产生一维分数。我们提出了一种新的精确度定义和对分布的回忆,它将散射分成两个独立的维度。所提出的概念是直观的,保留了期望的特性,并且自然地导致可以用于评估生成模型的有效算法。我们将此概念与总变量以及最近的评估指标(如初始分数和FID)联系起来。为了证明所提方法的实际效用,我们对生成性对抗网络和变分自动编码器的几种变体进行了实证研究。在一组广泛的实验中,我们表明所提出的度量能够从目标分布的覆盖范围中解开生成的样本的质量。
translated by 谷歌翻译
利用观测到的流体压力和速率的瞬态数据来校准储层模型是获得地球地下流动和运移行为的预测模型的关键任务。模型校准任务,通常称为“历史匹配”,可以形式化为不适定的反问题,其中我们的目标是找到解释观察到的动态数据的岩石物理特性的基础空间分布。我们使用在地质统计学基于对象的模型上预训练的年龄对抗网络来表示烃类储层合成模型的岩石属性分布。使用瞬态两相不可压缩达西公式来模拟储层流体的动态行为。通过首先使用预先训练的生成模型对属性分布进行建模,然后使用前向问题的相邻方程对控制生成模型输出的潜变量进行梯度下降,对基础储层性质进行转换。除了动态观测数据外,我们还通过引入额外的目标函数来包括岩石类型的约束。我们的贡献表明,对于一个综合测试案例,我们能够通过优化深度生成模型的潜变量空间来获得逆问题的解,给出一组非线性前向问题的瞬态观察。
translated by 谷歌翻译
许多计算机模型如细胞自动机已经开发并成功应用。但是,在某些情况下,这些模型可能会限制可能的解决方案,或者难以解释其解决方案。为了解决这个问题,我们概述了一种方法,即所谓的神圣方法,它自动创建和编程模型,尽可能少的限制,但仍然保持人类的可解释性。我们之前根据结构(空间维度)和操作(时间维度)的哲学概念描述了ameta模型及其构建块。它们是实体,环境和更新功能,它们共同抽象地描述了主题模型。通过自动组合这些构建块,可以在进化计算中创建新模型。我们提出了通用和面向对象的编程来实现实体及其环境作为动态和通用数组以及更新函数作为方法。我们展示了两个实验,其中自动创建和编程了简单的元胞自动机和人工神经网络。目标状态分别在细胞自动机和人工神经网络中成功进化并学习。我们得出结论,相对论的方法可以自动化的方式创建和编程自动机和人工神经网络模型。
translated by 谷歌翻译
本文提出了一种基于SPD流形学习的基于forskeleton的手势识别神经网络。鉴于手的关节位置流,我们的方法分别在空间和时间域上组合了两个聚合过程。我们的网络架构的管道包括三个主要阶段。第一阶段基于卷积层,以增加学习特征的判别力。第二阶段依赖于关节特征的空间和时间高斯聚合的不同架构。第三阶段从骨架数据中学习最终的SPD矩阵。基于Stiefel流形上的随机梯度下降的变体,针对第三阶段提出了新类型的层。建议的网络在两个具有挑战性的数据集上得到验证,并在两个数据集上显示出最先进的精度。
translated by 谷歌翻译
我们介绍ARCHANGEL;一种新颖的分布式分类帐系统,用于确保数字视频档案的长期完整性。首先,我们描述了一种新的深度网络架构,用于计算持续时间为几分钟或几小时的视听流中的紧凑时间内容哈希(TCH)。我们的TCH对意外或恶意内容修改(篡改)敏感,但不适用于用于编码视频的编解码器。这是必要的,因为档案馆要求随着时间的推移格式化移动视频以确保无缝可访问性。其次,我们描述了TCH(以及用于驱动它们的模型)是如何通过分布在多个独立档案中的权威证明区块链来保护的。我们报告了ARCHANGEL在英国,爱沙尼亚和挪威的国家政府档案参与的试验部署背景下的功效。
translated by 谷歌翻译
在过去两年中,超过30篇论文提出使用卷积神经网络(CNN)进行AD分类。但是,各研究的分类表现难以比较。此外,这些研究几乎不可复制,因为它们的框架不能公开获取。最后,由于不充分或不明确的验证程序,这些论文中的一些可能报告有偏差的性能,并且还不清楚如何选择模式结构和参数。在目前的工作中,我们的目标是通过三个主要贡献来增加这些局限性。首先,我们对使用CNN进行AD分类fromanatomical MRI的研究进行了系统性文献综述。我们确定了四种主要类型的方法:2D切片级,3Dpatch级,ROI级和3D主题级CNN。此外,我们发现,超过一半的被调查论文可能遭受数据泄漏,因此报告了偏见的表现。我们的第二个贡献是用于AD分类的开源框架。第三,我们使用这个框架,比较了不同的CNN架构,它们代表了现有的文献,并研究了关键部件对分类性能的影响。在验证集上,与其他方法相比,基于ROI的(海马)CNN实现了最高的平衡准确度(AD对CN为0.86,sMCI vspMCI为0.80)。使用自动编码器预训练进行的传递学习并没有提高平均准确度,但却降低了方差。使用纵向数据进行训练导致相似或更高的性能,这取决于方法,与仅使用基线数据的训练相比。复杂的图像预处理没有改善结果。最后,CNN执行类似于任务AD与CN的标准SVM,但优于SVM fortask sMCI vs pMCI,证明了深度学习对于具有挑战性的诊断任务的潜力。
translated by 谷歌翻译
始终如一地检查实验结果的统计显着性是迈向可重复科学的第一个必要步骤。本文介绍了ahitchhiker严格比较强化学习算法的指南。在介绍了统计检验的概念之后,我们回顾了相关的统计检验,并根据样本量(种子数量)和效应大小的假阳性率和统计力进行了实证比较。我们进一步研究这些测试对最常见假设(正态分布,相同分布,等方差)的违反的鲁棒性。除了模拟之外,我们还比较了在Half-Cheetah上运行Soft-Actor Critic和Twin-Delayed DeepDeterministic Policy Gradient所获得的经验分布。最后,我们提供了指南和代码,以对RL算法性能进行严格的比较。
translated by 谷歌翻译