由于难以计算的逻辑似然梯度,训练受限制的Boltzmann机器(RBMS)一直挑战很长一段时间。在过去的几十年中,许多作品已经提出了更多或更少成功的培训食谱,但没有研究问题的关键数量:混合时间,即从模型中采样新配置所需的蒙特卡罗迭代的数量。在这项工作中,我们表明,这种混合时间在训练模型的动态和稳定性中起着至关重要的作用,并且RBMS在两个明确定义的制度中运行,即均衡和均衡,具体取决于这之间的相互作用模型的混合时间和步骤数量,$ k $,用于近似梯度。我们进一步展示了这种混合时间随着学习而增加,这通常会在k $大于这段时间时,通常意味着从一个制度到另一个的过渡。特别是,我们表明,使用流行的$ k $(持久性)对比发散方法,以k $小,学习模型的动态非常慢,往往是强烈的均衡效果。相反,RBMS在平衡显示器上培训更快,动态更快,以及在采样期间对数据集配置的平滑收敛性。最后,我们讨论如何在实践中利用这两个制度,这取决于任务一项目标符合履行:(i)缩短的$ k $可用于在短时间学习时生成令人信服的样本,(ii)大量$ k $(或越来越大)需要学习RBM的正确均衡分布。最后,这两个运营制度的存在似乎是通过似然最大化训练的基于能量模型的一般性。
translated by 谷歌翻译
受限的玻尔兹曼机器(RBMS)提供了一种用于无监督的机器学习的多功能体系结构,原则上可以以任意准确性近似任何目标概率分布。但是,RBM模型通常由于其计算复杂性而无法直接访问,并调用了Markov-Chain采样以分析学习概率分布。因此,对于培训和最终应用,希望拥有既准确又有效的采样器。我们强调,这两个目标通常相互竞争,无法同时实现。更具体地说,我们确定并定量地表征了RBM学习的三个制度:独立学习,精度提高而不会失去效率;相关学习,较高的精度需要较低的效率;和退化,精度和效率都不再改善甚至恶化。这些发现基于数值实验和启发式论点。
translated by 谷歌翻译
无监督的机器学习的目的是删除复杂的高维数据的表示形式,从而解释数据中的重要潜在因素以及操纵它们以生成具有理想功能的新数据。这些方法通常依赖于对抗方案,在该方案中,对代表进行调整以避免歧视者能够重建特定的数据信息(标签)。我们提出了一种简单,有效的方法,即在无需培训对抗歧视器的情况下解开表示形式,并将我们的方法应用于受限的玻尔兹曼机器(RBM),这是最简单的基于代表的生成模型之一。我们的方法依赖于在训练过程中引入对权重的足够约束,这使我们能够将有关标签的信息集中在一小部分潜在变量上。该方法的有效性在MNIST数据集,二维ISING模型和蛋白质家族的分类法上说明了。此外,我们还展示了我们的框架如何从数据的对数模型中计算成本,与其表示形式的删除相关。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识,以在自己的项目中使用机器学习,并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中,我们讨论受监督,无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始,例如原理分析,T-SNE,聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构,例如密集的进料和常规神经网络,经常性的神经网络,受限的玻尔兹曼机器,(变性)自动编码器,生成的对抗性网络。讨论了潜在空间表示的解释性问题,并使用梦和对抗性攻击的例子。最后一部分致力于加强学习,我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
我们开发了一种多尺度方法,以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式,我们可以估计能量功能(或哈密顿量),并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组(WC-RG) - 按比例进行估算,以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的,并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和,并可以通过从粗尺度到细度来有效地生成新样品。近相变,它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点,并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明,多尺度WC-RG基于能量的模型比局部电位模型更通用,并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的,其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用,其中未知基础分布{\ it先验}。最后,我们讨论了WC-RG和深层网络体系结构之间的联系。
translated by 谷歌翻译
The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.
translated by 谷歌翻译
Perturb-and-MAP offers an elegant approach to approximately sample from an energy-based model (EBM) by computing the maximum-a-posteriori (MAP) configuration of a perturbed version of the model. Sampling in turn enables learning. However, this line of research has been hindered by the general intractability of the MAP computation. Very few works venture outside tractable models, and when they do, they use linear programming approaches, which as we show, have several limitations. In this work, we present perturb-and-max-product (PMP), a parallel and scalable mechanism for sampling and learning in discrete EBMs. Models can be arbitrary as long as they are built using tractable factors. We show that (a) for Ising models, PMP is orders of magnitude faster than Gibbs and Gibbs-with-Gradients (GWG) at learning and generating samples of similar or better quality; (b) PMP is able to learn and sample from RBMs; (c) in a large, entangled graphical model in which Gibbs and GWG fail to mix, PMP succeeds.Preprint. Under review.
translated by 谷歌翻译
我们提供了对神经马尔可夫链蒙特卡罗模拟中的自相关的深度研究,该版本的传统大都会算法采用神经网络来提供独立的建议。我们使用二维ising模型说明了我们的想法。我们提出了几次自相关时间的估算,其中一些灵感来自于为大都市独立采样器导出的分析结果,我们将其与逆温度$ \ Beta $的函数进行比较和研究。基于我们提出替代损失功能,并研究其对自动系列的影响。此外,我们调查对自动相关时间的神经网络培训过程中强加系统对称($ Z_2 $和/或翻译)的影响。最终,我们提出了一种包含局部热浴更新的方案。讨论了上述增强功能的影响为16美元16美元旋转系统。我们的调查结果摘要可以作为实施更复杂模型的神经马尔可夫链蒙特卡罗模拟的指导。
translated by 谷歌翻译
在神经网络的文献中,Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序(即仅经历过一次形成突触矩阵的确定模式)。但是,机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力(例如,由这些原型的模糊示例制成),以制作自己的不可用原型的代表。在这里,给定一个示例示例,我们定义了一个有监督的学习协议,通过该协议可以通过该协议来推断原型,并检测到正确的控制参数(包括数据集的大小和质量)以描绘系统性能的相图。我们还证明,对于无结构数据集,配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器,这表明了最佳且可解释的培训例程。最后,这种方法被推广到结构化的数据集:我们在分析的数据集中突出显示了一个准剥离组织(让人联想到复制对称性 - 对称性),因此,我们为其(部分)分开,为其(部分)删除层引入了一个附加的“复制性隐藏层”,该证明可以将MNIST分类从75%提高到95%,并提供有关深度体系结构的新观点。
translated by 谷歌翻译
优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现,导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量,并探索配置空间的其他看不见的区域。在这里,我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗(NMC)算法,可以有效地学习成本函数的关键实例的几何特征。该信息随行使用,以构造空间不均匀的热波动,用于以各种长度尺度集体未填充变量,规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题:随机k可满足(K-SAT)附近计算阶段转换和二次分配问题(QAP)。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是,对于90%的随机4-SAT实例,我们发现了最佳专用确定性算法无法访问的解决方案,该算法(SP)具有最强的10%实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器(APT)显示出在最先进的通用随机求解器(APT)上的时间到溶液的两个数量级改善。
translated by 谷歌翻译
在随机抽样方法中,马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中,我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明,偏离目标稳态分布的偏差特征是定位过渡的函数,这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差,而误差是通过不完整的收敛引入的,并区分了两个方案,其中弛豫机制分别受扩散和排斥分别受到限制。
translated by 谷歌翻译
基于采样的推理技术是现代宇宙学数据分析的核心;然而,这些方法与维度不良,通常需要近似或顽固的可能性。在本文中,我们描述了截短的边际神经比率估计(TMNRE)(即所谓的基于模拟的推断的新方法)自然避免了这些问题,提高了$(i)$效率,$(ii)$可扩展性和$ (iii)推断后的后续后续的可信度。使用宇宙微波背景(CMB)的测量,我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗(MCMC)方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是,所需数量的样本有效地独立于滋扰参数的数量。此外,称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具,特别是在扩展宇宙学的背景下,其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算,我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。
translated by 谷歌翻译
标准化流量是一类深生成模型,比传统的蒙特卡洛模拟更有效地为晶格场理论提供了有希望的途径。在这项工作中,我们表明,随机归一化流的理论框架,其中神经网络层与蒙特卡洛更新结合在一起,与基于jarzynski平等的不平衡模拟的基础相同,这些模拟最近已被部署以计算计算晶格计理论的自由能差异。我们制定了一种策略,以优化这种扩展类别的生成模型的效率和应用程序的示例。
translated by 谷歌翻译
在一系列软物质系统中广泛观察到玻璃过渡。但是,尽管有多年的研究,这些转变的物理机制仍然未知。特别是,一个重要的未解决的问题是玻璃转变是否伴随着特征静态结构的相关长度的分歧。最近,提出了一种可以从纯精度的纯静态信息中预测长期动态的方法。但是,即使是这种方法也不通用,并且对于KOB(Andersen系统)而言,这是典型的玻璃形成液体模型。在这项研究中,我们开发了一种使用机器学习或尤其是卷积神经网络提取眼镜的特征结构的方法。特别是,我们通过量化网络做出的决策的理由来提取特征结构。我们考虑了两个质量不同的玻璃形成二进制系统,并通过与几个既定结构指标进行比较,我们证明我们的系统可以识别依赖于系统细节的特征结构。令人惊讶的是,提取的结构与热波动中的非平衡衰老动力学密切相关。
translated by 谷歌翻译
我们研究了重整化组(RG)和深神经网络之间的类比,其中随后的神经元层类似于沿RG的连续步骤。特别地,我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散,以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面,单调增加证实了相对熵和C定理之间的连接。对于神经网络,渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外,虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点,但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲,需要更精细的探针以充分阐明这些模型中的信息流。
translated by 谷歌翻译
我们考虑受限制的Boltzmann机器(RBMS)在非结构化的数据集上培训,由虚构的数据集进行,该数据集由明确的模糊但不可用的“原型”,我们表明,RBM可以学习原型的临界样本大小,即机器可以成功播放作为一种生成模型或作为分类器,根据操作程序。通常,评估关键的样本大小(可能与数据集的质量相关)仍然是机器学习中的一个开放问题。在这里,限制随机理论,其中浅网络就足够了,大母细胞场景是正确的,我们利用RBM和Hopfield网络之间的正式等价,以获得突出区域中突出区域的神经架构的相图控制参数(即,原型的数量,训练集的训练集的神经元数量,大小和质量的数量),其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的,结果通过广泛的蒙特卡罗模拟进一步证实。
translated by 谷歌翻译
了解极端事件及其可能性是研究气候变化影响,风险评估,适应和保护生物的关键。在这项工作中,我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络,对极长的8,000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的,因此我们强调概率预测和验证。我们证明,深度神经网络适用于法国持续持续14天的热浪,快速动态驱动器提前15天(500 hpa地球电位高度场),并且在慢速较长的交货时间内,慢速物理时间驱动器(土壤水分)。该方法很容易实现和通用。我们发现,深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现,当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时,2米温度场不包含任何新的有用统计信息。主要的科学信息是,训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点,例如罕见的事件模拟,以及转移学习如何在后一种任务中发挥作用。
translated by 谷歌翻译
我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比,这种方法具有优点:神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法,并将其应用于横向场介绍模型,在中等系统尺寸下显示出良好的性能($ n \ LEQ 10 $)。系统的普遍开心研究表明,较大系统尺寸的可扩展性主要取决于样品质量,该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数,大约为50美元的隐藏神经元,足以表示关键地位,最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步,以解决量子数量问题中的维数诅咒。
translated by 谷歌翻译
我们正式地用密度$ p_x $中的未知分发问题映射了从$ \ mathbb {r} ^ d $上学习和采样$ p_ \ mathbf {y} $ in $ \ mathbb {r} ^ {使用固定因子内核将$ P_X $获得的MD} $获取:$ p_ \ mathbf {y} $被称为m密度和因子内核作为多索静音噪声模型(MNM)。 m-litess比$ p_x $更顺畅,更容易学习和示例,但对于大量的$ m $来说,由于估计$ x $来估计$ \ mathbf {y} = \ mathbf {y $使用贝叶斯估算器$ \ widehat {x}(\ mathbf {y})= \ mathbb {e} [x \ vert \ mathbf {y} = \ mathbf {y}。为了制定问题,我们从无通知$ P_ \ MATHBF {Y} $以封闭式表达以封闭式表示的泊松和高斯MNMS获得$ \ widehat {x}(\ mathbf {y})$。这导致了用于学习参数能量和得分功能的简单最小二乘目标。我们展示了各种兴趣的参数化方案,包括研究高斯M密度直接导致多营养的自动化器 - 这是在文献中的去噪自动化器和经验贝叶斯之间进行的第一个理论连接。来自$ P_X $的示例由步行跳转采样(Saremi&Hyvarinen,2019)通过欠款Langevin MCMC(Walk)从$ P_ \ Mathbf {Y} $和Multimeasurement Bayes估算$ x $(跳转)。我们研究Mnist,CiFar-10和FFHQ-256数据集上的置换不变高斯M密度,并证明了该框架的有效性,以实现高尺寸的快速混合稳定的马尔可夫链。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一,在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中,目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及,所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里,我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式,但是推理方法阐述了精确的生成模型,并尝试将其符合数据。通过这种方式,他们能够为网络形成机制提供见解,并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案,因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致,产生更强大的结果,并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时,努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译