标签分布学习（LDL）的概念是一种通过模棱两可和/或不平衡标签稳定分类和回归问题的技术。LDL的原型用例是基于轮廓图像的人类年龄估计。关于这个回归问题，已经开发了一种所谓的深标签分布学习（DLDL）方法。主要思想是标签分布的联合回归及其期望值。但是，原始的DLDL方法使用具有不同数学动机的损耗组件，因此是不同的量表，这就是为什么必须使用超参数的原因。在这项工作中，我们引入了DLDL的损失函数，其组件由Kullback-Leibler（KL）差异完全定义，因此，无需其他超参数而直接可与彼此相提并论。它概括了DLDL关于进一步用例的概念，特别是对于多维或多规模的分配学习任务。

使用卷积神经网络，面部属性（例如，年龄和吸引力）估算性能得到了大大提高。然而，现有方法在培训目标和评估度量之间存在不一致，因此它们可能是次优。此外，这些方法始终采用具有大量参数的图像分类或面部识别模型，其携带昂贵的计算成本和存储开销。在本文中，我们首先分析了两种最新方法（排名CNN和DLDL）之间的基本关系，并表明排名方法实际上是隐含的学习标签分布。因此，该结果首先将两个现有的最新方法统一到DLDL框架中。其次，为了减轻不一致和降低资源消耗，我们设计了一种轻量级网络架构，并提出了一个统一的框架，可以共同学习面部属性分发和回归属性值。在面部年龄和吸引力估算任务中都证明了我们的方法的有效性。我们的方法使用单一模型实现新的最先进的结果，使用36美元\倍，参数减少3美元，在面部年龄/吸引力估算上的推动速度为3美元。此外，即使参数的数量进一步降低到0.9m（3.8MB磁盘存储），我们的方法也可以实现与最先进的结果。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

继承是一种确定性算法，用于生成可以被视为满足输入时刻条件的随机样本的数据点。该算法基于高维动力系统的复杂行为，并由统计推断的最大熵原理的启发。在本文中，我们提出了埃尔特联算法的延伸，称为熵放牧，它产生一系列分布而不是点。熵放映是从最大熵原理获得的目标函数的优化。使用所提出的熵放牧算法作为框架，我们讨论了勃起与最大熵原理之间的更近的联系。具体而言，我们将原始的掠过算法解释为熵牧群的易缩放版，其理想的输出分布在数学上表示。我们进一步讨论了掠过算法的复杂行为如何有助于优化。我们认为，所提出的熵扩建算法扩展了爬行到概率建模的应用。与原来的放牧相比，熵放牧可以产生平滑的分布，使得两个有效的概率密度计算和样本产生都变得可能。为了证明这些研究中这些论点的可行性，进行了数值实验，包括合成和实际数据的与其他常规方法的比较。

通过Perspective-N点（PNP）从单个RGB图像找到3D对象是计算机视觉中的长期问题。在端到端的深度学习的驱动下，最近的研究表明将PNP解释为一个可区分的层，因此可以通过反向传播梯度W.R.T.可以部分学习2d-3d点对应。对象姿势。然而，由于确定性姿势本质上是非差异的，因此学习整个不受限制的2D-3D点无法与现有方法融合。在本文中，我们提出了EPRO-PNP，这是用于一般端到端姿势估计的概率PNP层，该阶段估计输出了SE（3）歧管上的姿势分布，从本质上讲，将分类软效量带到连续域。 2d-3d坐标和相应的权重被视为通过最大程度地减少预测姿势分布和目标姿势分布之间的KL差异来学习的中间变量。基本原则统一了现有方法并类似于注意机制。 EPRO-PNP显着胜过竞争基线，缩小基于PNP的方法与LineMod 6DOF姿势估计和NUSCENES 3D对象检测基准的差距。

标准化流是可易处理的密度模型，可以近似复杂的目标分布，例如物理系统的玻尔兹曼分布。但是，当前的训练流量要么具有寻求模式的行为，要么使用昂贵的MCMC模拟事先生成的目标样本，要么使用具有很高差异的随机损失。为了避免这些问题，我们以退火重要性采样（AIS）增强流量，并最大程度地减少覆盖$ \ alpha $ -divergence的质量，并使用$ \ alpha = 2 $，从而最大程度地减少了重要性的重量差异。我们的方法是流动性Bootstrap（Fab），使用AIS在流动较差的目标区域中生成样品，从而促进了新模式的发现。我们以AIS的最小差异分布来定位，以通过重要性抽样来估计$ \ alpha $ -Divergence。我们还使用优先的缓冲区来存储和重复使用AIS样本。这两个功能显着提高了Fab的性能。我们将FAB应用于复杂的多模式目标，并表明我们可以在以前的方法失败的情况下非常准确地近似它们。据我们所知，我们是第一个仅使用非均衡目标密度学习丙氨酸二肽分子的玻璃体分布，而无需通过分子动力学（MD）模拟生成的样品：FAB与通过最大可能性训练更好的效果，而不是通过最大可能性产生的结果。在MD样品上使用100倍的目标评估。在重新获得重要权重的样品后，我们获得了与地面真相几乎相同的二面角的无偏直方图。

We propose a simultaneous learning and pruning algorithm capable of identifying and eliminating irrelevant structures in a neural network during the early stages of training. Thus, the computational cost of subsequent training iterations, besides that of inference, is considerably reduced. Our method, based on variational inference principles using Gaussian scale mixture priors on neural network weights, learns the variational posterior distribution of Bernoulli random variables multiplying the units/filters similarly to adaptive dropout. Our algorithm, ensures that the Bernoulli parameters practically converge to either 0 or 1, establishing a deterministic final network. We analytically derive a novel hyper-prior distribution over the prior parameters that is crucial for their optimal selection and leads to consistent pruning levels and prediction accuracy regardless of weight initialization or the size of the starting network. We prove the convergence properties of our algorithm establishing theoretical and practical pruning conditions. We evaluate the proposed algorithm on the MNIST and CIFAR-10 data sets and the commonly used fully connected and convolutional LeNet and VGG16 architectures. The simulations show that our method achieves pruning levels on par with state-of the-art methods for structured pruning, while maintaining better test-accuracy and more importantly in a manner robust with respect to network initialization and initial size.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

本文介绍了一种基于Krnet（ADDA-KR）的自适应深度近似策略，用于求解稳态Fokker-Planck（F-P）方程。 F-P方程通常是高维度和在无限域上定义的，这限制了基于传统网格的数值方法的应用。通过Knothe-Rosenblatt重新排列，我们的新提出的基于流的生成模型称为KrNet，提供了一种概率密度函数的家族，以作为Fokker-Planck方程的有效解决方案候选者，这与传统的计算方法较弱的维度依赖性较弱并且可以有效地估计一般的高维密度函数。为了获得用于F-P方程的近似的有效随机搭配点，我们开发了一种自适应采样过程，其中使用每次迭代的近似密度函数来迭代地生成样本。我们介绍了ADDA-KR的一般框架，验证了其准确性并通过数值实验展示了其效率。

神经网络（深度学习）是人工智能中的现代模型，并且在生存分析中已被利用。尽管以前的作品已经显示出一些改进，但培训出色的深度学习模型需要大量数据，这在实践中可能不存在。为了应对这一挑战，我们开发了一个基于Kullback-Leibler（KL）深度学习程序，以将外部生存预测模型与新收集的活动时间数据整合在一起。时间依赖性的KL歧视信息用于衡量外部数据和内部数据之间的差异。这是考虑使用先前信息来处理深度学习生存分析中的简短数据问题的第一项工作。仿真和实际数据结果表明，与以前的工作相比，所提出的模型可实现更好的性能和更高的鲁棒性。

评估图像美学是一项具有挑战性的计算机视觉任务。原因之一是美学偏好是高度主观的，并且在某些图像中可能会有很大的不同。因此，重要的是要正确建模和量化此类\ textit {主观性}，但是解决此问题并没有太多努力。在本文中，我们提出了一个新型的统一概率框架，可以根据主观逻辑对主观美学偏好进行建模和量化。在此框架中，评级分配被建模为Beta分布，从中，绝对令人愉悦，绝对令人不快和不确定的概率可以得到。我们使用不确定的概率来定义主观性的直观指标。此外，我们提出了一种学习深度神经网络以预测图像美学的方法，该方法被证明可以有效地通过实验改善主观性预测的性能。我们还提出了一个应用程序方案，该方案对基于美学的图像建议有益。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

由于不同的人对他人的情感表达方式有所不同，因此他们在唤醒和价值方面的注释本身是主观的。为了解决这个问题，这些情绪注释通常由多个注释者收集，并在注释者之间平均，以获取唤醒和价值的标签。但是，除了平均水平外，标签的不确定性也令人感兴趣，还应对自动情绪识别进行建模和预测。在文献中，为简单起见，标签不确定性建模通常以高斯对收集的注释的假设进行处理。但是，由于注释者的数量通常由于资源限制而相当小，因此我们认为高斯方法是一个相当粗略的假设。相比之下，在这项工作中，我们建议使用学生的T分布来对标签分布进行建模，这使我们可以考虑可用的注释数量。使用此模型，我们将基于相应的Kullback-Leibler差异函数得出相应的损失函数，并使用它来训练估计器以分布情绪标签，从中可以推断出平均值和不确定性。通过定性和定量分析，我们显示了T分布比高斯分布的好处。我们在AVEC'16数据集上验证了我们提出的方法。结果表明，我们基于T分布的方法对高斯方法进行了改进，而最新的不确定性建模会导致基于语音的情绪识别以及最佳甚至更快的收敛性。

提出了一种称为误差损失网络（ELN）的新型模型，以构建监督学习的误差损失函数。 ELN的结构类似于径向基函数（RBF）神经网络，但其输入是误差样本，输出是与该误差样本相对应的损耗。这意味着ELN的非线性输入输出映射器会创建误差损失函数。拟议的ELN为大量错误损失函数提供了统一模型，其中包括一些信息理论学习（ITL）损失函数作为特殊情况。 ELN的激活函数，权重参数和网络大小可以从误差样本中进行预先确定或学到。在此基础上，我们提出了一个新的机器学习范式，其中学习过程分为两个阶段：首先，使用ELN学习损失函数；其次，使用学习的损失功能继续执行学习。提出了实验结果，以证明新方法的理想性能。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

我们研究了在反倾向得分加权的框架内使用连续处理的观察性因果推断的问题。为了获得稳定的权重，我们设计了一种基于熵平衡的新算法，该算法可以学习权重，以直接使用端到端优化最大化因果推理精度。在优化过程中，这些权重自动调整为使用的特定数据集和正在使用的因果推理算法。我们提供了证明我们方法一致性的理论分析。使用合成和现实世界数据，我们表明我们的算法估计因果效应比基线熵平衡更准确。