在本文中，我们详细阐述了基于旋转的迭代高斯rbig的扩展，这使图像高斯化成为可能。尽管RBIG已成功应用于许多任务，但它仅限于中等维度数据（按千维数据）。在图像中，其应用程序仅限于小图像贴片或孤立的像素，因为RBIG中的旋转基于主或独立的组件分析，并且这些转换很难学习和扩展。在这里，我们提出\ emph {卷积rbig}：通过强加rbig中的旋转是卷积来减轻此问题的扩展。我们建议通过优化使用转置卷积操作的输入和转换转换的近似反向来学习卷积旋转（即正交卷积）。此外，我们建议在学习这些正规卷积方面不同。例如，激活中施加稀疏性会导致一种转换，该转换将卷积独立的组件分析扩展到多层体系结构。我们还强调了如何从\ emph {卷积rbig}获得数据的统计属性（例如多元互信息）。我们通过简单的纹理合成示例来说明转换的行为，并通过可视化刺激来分析其属性，从而最大程度地提高某些特征和层中的响应。

基于流量的生成模型最近已成为模拟数据生成的最有效方法之一。实际上，它们是由一系列可逆和可触觉转换构建的。Glow首先使用可逆$ 1 \ times 1 $卷积引入了一种简单的生成流。但是，与标准卷积相比，$ 1 \ times 1 $卷积的灵活性有限。在本文中，我们提出了一种新颖的可逆$ n \ times n $卷积方法，该方法克服了可逆$ 1 \ times 1 $卷积的局限性。此外，我们所提出的网络不仅可以处理和可逆，而且比标准卷积使用的参数少。CIFAR-10，ImageNet和Celeb-HQ数据集的实验表明，我们可逆的$ N \ times n $卷积有助于显着提高生成模型的性能。

A fundamental problem in neural network research, as well as in many other disciplines, is finding a suitable representation of multivariate data, i.e. random vectors. For reasons of computational and conceptual simplicity, the representation is often sought as a linear transformation of the original data. In other words, each component of the representation is a linear combination of the original variables. Well-known linear transformation methods include principal component analysis, factor analysis, and projection pursuit. Independent component analysis (ICA) is a recently developed method in which the goal is to find a linear representation of nongaussian data so that the components are statistically independent, or as independent as possible. Such a representation seems to capture the essential structure of the data in many applications, including feature extraction and signal separation. In this paper, we present the basic theory and applications of ICA, and our recent work on the subject.

我们考虑来自高维数据的信息压缩问题。在许多研究考虑到不可逆转的转变的压缩问题，我们强调了可逆压缩的重要性。我们介绍了具有伪基本架构的新阶段基于似的的AutoEncoders，我们调用伪可逆的编码器。我们提供了对原则的理论解释。我们在MNIST上评估高斯伪可逆编码器，其中我们的模型优于生成图像的锐度的WAE和VAE。

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

归一化流量是漫射的，通常是维持尺寸保存，使用模型的可能性训练的模型。我们使用Surve Framework通过新的层构建尺寸减少调节流量，称为漏斗。我们展示了对各种数据集的功效，并表明它改善或匹配现有流量的性能，同时具有降低的潜在空间尺寸。漏斗层可以由各种变换构成，包括限制卷积和馈送前部。

标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

从随机字段或纹理中提取信息是科学中无处不在的任务，从探索性数据分析到分类和参数估计。从物理学到生物学，它往往通过功率谱分析来完成，这通常过于有限，或者使用需要大型训练的卷积神经网络（CNNS）并缺乏解释性。在本文中，我们倡导使用散射变换（Mallat 2012），这是一种强大的统计数据，它来自CNNS的数学思想，但不需要任何培训，并且是可解释的。我们表明它提供了一种相对紧凑的汇总统计数据，具有视觉解释，并在广泛的科学应用中携带大多数相关信息。我们向该估算者提供了非技术性介绍，我们认为它可以使数据分析有利于多种科学领域的模型和参数推断。有趣的是，了解散射变换的核心操作允许人们解读CNN的内部工作的许多关键方面。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

稀疏编码已在视觉皮层的模型中纳入其计算优势和与生物学的连接。但是，稀疏程度如何在视觉任务上有助于表现，并不充分了解。在这项工作中，稀疏的编码已集成到现有的分层V2型号（Hosoya和Hyv \“Arinen，2015），但更换其独立的分量分析（ICA），具有明确的稀疏编码，其中可以控制稀疏程度。在训练之后，稀疏编码基础函数具有更高程度的稀疏性类似于定性不同的结构，例如曲线和角落。使用图像分类任务进行评估模型的贡献，特别是与中级视觉相关的任务，包括图 - 地面分类，纹理分类和两条线刺激之间的角度预测。此外，与v2（Freman等，2013）中报道的纹理敏感度量相比，评估模型（Freeman等，2013）和删除区域推理任务。该实验结果表明，同时在分类图像中比ICA差的稀疏编码差，只能稀疏编码能够更好地匹配纹理森通过提高稀疏编码的稀疏度，v2和推断删除图像区域的定位等级。在较大删除的图像区域上允许推断推断出更高程度的稀疏性。这里描述允许在稀疏编码中进行这种推理能力的机制。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

最新的2D图像压缩方案依赖于卷积神经网络（CNN）的力量。尽管CNN为2D图像压缩提供了有希望的观点，但将此类模型扩展到全向图像并不简单。首先，全向图像具有特定的空间和统计特性，这些特性无法通过当前CNN模型完全捕获。其次，在球体上，基本的数学操作组成了CNN体系结构，例如翻译和采样。在本文中，我们研究了全向图像的表示模型的学习，并建议使用球体的HealPix均匀采样的属性来重新定义用于全向图像的深度学习模型中使用的数学工具。特别是，我们：i）提出了在球体上进行新的卷积操作的定义，以保持经典2D卷积的高表现力和低复杂性； ii）适应标准的CNN技术，例如步幅，迭代聚集和像素改组到球形结构域；然后iii）将我们的新框架应用于全向图像压缩的任务。我们的实验表明，与应用于等应角图像的类似学习模型相比，我们提出的球形溶液可带来更好的压缩增益，可以节省比特率的13.7％。同样，与基于图形卷积网络的学习模型相比，我们的解决方案支持更具表现力的过滤器，这些过滤器可以保留高频并提供压缩图像的更好的感知质量。这样的结果证明了拟议框架的效率，该框架为其他全向视觉任务任务打开了新的研究场所，以在球体歧管上有效实施。

诸如归一化流的生成网络可以在增强逆问题之前作为基于学习以实现高质量结果。然而，当在反转期间遍历潜伏空间时，潜伏空间载体可能不会留在所需的高维标准高斯分布中的典型样本。结果，达到高保真解决方案可能具有挑战性，特别是在存在噪声和基于物理的模型的情况下。为了解决这个问题，我们建议使用新颖的可微分数据相关层重新参数化和高斯潜伏的载体，其中通过解决优化问题来定义自定义运算符。这些所提出的层强制实施反转以在高斯典型的潜在空间集中找到可行的解决方案。我们测试并验证了我们在图像去剔除任务和eikonal断层扫描的技术 - 一种PDE受限的逆问题，实现了高保真效果。

对于深层网络而言，这是一个非常理想的属性，可与小型输入更改保持强大。实现此属性的一种流行方法是设计具有小Lipschitz常数的网络。在这项工作中，我们提出了一种用于构建具有许多理想属性的Lipschitz网络的新技术：它可以应用于任何线性网络层（完全连接或卷积），它在Lipschitz常数上提供了正式的保证，它是易于实施和运行效率，可以与任何培训目标和优化方法结合使用。实际上，我们的技术是文献中第一个同时实现所有这些属性的技术。我们的主要贡献是基于重新的重量矩阵参数化，该参数保证每个网络层最多具有LIPSCHITZ常数，并且导致学习的权重矩阵接近正交。因此，我们称这种层几乎是正交的Lipschitz（AOL）。在图像分类的背景下，实验和消融研究具有认证的鲁棒精度证实，AOL层获得与大多数现有方法相当的结果。但是，它们更容易实现，并且更广泛地适用，因为它们不需要计算昂贵的矩阵正交化或反转步骤作为网络体系结构的一部分。我们在https://github.com/berndprach/aol上提供代码。

特别有趣的是，仅以无监督的生成方式发现有用的表示。但是，尽管现有的正常化流量是否为下游任务提供有效表示的问题，尽管尽管具有强大的样本生成和密度估计能力，但仍未得到答复。本文研究了这样的生成模型家族的问题，这些模型承认确切的可逆性。我们提出了神经主成分分析（Neural-PCA），该分析在\ emph {discending}顺序中捕获主成分时在全维处运行。在不利用任何标签信息的情况下，主要组件恢复了其\ emph {Leading}尺寸中最有用的元素，并将可忽略不计在\ emph {trafing}的尺寸中，允许$ 5 \％$ - $ - $ 10 \％的明确提高性能提高$在下游任务中。在经验上，这种改进是一致的，无论潜在尾随维度的数量下降。我们的工作表明，当表示质量是感兴趣时，将必要的归纳偏差引入生成建模中。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

We explore an original strategy for building deep networks, based on stacking layers of denoising autoencoders which are trained locally to denoise corrupted versions of their inputs. The resulting algorithm is a straightforward variation on the stacking of ordinary autoencoders. It is however shown on a benchmark of classification problems to yield significantly lower classification error, thus bridging the performance gap with deep belief networks (DBN), and in several cases surpassing it. Higher level representations learnt in this purely unsupervised fashion also help boost the performance of subsequent SVM classifiers. Qualitative experiments show that, contrary to ordinary autoencoders, denoising autoencoders are able to learn Gabor-like edge detectors from natural image patches and larger stroke detectors from digit images. This work clearly establishes the value of using a denoising criterion as a tractable unsupervised objective to guide the learning of useful higher level representations.

Many scientific fields study data with an underlying structure that is a non-Euclidean space. Some examples include social networks in computational social sciences, sensor networks in communications, functional networks in brain imaging, regulatory networks in genetics, and meshed surfaces in computer graphics. In many applications, such geometric data are large and complex (in the case of social networks, on the scale of billions), and are natural targets for machine learning techniques. In particular, we would like to use deep neural networks, which have recently proven to be powerful tools for a broad range of problems from computer vision, natural language processing, and audio analysis. However, these tools have been most successful on data with an underlying Euclidean or grid-like structure, and in cases where the invariances of these structures are built into networks used to model them.Geometric deep learning is an umbrella term for emerging techniques attempting to generalize (structured) deep neural models to non-Euclidean domains such as graphs and manifolds. The purpose of this paper is to overview different examples of geometric deep learning problems and present available solutions, key difficulties, applications, and future research directions in this nascent field.