生成建模旨在揭示产生观察到的数据的潜在因素，这些数据通常可以被建模为自然对称性，这些对称性是通过不变和对某些转型定律等效的表现出来的。但是，当前代表这些对称性的方法是在需要构建模棱两可矢量场的连续正式化流中所掩盖的 - 抑制了它们在常规的高维生成建模域（如自然图像）中的简单应用。在本文中，我们专注于使用离散层建立归一化流量。首先，我们从理论上证明了对紧凑空间的紧凑型组的模棱两可的图。我们进一步介绍了三个新的品牌流：$ g $ - 剩余的流量，$ g $ - 耦合流量和$ g $ - inverse自动回旋的回旋流量，可以提升经典的残留剩余，耦合和反向自动性流量，并带有等效的地图， $。从某种意义上说，我们证明$ g $ equivariant的差异性可以通过$ g $ - $ residual流量映射，我们的$ g $ - 剩余流量也很普遍。最后，我们首次在诸如CIFAR-10之类的图像数据集中对我们的理论见解进行了补充，并显示出$ G $ equivariant有限的有限流量，从而提高了数据效率，更快的收敛性和提高的可能性估计。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

我们研究了使用动力学系统的流量图相对于输入指数的某些置换的函数的近似值。这种不变的功能包括涉及图像任务的经过研究的翻译不变性功能，但还包含许多在科学和工程中找到新兴应用程序的置换不变函数。我们证明了通过受控的模棱两可的动态系统的通用近似的足够条件，可以将其视为具有对称约束的深度残留网络的一般抽象。这些结果不仅意味着用于对称函数近似的各种常用神经网络体系结构的通用近似，而且还指导设计具有近似值保证的架构的设计，以保证涉及新对称要求的应用。

基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。

强有力的彩票假说（SLTH）规定了足够过度参数（密集的）神经网络中的子网的存在，当随机初始化并且没有任何培训时，可以实现受过全面训练的目标网络的准确性。 \ citet {da2022 -proving}的最新工作表明，SLTH也可以扩展到翻译模棱两可的网络（即CNNS），具有与密集网络中SLT相同的过多叠加级化。但是，现代神经网络能够不仅纳入翻译对称性，而且开发一般的模棱两可的体系结构（例如旋转和排列）一直是一个有力的设计原理。在本文中，我们将slth推广到保留$ g $（即$ g $ equivariant网络）的函数，并以很高的概率证明，可以修剪随机初始初始初始化的过度透明$ g $ - $ g $ - $ g $ equivariant子网网络近似于固定宽度和深度的另一个完全训练的$ g $ equivariant网络。我们进一步证明，我们规定的过透明方案也是误差耐受性的函数。我们为各个组开发了我们的理论，包括重要的理论，例如欧几里得组的子组$ \ text {e}（n）$和对称组的子群体$ g \ leq \ leq \ mathcal {s} _n _n $ - 允许我们找到用于MLP，CNN，$ \ text {e}（2）$的SLTS，并以$ \ text {e}（2）$ - 通知CNN和置换量表等度性网络作为我们统一框架的特定实例，该框架完全扩展了先前的工作。从经验上讲，我们通过修剪过度叠加的$ \ text {e}（2）$来验证我们的理论，并传达CNN和消息传递GNN，以匹配给定的错误耐受性内受过训练的目标网络的性能。

Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.

标准情况被出现为对构成组的身份保留转换的物体表示的理想性质，例如翻译和旋转。然而，由组标准规定的表示的表示的表现仍然不完全理解。我们通过提供封面函数计数定理的概括来解决这个差距，这些定理量化了可以分配给物体的等异点的线性可分离和组不变二进制二分层的数量。我们发现可分离二分法的分数由由组动作固定的空间的尺寸决定。我们展示了该关系如何扩展到卷积，元素 - 明智的非线性和全局和本地汇集等操作。虽然其他操作不会改变可分离二分法的分数，但尽管是高度非线性操作，但是局部汇集减少了分数。最后，我们在随机初始化和全培训的卷积神经网络的中间代表中测试了我们的理论，并找到了完美的协议。

使用通过组成可逆层获得的地图进行标准化模型复杂概率分布。特殊的线性层（例如蒙版和1x1卷积）在现有体系结构中起着关键作用，因为它们在具有可拖动的Jacobians和倒置的同时增加表达能力。我们提出了一个基于蝴蝶层的新的可逆线性层家族，理论上捕获复杂的线性结构，包括排列和周期性，但可以有效地倒置。这种代表力是我们方法的关键优势，因为这些结构在许多现实世界数据集中很常见。根据我们的可逆蝴蝶层，我们构建了一个新的称为蝴蝶流的归一化流量模型。从经验上讲，我们证明蝴蝶不仅可以在MNIST，CIFAR-10和Imagenet 32​​x32等自然图像上实现强密度估计结果，而且还可以在结构化数据集中获得明显更好的对数可能性，例如Galaxy图像和Mimic-III患者群体 - - 同时，在记忆和计算方面比相关基线更有效。

We show that standard ResNet architectures can be made invertible, allowing the same model to be used for classification, density estimation, and generation. Typically, enforcing invertibility requires partitioning dimensions or restricting network architectures. In contrast, our approach only requires adding a simple normalization step during training, already available in standard frameworks. Invertible ResNets define a generative model which can be trained by maximum likelihood on unlabeled data. To compute likelihoods, we introduce a tractable approximation to the Jacobian log-determinant of a residual block. Our empirical evaluation shows that invertible ResNets perform competitively with both stateof-the-art image classifiers and flow-based generative models, something that has not been previously achieved with a single architecture.

我们研究小组对称性如何帮助提高端到端可区分计划算法的数据效率和概括，特别是在2D机器人路径计划问题上：导航和操纵。我们首先从价值迭代网络（VIN）正式使用卷积网络进行路径计划，因为它避免了明确构建等价类别并启用端到端计划。然后，我们证明价值迭代可以始终表示为（2D）路径计划的某种卷积形式，并将结果范式命名为对称范围（SYMPLAN）。在实施中，我们使用可进入的卷积网络来合并对称性。我们在导航和操纵方面的算法，具有给定或学习的地图，提高了与非等级同行VIN和GPPN相比，大幅度利润的训练效率和概括性能。

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

将对称性作为归纳偏置纳入神经网络体系结构已导致动态建模的概括，数据效率和身体一致性的提高。诸如CNN或e夫神经网络之类的方法使用重量绑定来强制执行对称性，例如偏移不变性或旋转率。但是，尽管物理定律遵守了许多对称性，但实际动力学数据很少符合严格的数学对称性，这是由于嘈杂或不完整的数据或基础动力学系统中的对称性破坏特征。我们探索近似模棱两可的网络，这些网络偏向于保存对称性，但并非严格限制这样做。通过放松的均衡约束，我们发现我们的模型可以胜过两个基线，而在模拟的湍流域和现实世界中的多流射流流中都没有对称性偏差和基线，并且具有过度严格的对称性。

正常化流动在过去几年中已经变得更加流行;然而，他们继续计算得昂贵，使得它们难以被接受到更广泛的机器学习界中。在本文中，我们介绍了一个简单的一维一层网络，其封闭形式的Lipschitz常数;使用此，我们介绍了一种新的精确嘴唇流（ELF），这些流量（ELF）结合了剩余流量的易于采样，并具有自回归流的强烈性能。此外，我们表明，与多个其他流相比，ELF被证明是通用密度近似器，更新和参数有效，并且在多个大规模数据集上实现最先进的性能。

我们提出了一种连续的标准化流量，用于从物理学中量子域理论的高尺寸概率分布采样。与迄今为止此任务的深度架构相比，我们的提案基于浅设计并包含问题的对称性。我们在$ \ PHI ^ 4 $理论上测试我们的模型，表明它系统地优于采样效率的REALNV基准，其两个增加对于较大格子的差异。在我们考虑的最大格子上，大小为32美元，我们改善了一个关键的公制，有效的样本量，从1％到66％w.r.t.Realnvp基线。

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题

虽然可怕的转化扰动稳健，但是已知卷积神经网络（CNNS）在用更普通的输入的测试时间呈现时呈现极端性能劣化。最近，这种限制具有从CNNS到胶囊网络（Capsnets）的焦点转变。但是，Capsnets遭受了相对较少的理论保障的不变性。我们介绍了一个严格的数学框架，以允许不在任何谎言群体群体，专门使用卷曲（通过谎言群体），而无需胶囊。以前关于集团举报的职责受到本集团的强烈假设的阻碍，这阻止了这些技术在计算机视觉中的共同扭曲中的应用，如仿佛和同类。我们的框架可以实现over \ emph {任何}有限维谎组的组卷积。我们在基准仿射不变分类任务中凭经验验证了我们的方法，在那里我们在越野上达到了常规CNN的准确性，同时优于最先进的帽子，我们在达到$ \ SIMP 30 \％的提高。作为我们框架的普遍性的进一步说明，我们训练了一个众所周知的模型，实现了在众所周知的数据集上的卓越稳健性，其中帽子结果降低。

Recent work has constructed neural networks that are equivariant to continuous symmetry groups such as 2D and 3D rotations. This is accomplished using explicit Lie group representations to derive the equivariant kernels and nonlinearities. We present three contributions motivated by frontier applications of equivariance beyond rotations and translations. First, we relax the requirement for explicit Lie group representations with a novel algorithm that finds representations of arbitrary Lie groups given only the structure constants of the associated Lie algebra. Second, we provide a self-contained method and software for building Lie group-equivariant neural networks using these representations. Third, we contribute a novel benchmark dataset for classifying objects from relativistic point clouds, and apply our methods to construct the first object-tracking model equivariant to the Poincar\'e group.