我们在从傅立叶角度得出的同质空间上引入了一个统一的框架。我们解决了卷积层之前和之后的特征场的情况。我们通过利用提起的特征场的傅立叶系数的稀疏性来提出通过傅立叶域的统一推导。当同质空间的稳定子亚组是一个紧凑的谎言组时，稀疏性就会出现。我们进一步通过元素定位元素非线性引入了一种激活方法，并通过均等卷积抬起并投射回现场。我们表明，其他将特征视为稳定器亚组中傅立叶系数的方法是我们激活的特殊情况。$ SO（3）$和$ SE（3）$进行的实验显示了球形矢量场回归，点云分类和分子完成中的最新性能。

包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。

A wide range of techniques have been proposed in recent years for designing neural networks for 3D data that are equivariant under rotation and translation of the input. Most approaches for equivariance under the Euclidean group $\mathrm{SE}(3)$ of rotations and translations fall within one of the two major categories. The first category consists of methods that use $\mathrm{SE}(3)$-convolution which generalizes classical $\mathbb{R}^3$-convolution on signals over $\mathrm{SE}(3)$. Alternatively, it is possible to use \textit{steerable convolution} which achieves $\mathrm{SE}(3)$-equivariance by imposing constraints on $\mathbb{R}^3$-convolution of tensor fields. It is known by specialists in the field that the two approaches are equivalent, with steerable convolution being the Fourier transform of $\mathrm{SE}(3)$ convolution. Unfortunately, these results are not widely known and moreover the exact relations between deep learning architectures built upon these two approaches have not been precisely described in the literature on equivariant deep learning. In this work we provide an in-depth analysis of both methods and their equivalence and relate the two constructions to multiview convolutional networks. Furthermore, we provide theoretical justifications of separability of $\mathrm{SE}(3)$ group convolution, which explain the applicability and success of some recent approaches. Finally, we express different methods using a single coherent formalism and provide explicit formulas that relate the kernels learned by different methods. In this way, our work helps to unify different previously-proposed techniques for achieving roto-translational equivariance, and helps to shed light on both the utility and precise differences between various alternatives. We also derive new TFN non-linearities from our equivalence principle and test them on practical benchmark datasets.

Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.

Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.

本文为旋转组开发了旋转不变的阵阵卷积，因此（3）可以提炼球形信号的多尺度信息。球形的阵头变换从$ \ mathbb {s}^2 $推广到SO（3）组，该组通过一组紧密的Framelet操作员将球形信号分解为近似和详细的光谱系数。分解和重建过程中的球形信号实现了旋转不变性。基于阵型变换，我们形成了一个带有多个SO（3）一面卷积层的NEDLET近似均值球形CNN（NES）。该网络建立了一个强大的工具，可以提取球形信号的几何不变特征。该模型允许具有多分辨率表示的足够网络可伸缩性。通过小波收缩激活函数学习了强大的信号嵌入，该函数会过滤冗余高通表示，同时保持近似旋转不变性。 NES实现了量子化学回归和宇宙微波背景（CMB）的最新性能，删除重建，这显示了通过高分辨率和多尺度球形信号表示解决科学挑战的巨大潜力。

Recent progress in geometric computer vision has shown significant advances in reconstruction and novel view rendering from multiple views by capturing the scene as a neural radiance field. Such approaches have changed the paradigm of reconstruction but need a plethora of views and do not make use of object shape priors. On the other hand, deep learning has shown how to use priors in order to infer shape from single images. Such approaches, though, require that the object is reconstructed in a canonical pose or assume that object pose is known during training. In this paper, we address the problem of how to compute equivariant priors for reconstruction from a few images, given the relative poses of the cameras. Our proposed reconstruction is $SE(3)$-gauge equivariant, meaning that it is equivariant to the choice of world frame. To achieve this, we make two novel contributions to light field processing: we define light field convolution and we show how it can be approximated by intra-view $SE(2)$ convolutions because the original light field convolution is computationally and memory-wise intractable; we design a map from the light field to $\mathbb{R}^3$ that is equivariant to the transformation of the world frame and to the rotation of the views. We demonstrate equivariance by obtaining robust results in roto-translated datasets without performing transformation augmentation.

小组卷积神经网络（G-CNN）是卷积神经网络（CNN）的概括，通过在其体系结构中明确编码旋转和排列，在广泛的技术应用中脱颖而出。尽管G-CNN的成功是由它们的\ emph {emplapicit}对称偏见驱动的，但最近的一项工作表明，\ emph {隐式}对特定体系结构的偏差是理解过度参数化神经网的概​​括的关键。在这种情况下，我们表明，通过梯度下降训练了二进制分类的$ L $ layer全宽线性G-CNN，将二进制分类收敛到具有低级别傅立叶矩阵系数的解决方案，并由$ 2/l $ -schatten矩阵规范正规化。我们的工作严格概括了先前对线性CNN的隐性偏差对线性G-CNN的隐性分析，包括所有有限组，包括非交换组的挑战性设置（例如排列），以及无限组的频段限制G-CNN 。我们通过在各个组上实验验证定理，并在经验上探索更现实的非线性网络，该网络在局部捕获了相似的正则化模式。最后，我们通过不确定性原理提供了对傅立叶空间隐式正则化的直观解释。

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

定义网格上卷积的常用方法是将它们作为图形解释并应用图形卷积网络（GCN）。这种GCNS利用各向同性核，因此对顶点的相对取向不敏感，从而对整个网格的几何形状。我们提出了规范的等分性网状CNN，它概括了GCNS施加各向异性仪表等级核。由于产生的特征携带方向信息，我们引入了通过网格边缘并行传输特征来定义的几何消息传递方案。我们的实验验证了常规GCN和其他方法的提出模型的显着提高的表达性。

可进入的模型可以通过在表示理论和特征领域的语言中制定均衡性要求来提供非常通用和灵活的均衡性，这对许多视觉任务都是有效的。但是，由于3D旋转的数学更复杂，因此在2D情况下得出3D旋转模型要困难得多。在这项工作中，我们采用部分差分运算符（PDOS）来模型3D滤波器，并得出了通用的可检测3D CNN，称为PDO-S3DCNNS。我们证明，模棱两可的过滤器受线性约束的约束，可以在各种条件下有效地解决。据我们所知，PDO-S3DCNNS是3D旋转的最通用的CNN，因为它们涵盖了所有$ SO（3）$及其表示的所有常见子组，而现有方法只能应用于特定的组和特定组和表示。广泛的实验表明，我们的模型可以很好地保留在离散域中的均衡性，并且在SHREC'17检索和ISBI 2012分割任务上的表现都超过了以前的网络复杂性。

Within the glassy liquids community, the use of Machine Learning (ML) to model particles' static structure in order to predict their future dynamics is currently a hot topic. The actual state of the art consists in Graph Neural Networks (GNNs) (Bapst 2020) which, beside having a great expressive power, are heavy models with numerous parameters and lack interpretability. Inspired by recent advances (Thomas 2018), we build a GNN that learns a robust representation of the glass' static structure by constraining it to preserve the roto-translation (SE(3)) equivariance. We show that this constraint not only significantly improves the predictive power but also allows to reduce the number of parameters while improving the interpretability. Furthermore, we relate our learned equivariant features to well-known invariant expert features, which are easily expressible with a single layer of our network.

标准情况被出现为对构成组的身份保留转换的物体表示的理想性质，例如翻译和旋转。然而，由组标准规定的表示的表示的表现仍然不完全理解。我们通过提供封面函数计数定理的概括来解决这个差距，这些定理量化了可以分配给物体的等异点的线性可分离和组不变二进制二分层的数量。我们发现可分离二分法的分数由由组动作固定的空间的尺寸决定。我们展示了该关系如何扩展到卷积，元素 - 明智的非线性和全局和本地汇集等操作。虽然其他操作不会改变可分离二分法的分数，但尽管是高度非线性操作，但是局部汇集减少了分数。最后，我们在随机初始化和全培训的卷积神经网络的中间代表中测试了我们的理论，并找到了完美的协议。

我们提出了E3NN，这是一个通用框架，用于创建E（3）e术训练功能，也称为欧几里得神经网络。E3NN自然地在几何和几何张量上进行操作，这些几何和几何张量描述了3D中的系统，并在坐标系统的变化下可预测地转换。E3NN的核心是诸如张力生产类别或球形谐波函数之类的等效操作，这些功能可以组成，以创建更复杂的模块，例如卷积和注意机制。E3NN的这些核心操作可用于有效地阐明张量球场网络，3D可通道的CNN，Clebsch-Gordan Networks，SE（3）变压器和其他E（3）E（3）Equivariant网络。

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

群体模棱两可（例如，SE（3）均衡性）是科学的关键物理对称性，从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此，已经为将这种对称性编码为深神经网络而做出了巨大的努力，该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此，如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中，我们提出了一个框架来构建可以有效地近似几何量的se（3）等效图神经网络。受差异几何形状和物理学的启发，我们向图形神经网络介绍了局部完整帧，因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础，以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的，因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法：牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明，我们的模型在两种类型的数据集中达到了最佳或竞争性能。

现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

Recent work has constructed neural networks that are equivariant to continuous symmetry groups such as 2D and 3D rotations. This is accomplished using explicit Lie group representations to derive the equivariant kernels and nonlinearities. We present three contributions motivated by frontier applications of equivariance beyond rotations and translations. First, we relax the requirement for explicit Lie group representations with a novel algorithm that finds representations of arbitrary Lie groups given only the structure constants of the associated Lie algebra. Second, we provide a self-contained method and software for building Lie group-equivariant neural networks using these representations. Third, we contribute a novel benchmark dataset for classifying objects from relativistic point clouds, and apply our methods to construct the first object-tracking model equivariant to the Poincar\'e group.

本文提出了一种新的点云卷积结构，该结构学习了SE（3） - 等级功能。与现有的SE（3） - 等级网络相比，我们的设计轻巧，简单且灵活，可以合并到一般的点云学习网络中。我们通过为特征地图选择一个非常规域，在模型的复杂性和容量之间取得平衡。我们通过正确离散$ \ mathbb {r}^3 $来完全利用旋转对称性来进一步减少计算负载。此外，我们采用置换层从其商空间中恢复完整的SE（3）组。实验表明，我们的方法在各种任务中实现了可比或卓越的性能，同时消耗的内存和运行速度要比现有工作更快。所提出的方法可以在基于点云的各种实用应用中促进模棱两可的特征学习，并激发现实世界应用的Equivariant特征学习的未来发展。