Equivariance of neural networks to transformations helps to improve their performance and reduce generalization error in computer vision tasks, as they apply to datasets presenting symmetries (e.g. scalings, rotations, translations). The method of moving frames is classical for deriving operators invariant to the action of a Lie group in a manifold.Recently, a rotation and translation equivariant neural network for image data was proposed based on the moving frames approach. In this paper we significantly improve that approach by reducing the computation of moving frames to only one, at the input stage, instead of repeated computations at each layer. The equivariance of the resulting architecture is proved theoretically and we build a rotation and translation equivariant neural network to process volumes, i.e. signals on the 3D space. Our trained model overperforms the benchmarks in the medical volume classification of most of the tested datasets from MedMNIST3D.

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

Recent work has constructed neural networks that are equivariant to continuous symmetry groups such as 2D and 3D rotations. This is accomplished using explicit Lie group representations to derive the equivariant kernels and nonlinearities. We present three contributions motivated by frontier applications of equivariance beyond rotations and translations. First, we relax the requirement for explicit Lie group representations with a novel algorithm that finds representations of arbitrary Lie groups given only the structure constants of the associated Lie algebra. Second, we provide a self-contained method and software for building Lie group-equivariant neural networks using these representations. Third, we contribute a novel benchmark dataset for classifying objects from relativistic point clouds, and apply our methods to construct the first object-tracking model equivariant to the Poincar\'e group.

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

从低级视觉理论中出现，可说的过滤器在先前的卷积神经网络上的工作中发现了对应物，等同于僵化的转换。在我们的工作中，我们提出了一种基于球形决策表面的神经元组成的基于馈送的可转向学习方法，并在点云上运行。这种球形神经元是通过欧几里得空间的共形嵌入来获得的，最近在点集的学习表示中被重新审视。为了关注3D几何形状，我们利用球形神经元的等轴测特性，并得出3D可识别性约束。在训练球形神经元以在规范方向上分类点云之后，我们使用四面体基础来使神经元四倍，并构建旋转 - 等级的球形滤波器库。然后，我们应用派生的约束来插值过滤器库输出，从而获得旋转不变的网络。最后，我们使用合成点集和现实世界3D骨架数据来验证我们的理论发现。该代码可在https://github.com/pavlo-melnyk/steerable-3d-neurons上找到。

定义网格上卷积的常用方法是将它们作为图形解释并应用图形卷积网络（GCN）。这种GCNS利用各向同性核，因此对顶点的相对取向不敏感，从而对整个网格的几何形状。我们提出了规范的等分性网状CNN，它概括了GCNS施加各向异性仪表等级核。由于产生的特征携带方向信息，我们引入了通过网格边缘并行传输特征来定义的几何消息传递方案。我们的实验验证了常规GCN和其他方法的提出模型的显着提高的表达性。

A wide range of techniques have been proposed in recent years for designing neural networks for 3D data that are equivariant under rotation and translation of the input. Most approaches for equivariance under the Euclidean group $\mathrm{SE}(3)$ of rotations and translations fall within one of the two major categories. The first category consists of methods that use $\mathrm{SE}(3)$-convolution which generalizes classical $\mathbb{R}^3$-convolution on signals over $\mathrm{SE}(3)$. Alternatively, it is possible to use \textit{steerable convolution} which achieves $\mathrm{SE}(3)$-equivariance by imposing constraints on $\mathbb{R}^3$-convolution of tensor fields. It is known by specialists in the field that the two approaches are equivalent, with steerable convolution being the Fourier transform of $\mathrm{SE}(3)$ convolution. Unfortunately, these results are not widely known and moreover the exact relations between deep learning architectures built upon these two approaches have not been precisely described in the literature on equivariant deep learning. In this work we provide an in-depth analysis of both methods and their equivalence and relate the two constructions to multiview convolutional networks. Furthermore, we provide theoretical justifications of separability of $\mathrm{SE}(3)$ group convolution, which explain the applicability and success of some recent approaches. Finally, we express different methods using a single coherent formalism and provide explicit formulas that relate the kernels learned by different methods. In this way, our work helps to unify different previously-proposed techniques for achieving roto-translational equivariance, and helps to shed light on both the utility and precise differences between various alternatives. We also derive new TFN non-linearities from our equivalence principle and test them on practical benchmark datasets.

标准情况被出现为对构成组的身份保留转换的物体表示的理想性质，例如翻译和旋转。然而，由组标准规定的表示的表示的表现仍然不完全理解。我们通过提供封面函数计数定理的概括来解决这个差距，这些定理量化了可以分配给物体的等异点的线性可分离和组不变二进制二分层的数量。我们发现可分离二分法的分数由由组动作固定的空间的尺寸决定。我们展示了该关系如何扩展到卷积，元素 - 明智的非线性和全局和本地汇集等操作。虽然其他操作不会改变可分离二分法的分数，但尽管是高度非线性操作，但是局部汇集减少了分数。最后，我们在随机初始化和全培训的卷积神经网络的中间代表中测试了我们的理论，并找到了完美的协议。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。

可进入的模型可以通过在表示理论和特征领域的语言中制定均衡性要求来提供非常通用和灵活的均衡性，这对许多视觉任务都是有效的。但是，由于3D旋转的数学更复杂，因此在2D情况下得出3D旋转模型要困难得多。在这项工作中，我们采用部分差分运算符（PDOS）来模型3D滤波器，并得出了通用的可检测3D CNN，称为PDO-S3DCNNS。我们证明，模棱两可的过滤器受线性约束的约束，可以在各种条件下有效地解决。据我们所知，PDO-S3DCNNS是3D旋转的最通用的CNN，因为它们涵盖了所有$ SO（3）$及其表示的所有常见子组，而现有方法只能应用于特定的组和特定组和表示。广泛的实验表明，我们的模型可以很好地保留在离散域中的均衡性，并且在SHREC'17检索和ISBI 2012分割任务上的表现都超过了以前的网络复杂性。

线性神经网络层的模棱两可。在这项工作中，我们放宽了肩variance条件，只有在投影范围内才是真实的。特别是，我们研究了投射性和普通的肩那样的关系，并表明对于重要的例子，这些问题实际上是等效的。3D中的旋转组在投影平面上投影起作用。在设计用于过滤2D-2D对应的网络时，我们在实验上研究了旋转肩位的实际重要性。完全模型的模型表现不佳，虽然简单地增加了不变的特征，从而在强大的基线产量中得到了改善，但这似乎并不是由于改善的均衡性。

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。

Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题

Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

在本文中，我们涉及在2D点云数据上的旋转设备。我们描述了一种特定的功能，能够近似任何连续旋转等级和置换不变函数。基于这一结果，我们提出了一种新的神经网络架构，用于处理2D点云，我们证明其普遍性地用于近似呈现这些对称的功能。我们还展示了如何扩展架构以接受一组2D-2D对应关系作为Indata，同时保持类似的标准性属性。关于立体视觉中必需基质的估计的实验。

我们在从傅立叶角度得出的同质空间上引入了一个统一的框架。我们解决了卷积层之前和之后的特征场的情况。我们通过利用提起的特征场的傅立叶系数的稀疏性来提出通过傅立叶域的统一推导。当同质空间的稳定子亚组是一个紧凑的谎言组时，稀疏性就会出现。我们进一步通过元素定位元素非线性引入了一种激活方法，并通过均等卷积抬起并投射回现场。我们表明，其他将特征视为稳定器亚组中傅立叶系数的方法是我们激活的特殊情况。$ SO（3）$和$ SE（3）$进行的实验显示了球形矢量场回归，点云分类和分子完成中的最新性能。