许多应用程序需要神经网络的鲁棒性或理想的不变性，以使输入数据的某些转换。最常见的是，通过使用对抗性培训或定义包括设计所需不变性的网络体系结构来解决此要求。在这项工作中，我们提出了一种方法，使网络体系结构通过基于固定标准从（可能连续的）轨道中选择一个元素，从而使网络体系结构相对于小组操作证明是不变的。简而言之，我们打算在将数据馈送到实际网络之前“撤消”任何可能的转换。此外，我们凭经验分析了通过训练或体系结构结合不变性的不同方法的特性，并在鲁棒性和计算效率方面证明了我们方法的优势。特别是，我们研究了图像旋转（可以持续到离散化工件）以及3D点云分类的可证明的方向和缩放不变性方面的鲁棒性。

点云分析没有姿势前导者在真实应用中非常具有挑战性，因为点云的方向往往是未知的。在本文中，我们提出了一个全新的点集学习框架prin，即点亮旋转不变网络，专注于点云分析中的旋转不变特征提取。我们通过密度意识的自适应采样构建球形信号，以处理球形空间中的扭曲点分布。提出了球形Voxel卷积和点重新采样以提取每个点的旋转不变特征。此外，我们将Prin扩展到称为Sprin的稀疏版本，直接在稀疏点云上运行。 Prin和Sprin都可以应用于从对象分类，部分分割到3D特征匹配和标签对齐的任务。结果表明，在随机旋转点云的数据集上，Sprin比无任何数据增强的最先进方法表现出更好的性能。我们还为我们的方法提供了彻底的理论证明和分析，以实现我们的方法实现的点明智的旋转不变性。我们的代码可在https://github.com/qq456cvb/sprin上找到。

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

线性神经网络层的模棱两可。在这项工作中，我们放宽了肩variance条件，只有在投影范围内才是真实的。特别是，我们研究了投射性和普通的肩那样的关系，并表明对于重要的例子，这些问题实际上是等效的。3D中的旋转组在投影平面上投影起作用。在设计用于过滤2D-2D对应的网络时，我们在实验上研究了旋转肩位的实际重要性。完全模型的模型表现不佳，虽然简单地增加了不变的特征，从而在强大的基线产量中得到了改善，但这似乎并不是由于改善的均衡性。

本文提出了一种新的点云卷积结构，该结构学习了SE（3） - 等级功能。与现有的SE（3） - 等级网络相比，我们的设计轻巧，简单且灵活，可以合并到一般的点云学习网络中。我们通过为特征地图选择一个非常规域，在模型的复杂性和容量之间取得平衡。我们通过正确离散$ \ mathbb {r}^3 $来完全利用旋转对称性来进一步减少计算负载。此外，我们采用置换层从其商空间中恢复完整的SE（3）组。实验表明，我们的方法在各种任务中实现了可比或卓越的性能，同时消耗的内存和运行速度要比现有工作更快。所提出的方法可以在基于点云的各种实用应用中促进模棱两可的特征学习，并激发现实世界应用的Equivariant特征学习的未来发展。

由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。

Building models that comply with the invariances inherent to different domains, such as invariance under translation or rotation, is a key aspect of applying machine learning to real world problems like molecular property prediction, medical imaging, protein folding or LiDAR classification. For the first time, we study how the invariances of a model can be leveraged to provably guarantee the robustness of its predictions. We propose a gray-box approach, enhancing the powerful black-box randomized smoothing technique with white-box knowledge about invariances. First, we develop gray-box certificates based on group orbits, which can be applied to arbitrary models with invariance under permutation and Euclidean isometries. Then, we derive provably tight gray-box certificates. We experimentally demonstrate that the provably tight certificates can offer much stronger guarantees, but that in practical scenarios the orbit-based method is a good approximation.

卷积神经网络（CNNS）非常有效，因为它们利用自然图像的固有转换不变性。但是，翻译只是无数的有用空间转换之一。在考虑其他空间的侵犯侵犯性时可以获得相同的效率吗？过去已经考虑过这种广义综合，但以高计算成本为例。我们展示了一个简单和精确的建筑，但标准卷积具有相同的计算复杂性。它由一个恒定的图像扭曲，后跟一个简单的卷积，这是深度学习工具箱中的标准块。通过精心制作的经线，所产生的架构可以使成功的架构成为各种各样的双参数空间转换。我们展示了令人鼓舞的现实情景结果，包括谷歌地球数据集（旋转和缩放）中车辆姿势的估计，并且面部在野外注释的面部地标中的面部姿势（在透视下的3D旋转）。

卷积神经网络（CNN）在翻译下是固有的等分反，但是，它们没有等效的嵌入机制来处理其他变换，例如旋转和规模变化。存在几种方法，使CNN通过设计在其他转换组下变得等效。其中，可操纵的CNN特别有效。然而，这些方法需要将滤波器重新设计标准网络，筛选涉及复杂的分析功能的预定义基的组合。我们通过实验证明，在选择的基础上的这些限制可能导致模型权重，这对主要深度学习任务进行了次优（例如，分类）。此外，这种硬烘焙的显式配方使得难以设计包括异质特征组的复合网络。为了规避此类问题，我们提出了隐含的等级网络（IEN），其通过优化与标准损耗术语相结合的多目标损耗函数来诱导标准CNN模型的不同层的等级。通过在ROT-MNIST上的VGG和RESNET模型的实验，ROT-TINIMAGENET，SCALE-MNIST和STL-10数据集上，我们表明IEN，即使是简单的配方，也要优于可操纵网络。此外，IEN促进了非均相过滤器组的构建，允许CNNS中的通道数量减少超过30％，同时保持与基线的表现。 IEN的功效进一步验证了视觉对象跟踪的难题。我们表明IEN优于最先进的旋转等级跟踪方法，同时提供更快的推理速度。

基于简单的扩散层对空间通信非常有效的洞察力，我们对3D表面进行深度学习的新的通用方法。由此产生的网络是自动稳健的，以改变表面的分辨率和样品 - 一种对实际应用至关重要的基本属性。我们的网络可以在各种几何表示上离散化，例如三角网格或点云，甚至可以在一个表示上培训然后应用于另一个表示。我们优化扩散的空间支持，作为连续网络参数，从纯粹的本地到完全全球范围，从而消除手动选择邻域大小的负担。该方法中唯一的其他成分是在每个点处独立地施加的多层的Perceptron，以及用于支持方向滤波器的空间梯度特征。由此产生的网络简单，坚固，高效。这里，我们主要专注于三角网格表面，并且展示了各种任务的最先进的结果，包括表面分类，分割和非刚性对应。

从低级视觉理论中出现，可说的过滤器在先前的卷积神经网络上的工作中发现了对应物，等同于僵化的转换。在我们的工作中，我们提出了一种基于球形决策表面的神经元组成的基于馈送的可转向学习方法，并在点云上运行。这种球形神经元是通过欧几里得空间的共形嵌入来获得的，最近在点集的学习表示中被重新审视。为了关注3D几何形状，我们利用球形神经元的等轴测特性，并得出3D可识别性约束。在训练球形神经元以在规范方向上分类点云之后，我们使用四面体基础来使神经元四倍，并构建旋转 - 等级的球形滤波器库。然后，我们应用派生的约束来插值过滤器库输出，从而获得旋转不变的网络。最后，我们使用合成点集和现实世界3D骨架数据来验证我们的理论发现。该代码可在https://github.com/pavlo-melnyk/steerable-3d-neurons上找到。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

几乎所有的艺术视觉模型都对图像旋转敏感。现有方法通常通过使用增强的培训数据来学习伪延迟，以弥补缺失的归纳偏见。除了资源要求数据通胀过程之外，预测通常概括。卷积神经网络固有的感应偏置允许通过作用于像素网格的水平和垂直轴的内核进行翻译等效。但是，这种感应性偏差不允许旋转模棱两可。我们提出了一种径向光束采样策略，以及在这些梁上运行的径向内核，以固有地融合了中心反转协方差。加上角度距离损耗，我们提出了一个基于径向光束的图像典型化模型，即短BIC。我们的模型允许最大的连续角度回归，并规范化了任意中心旋转的输入图像。作为一个预处理模型，这可以通过模型不合式旋转敏感的下游预测来实现旋转不变的视觉管道。我们表明，我们的端到端训练的角度回归器能够预测几个视觉数据集的连续旋转角度，即FashionMnist，CIFAR10，COIL100和LFW。

在本文中，我们涉及在2D点云数据上的旋转设备。我们描述了一种特定的功能，能够近似任何连续旋转等级和置换不变函数。基于这一结果，我们提出了一种新的神经网络架构，用于处理2D点云，我们证明其普遍性地用于近似呈现这些对称的功能。我们还展示了如何扩展架构以接受一组2D-2D对应关系作为Indata，同时保持类似的标准性属性。关于立体视觉中必需基质的估计的实验。

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch.H-Nets use a rich, parameter-efficient and fixed computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

学习3D点云的新表示形式是3D视觉中的一个活跃研究领域，因为订单不变的点云结构仍然对神经网络体系结构的设计构成挑战。最近的作品探索了学习全球或本地功能或两者兼而有之，但是均未通过分析点的局部方向分布来捕获上下文形状信息的早期方法。在本文中，我们利用点附近的点方向分布，以获取点云的表现力局部邻里表示。我们通过将给定点的球形邻域分为预定义的锥体来实现这一目标，并将每个体积内部的统计数据用作点特征。这样，本地贴片不仅可以由所选点的最近邻居表示，还可以考虑沿该点周围多个方向定义的点密度分布。然后，我们能够构建涉及依赖MLP（多层感知器）层的Odfblock的方向分布函数（ODF）神经网络。新的ODFNET模型可实现ModelNet40和ScanObjectNN数据集的对象分类的最新精度，并在Shapenet S3DIS数据集上进行分割。

从3D点云数据学习迅速获得了势头，这是通过深度学习的成功和图像的增加的3D数据的可用性。在本文中，我们的目标是构建直接在源点云的表面上工作的各向异性卷积。这是具有挑战性的，因为缺乏在表面上的切向方向的全局坐标系。我们介绍一个名为Deltaconv的新卷积运算符，将几何运算符从外部计算结合起来，以便在点云上构建各向异性滤波器。因为这些运算符在标量和向量字段上定义，所以我们将网络分开到标量和矢量流，由运算符连接。矢量流使网络能够明确表示，评估和处理方向信息。我们的卷轴稳健且易于实施，并显示出与最先进的基准相比提高准确性，同时加快培训和推理。