我们研究复杂的缩放作为一种自然的对称性和复杂的测量和表示独特的对称性。深度复杂网络（DCN）将实值的代数扩展到复杂域，而不会解决复杂值缩放。超现实占据复杂数字的限制性歧管视图，采用距离度量来实现复杂的缩放不变性，同时丢失丰富的复合值。我们分析了复杂的缩放，作为共同领域的转换和设计新颖的具有这种特殊转换的不变神经网络层。我们还提出了RGB图像的新型复合值表示，其中复值缩放表示色调偏移或跨色通道的相关变化。在MSTAR，CIFAR10，CIFAR100和SVHN上基准测试，我们的共同域对称（CDS）分类器提供更高的准确性，更好的泛化，对共同域变换的鲁棒性，以及比DCN和超现实的更低模型偏差和方差，具有较少的参数。

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch.H-Nets use a rich, parameter-efficient and fixed computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

Deep learning models operating in the complex domain are used due to their rich representation capacity. However, most of these models are either restricted to the first quadrant of the complex plane or project the complex-valued data into the real domain, causing a loss of information. This paper proposes that operating entirely in the complex domain increases the overall performance of complex-valued models. A novel, fully complex-valued learning scheme is proposed to train a Fully Complex-valued Convolutional Neural Network (FC-CNN) using a newly proposed complex-valued loss function and training strategy. Benchmarked on CIFAR-10, SVHN, and CIFAR-100, FC-CNN has a 4-10% gain compared to its real-valued counterpart, maintaining the model complexity. With fewer parameters, it achieves comparable performance to state-of-the-art complex-valued models on CIFAR-10 and SVHN. For the CIFAR-100 dataset, it achieves state-of-the-art performance with 25% fewer parameters. FC-CNN shows better training efficiency and much faster convergence than all the other models.

在本文中，我们提出了一个框架，用于设计和实现偏移量像网络，即在输入中保留其输出统一增量的神经网络。在合适的颜色空间中，这种网络可实现表征在照明条件下变化的光度变换的肩variane。我们在三个不同的问题上验证了框架：图像识别，发光估计和图像介绍。我们的实验表明，偏移量比网络的性能与常规数据的最新技术相媲美。然而，与传统网络不同，当照明器的颜色变化时，均值网络的表现始终如一。

卷积神经网络（CNNS）非常有效，因为它们利用自然图像的固有转换不变性。但是，翻译只是无数的有用空间转换之一。在考虑其他空间的侵犯侵犯性时可以获得相同的效率吗？过去已经考虑过这种广义综合，但以高计算成本为例。我们展示了一个简单和精确的建筑，但标准卷积具有相同的计算复杂性。它由一个恒定的图像扭曲，后跟一个简单的卷积，这是深度学习工具箱中的标准块。通过精心制作的经线，所产生的架构可以使成功的架构成为各种各样的双参数空间转换。我们展示了令人鼓舞的现实情景结果，包括谷歌地球数据集（旋转和缩放）中车辆姿势的估计，并且面部在野外注释的面部地标中的面部姿势（在透视下的3D旋转）。

许多应用程序需要神经网络的鲁棒性或理想的不变性，以使输入数据的某些转换。最常见的是，通过使用对抗性培训或定义包括设计所需不变性的网络体系结构来解决此要求。在这项工作中，我们提出了一种方法，使网络体系结构通过基于固定标准从（可能连续的）轨道中选择一个元素，从而使网络体系结构相对于小组操作证明是不变的。简而言之，我们打算在将数据馈送到实际网络之前“撤消”任何可能的转换。此外，我们凭经验分析了通过训练或体系结构结合不变性的不同方法的特性，并在鲁棒性和计算效率方面证明了我们方法的优势。特别是，我们研究了图像旋转（可以持续到离散化工件）以及3D点云分类的可证明的方向和缩放不变性方面的鲁棒性。

我们分析了旋转模糊性在应​​用于球形图像的卷积神经网络（CNN）中的作用。我们比较了被称为S2CNN的组等效网络的性能和经过越来越多的数据增强量的标准非等级CNN。所选的体系结构可以视为相应设计范式的基线参考。我们的模型对投影到球体的MNIST或FashionMnist数据集进行了训练和评估。对于固有旋转不变的图像分类的任务，我们发现，通过大大增加数据增强量和网络的大小，标准CNN可以至少达到与Equivariant网络相同的性能。相比之下，对于固有的等效性语义分割任务，非等级网络的表现始终超过具有较少参数的模棱两可的网络。我们还分析和比较了不同网络的推理潜伏期和培训时间，从而实现了对等效架构和数据扩展之间的详细权衡考虑，以解决实际问题。实验中使用的均衡球网络可在https://github.com/janegerken/sem_seg_s2cnn上获得。

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

我们审查了一种名为晶格计的新颖的神经网络架构，称为格子仪表的卷积神经网络（L-CNNS），可以应用于格子仪表理论中的通用机器学习问题，同时完全保留了规格对称性。我们讨论了用于明确构建规格的规范的衡量标准的概念，该卷大式卷积层和双线性层。使用看似简单的非线性回归任务比较L-CNNS和非成型CNN的性能，其中L-CNNS在与其非成型对应物相比，L-CNNS展示了概括性并在预测中实现了高度的准确性。

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。

我们为晶格计上的普通机器学习应用提出了格子仪表的卷积卷积神经网络（L-CNNS）。在该网络结构的核心，是一种新颖的卷积层，其保留了规范设备，同时在连续的双线性层形成任意形状的威尔逊环。与拓扑信息一起，例如来自Polyakov环路，这样的网络原则上可以近似晶格上的任何仪表协调功能。我们展示了L-CNN可以学习和概括仪表不变的数量，传统的卷积神经网络无法找到。

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

With the substantial performance of neural networks in sensitive fields increases the need for interpretable deep learning models. Major challenge is to uncover the multiscale and distributed representation hidden inside the basket mappings of the deep neural networks. Researchers have been trying to comprehend it through visual analysis of features, mathematical structures, or other data-driven approaches. Here, we work on implementation invariances of CNN-based representations and present an analytical binary prototype that provides useful insights for large scale real-life applications. We begin by unfolding conventional CNN and then repack it with a more transparent representation. Inspired by the attainment of neural networks, we choose to present our findings as a three-layer model. First is a representation layer that encompasses both the class information (group invariant) and symmetric transformations (group equivariant) of input images. Through these transformations, we decrease intra-class distance and increase the inter-class distance. It is then passed through a dimension reduction layer followed by a classifier. The proposed representation is compared with the equivariance of AlexNet (CNN) internal representation for better dissemination of simulation results. We foresee following immediate advantages of this toy version: i) contributes pre-processing of data to increase the feature or class separability in large scale problems, ii) helps designing neural architecture to improve the classification performance in multi-class problems, and iii) helps building interpretable CNN through scalable functional blocks.

在这项工作中，我们设计了一个完全复杂的神经网络，用于虹膜识别的任务。与一般物体识别的问题不同，在实际值的神经网络可以用于提取相关特征的情况下，虹膜识别取决于从输入的虹膜纹理提取两个相位和幅度信息，以便更好地表示其生物识别内容。这需要提取和处理不能由实值神经网络有效处理的相位信息。在这方面，我们设计了一个完全复杂的神经网络，可以更好地捕获虹膜纹理的多尺度，多分辨率和多向阶段和多向阶段和幅度特征。我们展示了具有用于生成经典iRIscode的Gabor小波的提出的复合值虹膜识别网络的强烈对应关系;然而，所提出的方法使得能够为IRIS识别量身定​​制的自动复数特征学习的新能力。我们对三个基准数据集进行实验 - Nd-Crosssensor-2013，Casia-Iris-千和Ubiris.v2 - 并显示了拟议网络的虹膜识别任务的好处。我们利用可视化方案来传达复合网络的方式，与标准的实际网络相比，从虹膜纹理提取根本不同的特征。

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

事实证明，超复杂的神经网络可以减少参数的总数，同时通过利用Clifford代数的特性来确保有价值的性能。最近，通过涉及有效的参数化kronecker产品，超复合线性层得到了进一步改善。在本文中，我们定义了超复杂卷积层的参数化，并介绍了轻巧有效的大型大型模型的参数化超复杂神经网络（PHNN）。我们的方法直接从数据中掌握了卷积规则和过滤器组织，而无需遵循严格的预定义域结构。 Phnns可以灵活地在任何用户定义或调谐域中操作，无论代数规则是否是预设的，从1D到$ n $ d。这样的锻造性允许在其自然域中处理多维输入，而无需吞并进一步的尺寸，而是在Quaternion神经网络中使用3D输入（例如颜色图像）。结果，拟议中的Phnn家族以$ 1/n $的参数运行，因为其在真实域中的类似物。我们通过在各种图像数据集上执行实验以及音频数据集证明了这种方法对应用程序多个域的多功能性，在这些实验中，我们的方法的表现优于真实和Quaternion值值。完整代码可在以下网址获得：https：//github.com/elegan23/hypernets。

Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.

现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题