将组对称性直接纳入学习过程,已被证明是模型设计的有效准则。通过生产保证对输入上的组动作改造协议的功能,Group-Secrivariant卷积神经网络(G-CNN)在具有内在对称的学习任务中实现了显着改善的泛化性能。已经研究了G-CNNS的一般理论和实际实施,用于旋转或缩放变换下的平面图像,但仅是单独的。在本文中,我们存在roto-scale-pranslance的CNN(RST-CNN),保证通过耦合组卷积来实现这三个组的增义性。此外,随着现实中的对称变换很少是非常完美的并且通常会受到输入变形的影响,我们提供了对输入失真的表示的等意识的稳定性分析,这激励了(预固定)低频空间下的卷积滤波器的截断扩展模式。所得到的模型可被证明可以实现变形 - 稳健的RST标准,即RST对称性仍然“大约”保存,当通过滋扰数据变形时“被污染”,这是对分布外概述尤为重要的属性。 Mnist,Fashion-Mnist和STL-10的数值实验表明,所提出的模型在现有技术中产生显着的增益,尤其是在数据内旋转和缩放变化的小数据制度中。
translated by 谷歌翻译
We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.
translated by 谷歌翻译
我们分析了旋转模糊性在应​​用于球形图像的卷积神经网络(CNN)中的作用。我们比较了被称为S2CNN的组等效网络的性能和经过越来越多的数据增强量的标准非等级CNN。所选的体系结构可以视为相应设计范式的基线参考。我们的模型对投影到球体的MNIST或FashionMnist数据集进行了训练和评估。对于固有旋转不变的图像分类的任务,我们发现,通过大大增加数据增强量和网络的大小,标准CNN可以至少达到与Equivariant网络相同的性能。相比之下,对于固有的等效性语义分割任务,非等级网络的表现始终超过具有较少参数的模棱两可的网络。我们还分析和比较了不同网络的推理潜伏期和培训时间,从而实现了对等效架构和数据扩展之间的详细权衡考虑,以解决实际问题。实验中使用的均衡球网络可在https://github.com/janegerken/sem_seg_s2cnn上获得。
translated by 谷歌翻译
标准情况被出现为对构成组的身份保留转换的物体表示的理想性质,例如翻译和旋转。然而,由组标准规定的表示的表示的表现仍然不完全理解。我们通过提供封面函数计数定理的概括来解决这个差距,这些定理量化了可以分配给物体的等异点的线性可分离和组不变二进制二分层的数量。我们发现可分离二分法的分数由由组动作固定的空间的尺寸决定。我们展示了该关系如何扩展到卷积,元素 - 明智的非线性和全局和本地汇集等操作。虽然其他操作不会改变可分离二分法的分数,但尽管是高度非线性操作,但是局部汇集减少了分数。最后,我们在随机初始化和全培训的卷积神经网络的中间代表中测试了我们的理论,并找到了完美的协议。
translated by 谷歌翻译
我们研究小组对称性如何帮助提高端到端可区分计划算法的数据效率和概括,特别是在2D机器人路径计划问题上:导航和操纵。我们首先从价值迭代网络(VIN)正式使用卷积网络进行路径计划,因为它避免了明确构建等价类别并启用端到端计划。然后,我们证明价值迭代可以始终表示为(2D)路径计划的某种卷积形式,并将结果范式命名为对称范围(SYMPLAN)。在实施中,我们使用可进入的卷积网络来合并对称性。我们在导航和操纵方面的算法,具有给定或学习的地图,提高了与非等级同行VIN和GPPN相比,大幅度利润的训练效率和概括性能。
translated by 谷歌翻译
虽然可怕的转化扰动稳健,但是已知卷积神经网络(CNNS)在用更普通的输入的测试时间呈现时呈现极端性能劣化。最近,这种限制具有从CNNS到胶囊网络(Capsnets)的焦点转变。但是,Capsnets遭受了相对较少的理论保障的不变性。我们介绍了一个严格的数学框架,以允许不在任何谎言群体群体,专门使用卷曲(通过谎言群体),而无需胶囊。以前关于集团举报的职责受到本集团的强烈假设的阻碍,这阻止了这些技术在计算机视觉中的共同扭曲中的应用,如仿佛和同类。我们的框架可以实现over \ emph {任何}有限维谎组的组卷积。我们在基准仿射不变分类任务中凭经验验证了我们的方法,在那里我们在越野上达到了常规CNN的准确性,同时优于最先进的帽子,我们在达到$ \ SIMP 30 \%的提高。作为我们框架的普遍性的进一步说明,我们训练了一个众所周知的模型,实现了在众所周知的数据集上的卓越稳健性,其中帽子结果降低。
translated by 谷歌翻译
卷积神经网络(CNN)在翻译下是固有的等分反,但是,它们没有等效的嵌入机制来处理其他变换,例如旋转和规模变化。存在几种方法,使CNN通过设计在其他转换组下变得等效。其中,可操纵的CNN特别有效。然而,这些方法需要将滤波器重新设计标准网络,筛选涉及复杂的分析功能的预定义基的组合。我们通过实验证明,在选择的基础上的这些限制可能导致模型权重,这对主要深度学习任务进行了次优(例如,分类)。此外,这种硬烘焙的显式配方使得难以设计包括异质特征组的复合网络。为了规避此类问题,我们提出了隐含的等级网络(IEN),其通过优化与标准损耗术语相结合的多目标损耗函数来诱导标准CNN模型的不同层的等级。通过在ROT-MNIST上的VGG和RESNET模型的实验,ROT-TINIMAGENET,SCALE-MNIST和STL-10数据集上,我们表明IEN,即使是简单的配方,也要优于可操纵网络。此外,IEN促进了非均相过滤器组的构建,允许CNNS中的通道数量减少超过30%,同时保持与基线的表现。 IEN的功效进一步验证了视觉对象跟踪的难题。我们表明IEN优于最先进的旋转等级跟踪方法,同时提供更快的推理速度。
translated by 谷歌翻译
标准卷积神经网络(CNN)的卷积层与翻译一样。然而,卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近,提出了一类新的CNN,其中CNN的常规层被均衡卷积,合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换(例如旋转,反射和翻译)是不变的,并且标量值是通过消除过滤器响应的空间尺寸,使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中,我们建议整合正交力矩,该矩将功能的高阶统计数据作为编码全局不变性在旋转,反射和翻译中的有效手段。结果,网络的中间层变得模棱两可,而分类层变得不变。出于这个目的,考虑使用最广泛使用的Zernike,伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN(G-CNN)的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。
translated by 谷歌翻译
Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch.H-Nets use a rich, parameter-efficient and fixed computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.
translated by 谷歌翻译
现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数(无限发电机)而不是谎言群体。我们的模型,Lie代数卷积网络(L-Chir)可以自动发现对称性,并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块,以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接:(1)组不变损失概括场理论(2)欧拉拉格朗法令方程测量鲁棒性,(3)稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题
translated by 谷歌翻译
The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.
translated by 谷歌翻译
现有的球形卷积神经网络(CNN)框架在计算方面既可以扩展又是旋转等值的。连续的方法捕获旋转模棱两可,但通常在计算上是过时的。离散的方法提供了更有利的计算性能,但付出了损失。我们开发了一个混合离散(迪斯科)组卷积,该卷积同时均具有等效性,并且在计算上可扩展到高分辨率。虽然我们的框架可以应用于任何紧凑的组,但我们专注于球体。我们的迪斯科球形卷积不仅表现出$ \ text {so}(3)$ rotational equivariance,而且还表现出一种渐近$ \ text {so}(3)/\ text {so}(so}(so}(2)$ rotationation eporational ecorivarianciancience,对于许多应用程序(其中$ \ text {so}(n)$是特殊的正交组,代表$ n $ dimensions中的旋转)。通过稀疏的张量实现,我们可以在球体上的像素数量进行线性缩放,以供计算成本和内存使用情况。对于4K球形图像,与最有效的替代替代品量球卷积相比,我们意识到节省了$ 10^9 $的计算成本和$ 10^4 $的内存使用情况。我们将迪斯科球形CNN框架应用于球体上的许多基准密集预测问题,例如语义分割和深度估计,在所有这些问题上,我们都达到了最先进的性能。
translated by 谷歌翻译
A wide range of techniques have been proposed in recent years for designing neural networks for 3D data that are equivariant under rotation and translation of the input. Most approaches for equivariance under the Euclidean group $\mathrm{SE}(3)$ of rotations and translations fall within one of the two major categories. The first category consists of methods that use $\mathrm{SE}(3)$-convolution which generalizes classical $\mathbb{R}^3$-convolution on signals over $\mathrm{SE}(3)$. Alternatively, it is possible to use \textit{steerable convolution} which achieves $\mathrm{SE}(3)$-equivariance by imposing constraints on $\mathbb{R}^3$-convolution of tensor fields. It is known by specialists in the field that the two approaches are equivalent, with steerable convolution being the Fourier transform of $\mathrm{SE}(3)$ convolution. Unfortunately, these results are not widely known and moreover the exact relations between deep learning architectures built upon these two approaches have not been precisely described in the literature on equivariant deep learning. In this work we provide an in-depth analysis of both methods and their equivalence and relate the two constructions to multiview convolutional networks. Furthermore, we provide theoretical justifications of separability of $\mathrm{SE}(3)$ group convolution, which explain the applicability and success of some recent approaches. Finally, we express different methods using a single coherent formalism and provide explicit formulas that relate the kernels learned by different methods. In this way, our work helps to unify different previously-proposed techniques for achieving roto-translational equivariance, and helps to shed light on both the utility and precise differences between various alternatives. We also derive new TFN non-linearities from our equivalence principle and test them on practical benchmark datasets.
translated by 谷歌翻译
与特殊线性组和嵌入谎言代数结构具有基本关系。尽管谎言代数表示优雅,但很少有研究人员在同构估计与代数表达之间建立了联系。在本文中,我们提出了扭曲的卷积网络(WCN),以有效地估计SL(3)组和SL(3)代数的分组转换。为此,SL(3)组中的六个换向子组组成以形成一个跨摄影转换。对于每个子组,提出了一个翘曲函数,以将Lie代数结构桥接到其在断层扫描中的相应参数上。通过利用扭曲的卷积,同构估计得出了几个简单的伪翻译回归。通过沿着谎言拓扑行走,我们提出的WCN能够学习对构造转换不变的功能。它可以很容易地插入其他基于CNN的方法中。对POT基准和MNIST-PROJ数据集进行了广泛的实验表明,我们提出的方法对同型估计和分类都有效。
translated by 谷歌翻译
我们介绍了CheBlieset,一种对(各向异性)歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪,我们利用了几何深度学习领域的最新发展,以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组,我们开发由各向异性卷积层(Chebyshev卷积),空间汇集和解凝层制成的图形神经网络,以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式,Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性(各向异性度量)的平衡(各向异性指标)。因此,我们打开大门以更好地了解各向异性特性。此外,我们经验证明了在CIFAR10上的各向异性参数的存在(数据依赖性)甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10(图像数据)和ClimateNet(球面数据)上的这种方法的可扩展性,显示了对不同任务的显着适应性。
translated by 谷歌翻译
生成建模旨在揭示产生观察到的数据的潜在因素,这些数据通常可以被建模为自然对称性,这些对称性是通过不变和对某些转型定律等效的表现出来的。但是,当前代表这些对称性的方法是在需要构建模棱两可矢量场的连续正式化流中所掩盖的 - 抑制了它们在常规的高维生成建模域(如自然图像)中的简单应用。在本文中,我们专注于使用离散层建立归一化流量。首先,我们从理论上证明了对紧凑空间的紧凑型组的模棱两可的图。我们进一步介绍了三个新的品牌流:$ g $ - 剩余的流量,$ g $ - 耦合流量和$ g $ - inverse自动回旋的回旋流量,可以提升经典的残留剩余,耦合和反向自动性流量,并带有等效的地图, $。从某种意义上说,我们证明$ g $ equivariant的差异性可以通过$ g $ - $ residual流量映射,我们的$ g $ - 剩余流量也很普遍。最后,我们首次在诸如CIFAR-10之类的图像数据集中对我们的理论见解进行了补充,并显示出$ G $ equivariant有限的有限流量,从而提高了数据效率,更快的收敛性和提高的可能性估计。
translated by 谷歌翻译
Convolutional neural networks have been extremely successful in the image recognition domain because they ensure equivariance to translations. There have been many recent attempts to generalize this framework to other domains, including graphs and data lying on manifolds. In this paper we give a rigorous, theoretical treatment of convolution and equivariance in neural networks with respect to not just translations, but the action of any compact group. Our main result is to prove that (given some natural constraints) convolutional structure is not just a sufficient, but also a necessary condition for equivariance to the action of a compact group. Our exposition makes use of concepts from representation theory and noncommutative harmonic analysis and derives new generalized convolution formulae.
translated by 谷歌翻译
小组卷积神经网络(G-CNN)是卷积神经网络(CNN)的概括,通过在其体系结构中明确编码旋转和排列,在广泛的技术应用中脱颖而出。尽管G-CNN的成功是由它们的\ emph {emplapicit}对称偏见驱动的,但最近的一项工作表明,\ emph {隐式}对特定体系结构的偏差是理解过度参数化神经网的概​​括的关键。在这种情况下,我们表明,通过梯度下降训练了二进制分类的$ L $ layer全宽线性G-CNN,将二进制分类收敛到具有低级别傅立叶矩阵系数的解决方案,并由$ 2/l $ -schatten矩阵规范正规化。我们的工作严格概括了先前对线性CNN的隐性偏差对线性G-CNN的隐性分析,包括所有有限组,包括非交换组的挑战性设置(例如排列),以及无限组的频段限制G-CNN 。我们通过在各个组上实验验证定理,并在经验上探索更现实的非线性网络,该网络在局部捕获了相似的正则化模式。最后,我们通过不确定性原理提供了对傅立叶空间隐式正则化的直观解释。
translated by 谷歌翻译
散射变换是一种基于多层的小波的深度学习架构,其充当卷积神经网络的模型。最近,几种作品引入了非欧几里德设置的散射变换的概括,例如图形。我们的工作通过基于非常一般的非对称小波来引入图形的窗口和非窗口几何散射变换来构建这些结构。我们表明,这些不对称的图形散射变换具有许多与其对称对应的相同的理论保证。结果,所提出的结构统一并扩展了许多现有图散射架构的已知理论结果。在这样做时,这项工作有助于通过引入具有可提供稳定性和不变性保证的大型网络,帮助弥合几何散射和其他图形神经网络之间的差距。这些结果为未来的图形结构数据奠定了基础,对具有学习过滤器的图形结构数据,并且还可以证明具有理想的理论特性。
translated by 谷歌翻译
可进入的模型可以通过在表示理论和特征领域的语言中制定均衡性要求来提供非常通用和灵活的均衡性,这对许多视觉任务都是有效的。但是,由于3D旋转的数学更复杂,因此在2D情况下得出3D旋转模型要困难得多。在这项工作中,我们采用部分差分运算符(PDOS)来模型3D滤波器,并得出了通用的可检测3D CNN,称为PDO-S3DCNNS。我们证明,模棱两可的过滤器受线性约束的约束,可以在各种条件下有效地解决。据我们所知,PDO-S3DCNNS是3D旋转的最通用的CNN,因为它们涵盖了所有$ SO(3)$及其表示的所有常见子组,而现有方法只能应用于特定的组和特定组和表示。广泛的实验表明,我们的模型可以很好地保留在离散域中的均衡性,并且在SHREC'17检索和ISBI 2012分割任务上的表现都超过了以前的网络复杂性。
translated by 谷歌翻译