合并对称性可以通过定义通过转换相关的数据样本的等效类别来导致高度数据效率和可推广的模型。但是，表征转换如何在输入数据上作用通常很困难，从而限制了模型模型的适用性。我们提出了编码输入空间（例如图像）的学习对称嵌入网络（SENS），我们不知道转换的效果（例如旋转），以在这些操作下以已知方式转换的特征空间。可以通过模棱两可的任务网络端对端训练该网络，以学习明确的对称表示。我们在具有3种不同形式的对称形式的模棱两可的过渡模型的背景下验证了这种方法。我们的实验表明，SENS有助于将模棱两可的网络应用于具有复杂对称表示的数据。此外，相对于全等级和非等价基线的准确性和泛化可以提高准确性和概括。

组成概括是学习和决策的关键能力。我们专注于在面向对象的环境中进行强化学习的设置，以研究世界建模中的组成概括。我们（1）通过代数方法正式化组成概括问题，（2）研究世界模型如何实现这一目标。我们介绍了一个概念环境，对象库和两个实例，并部署了一条原则的管道来衡量概括能力。通过公式的启发，我们使用我们的框架分析了几种具有精确或没有组成概括能力的方法，并设计了一种可区分的方法，同构对象的世界模型（HOWM），可以实现柔软但更有效的组成概括。

我们研究小组对称性如何帮助提高端到端可区分计划算法的数据效率和概括，特别是在2D机器人路径计划问题上：导航和操纵。我们首先从价值迭代网络（VIN）正式使用卷积网络进行路径计划，因为它避免了明确构建等价类别并启用端到端计划。然后，我们证明价值迭代可以始终表示为（2D）路径计划的某种卷积形式，并将结果范式命名为对称范围（SYMPLAN）。在实施中，我们使用可进入的卷积网络来合并对称性。我们在导航和操纵方面的算法，具有给定或学习的地图，提高了与非等级同行VIN和GPPN相比，大幅度利润的训练效率和概括性能。

建设深入学习系统之间通常有足够刺激现实的细微差别的深入学习系统之间的权衡，并具有良好的感应偏差以获得高效学习。我们将残留的途径（RPPS）引入了将硬建筑限制转换为软前沿的方法，引导模型朝向结构化解决方案，同时保留捕获额外复杂性的能力。使用RPPS，我们用归纳偏差构建具有协调的归纳偏差，但不限制灵活性。我们表明RPPS对近似或错过的对称性有弹性，并且即使在对称性精确时也与完全约束的模型有效。我们展示RPP与动态系统，表格数据和加强学习的广泛适用性。在Mujoco Locomotion任务中，其中联系力和定向奖励违反了严格的标准性假设，RPP优于无基线的无模型RL代理，并且还改善了基于模型的RL的学习过渡模型。

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

我们介绍了一种与数据对称性相对的学习表示形式的通用方法。核心思想是将潜在空间分解为不变因素和对称组本身。该组件在语义上分别对应于固有的数据类别，并构成姿势。学习者是自我监督的，并根据相对对称信息来渗透这些语义。该方法是由群体理论的理论结果激励的，并保证了无损，可解释和解开的表示。我们通过涉及具有多种对称性的数据集的实验来实证研究该方法。结果表明，我们的表示形式捕获数据的几何形状，并超过其他模棱两可的表示框架。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

在这项工作中，我们寻求弥合神经网络中地形组织和设备的概念。为实现这一目标，我们介绍了一种新颖的方法，用于有效地培训具有地形组织的潜变量的深度生成模型。我们表明，这种模型确实学会根据突出的特征，例如在MNIST上的数字，宽度和样式等突出特征来组织激活。此外，通过地形组织随着时间的推移（即时间相干），我们展示了如何鼓励预定义的潜空间转换运营商，以便观察到的转换输入序列 - 这是一种无监督的学习设备的原始形式。我们展示了该模型直接从序列中直接从序列中学习大约成反比的特征（即“胶囊”）并在相应变换测试序列上实现更高的似然性。通过测量推理网络的近似扩展和序列变换来定量验证标准验证。最后，我们展示了复杂转化的近似值，扩大了现有组的常量神经网络的能力。

将对称性作为归纳偏置纳入神经网络体系结构已导致动态建模的概括，数据效率和身体一致性的提高。诸如CNN或e夫神经网络之类的方法使用重量绑定来强制执行对称性，例如偏移不变性或旋转率。但是，尽管物理定律遵守了许多对称性，但实际动力学数据很少符合严格的数学对称性，这是由于嘈杂或不完整的数据或基础动力学系统中的对称性破坏特征。我们探索近似模棱两可的网络，这些网络偏向于保存对称性，但并非严格限制这样做。通过放松的均衡约束，我们发现我们的模型可以胜过两个基线，而在模拟的湍流域和现实世界中的多流射流流中都没有对称性偏差和基线，并且具有过度严格的对称性。

运输网是最近提出的选择框架，可以从很少的专家演示中学习良好的操纵政策。转运蛋白网络如此有效的一个关键原因是，该模型将旋转模棱两可纳入挑选模块，即，该模型立即将学习的挑选知识概括为不同方向上显示的对象。本文提出了一种新颖的运输网络网络，该版本与拾音器和位置方向一样。结果，我们的模型除了像以前一样概括选择知识之外，立即将知识放置在不同的位置方向上。最终，我们的新模型比基线转运蛋白网模型更有效地有效，并且取得成功率更好。

形状空间学习的任务涉及使用良好的概括性属性映射到从潜在表示空间的列车组。通常，真实世界的形状系列具有对称性，可以定义为不改变形状本质的转换。在形状空间学习中纳入对称性的自然方式是要求将其映射到形状空间（编码器）和从形状空间（解码器）映射到相关的对称。在本文中，我们通过引入两个贡献，提出了一种在编码器和解码器中融入设备和解码器的框架：（i）适应建设通用，高效和最大富有表现力的Autorencoders的最近帧平均（FA）框架; （ii）构建自动化器等于分段欧几里德运动的分段应用于形状的不同部分。据我们所知，这是第一个完全分段的欧几里德的欧洲等自动化器建设。培训我们的框架很简单：它使用标准的重建损失，不需要引入新的损失。我们的体系结构由标准（骨干网）架构构成，具有适当的帧平均，使其成为等效。使用隐式的神经表示，在两个刚性形状数据集上测试我们的框架，并使用基于网格的神经网络的铰接形状数据集显示出技术的概括，以通过大边缘改善相关基线。特别地，我们的方法表明了概括铰接姿势的概括性的显着改善。

我们如何获得世界模型，这些模型在什么以及我们的行动如何影响它方面都在终止代表外界？我们可以通过与世界互动而获得此类模型，并且我们是否可以说明数学逃亡者与他们与脑海中存在的假设现实的关系？随着机器学习不仅朝着包含观察性的代表性，而且介入介入知识的趋势，我们使用代表学习和小组理论的工具研究了这些问题。在假设我们的执行者对世界上作用的假设，我们提出了学习的方法，不仅要学习感官信息的内部表示，而且还以与世界上的行动和过渡相一致的方式来修改我们的感觉表示的行为。我们使用配备有线性作用在其潜在空间上的组表示的自动编码器，该空间对2步重建进行了训练，例如在组表示上执行合适的同构属性。与现有工作相比，我们的方法对组表示的假设更少，并且代理可以从组中采样的转换。我们从理论上激励我们的方法，并从经验上证明它可以学习群体和环境拓扑的正确表示。我们还将其在轨迹预测中的性能与以前的方法进行比较。

我们提出了一种新颖的机器学习体系结构，双光谱神经网络（BNNS），用于学习数据的数据表示，这些数据是对定义信号的空间中组的行为不变的。该模型结合了双光谱的ANSATZ，这是一个完整的分析定义的组不变的，也就是说，它保留了所有信号结构，同时仅删除了由于组动作而造成的变化。在这里，我们证明了BNN能够在数据中发现任意的交换群体结构，并且训练有素的模型学习了组的不可减至表示，从而可以恢复组Cayley表。值得注意的是，受过训练的网络学会了对这些组的双偏见，因此具有分析对象的稳健性，完整性和通用性。

通过深度生成建模的学习表示是动态建模的强大方法，以发现数据的最简化和压缩的基础描述，然后将其用于诸如预测的其他任务。大多数学习任务具有内在的对称性，即输入变换将输出保持不变，或输出经过类似的转换。然而，学习过程通常是对这些对称性的不知情。因此，单独转换输入的学习表示可能不会有意义地相关。在本文中，我们提出了一种如此（3）个等级的深层动态模型（EQDDM），用于运动预测，用于在嵌入随对称转换的情况下变化的意义上学习输入空间的结构化表示。 EQDDM配备了等级网络，可参数化状态空间发射和转换模型。我们展示了在各种运动数据上提出了拟议模型的卓越预测性能。

离线强化学习利用大型数据集来训练政策而无需与环境进行互动。然后，可以在互动昂贵或危险的现实世界中部署学习的策略。当前算法过于拟合到训练数据集，并且在部署到环境外的分发概括时，因此表现不佳。我们的目标是通过学习Koopman潜在代表来解决这些限制，这使我们能够推断系统的潜在动态的对称性。然后利用后者在训练期间扩展其他静态离线数据集;这构成了一种新颖的数据增强框架，其反映了系统的动态，因此要被解释为对环境空间的探索。为了获得对称，我们采用Koopman理论，其中根据用于系统的测量功能空间的线性操作员表示非线性动力学，因此可以直接推断动力学的对称性。我们为对对称性的对称性的存在和性质提供了新的理论结果，这些控制系统如加强学习设置。此外，我们对我们的方法进行了多种基准脱机强化学习任务和数据集，包括D4RL，MetaWorld和RoboSuite，并通过使用我们的框架来始终如一地改善Q学习方法的最先进。

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

我们开发了一种从2D RGB图像生成3D手网格的旋转等级模型。这保证了当手的输入图像旋转时，所生成的网格经历相应的旋转。此外，这消除了经常通过无旋转标准天例的方法产生的网格中的不希望的变形。通过构建旋转等级模型，通过考虑问题的对称性，我们减少了对非常大的数据集训练的需求，以实现良好的网格重建。编码器在$ \ mathbb {z} ^ {2} $上定义的图像，并将这些映射到组$ c_ {8} $上定义的潜在函数。我们介绍了一种新颖的向量映射函数来将以$ c_ {8} $定义的函数映射到组$ \ mathrm {so}（2）$上定义的潜在点云空间。此外，我们介绍了一种3D投影函数，它从$ \ mathrm {so}（2）$潜空间中学习3D功能。最后，我们使用$ \ mathrm {so}（3）$ arifariant解码器，以确保旋转标准。我们的旋转设备模型优于现实世界数据集的最先进方法，我们证明它可以准确地捕获在输入手的旋转下产生的网格中的形状和姿势。

由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。

Modelling interactions is critical in learning complex dynamical systems, namely systems of interacting objects with highly non-linear and time-dependent behaviour. A large class of such systems can be formalized as $\textit{geometric graphs}$, $\textit{i.e.}$, graphs with nodes positioned in the Euclidean space given an $\textit{arbitrarily}$ chosen global coordinate system, for instance vehicles in a traffic scene. Notwithstanding the arbitrary global coordinate system, the governing dynamics of the respective dynamical systems are invariant to rotations and translations, also known as $\textit{Galilean invariance}$. As ignoring these invariances leads to worse generalization, in this work we propose local coordinate frames per node-object to induce roto-translation invariance to the geometric graph of the interacting dynamical system. Further, the local coordinate frames allow for a natural definition of anisotropic filtering in graph neural networks. Experiments in traffic scenes, 3D motion capture, and colliding particles demonstrate that the proposed approach comfortably outperforms the recent state-of-the-art.