当数据分布在部署环境中变化时，机器学习系统可能会遇到意外问题。一个主要原因是，在训练过程中未观察到域和标签的某些组合，而是出现在测试环境中。尽管可以应用各种基于不变性的算法，但我们发现性能增长通常是微不足道的。为了正式分析此问题，我们基于同态性，均衡性的概念以及对解散的精致定义提供了组合转移问题的独特代数表述。代数要求自然得出了一种简单而有效的方法，称为模棱两可的解开转换（EDT），该方法基于标签的代数结构增强数据，并使转换满足了均衡性和分离要求。实验结果表明，不变性可能不足，并且在组合转移问题中利用均衡结构很重要。

分发班次的稳健性对于部署现实世界中的机器学习模型至关重要。尽管如此必要的，但在定义导致这些变化的潜在机制以及评估跨多个不同的分发班次的稳健性的潜在机制很少。为此，我们介绍了一种框架，可实现各种分布换档的细粒度分析。我们通过评估在合成和现实世界数据集中分为五个类别的19个不同的方法来提供对当前最先进的方法的整体分析。总的来说，我们训练超过85架模型。我们的实验框架可以很容易地扩展到包括新方法，班次和数据集。我们发现，与以前的工作〜\ citep {gulrajani20}不同，该进度已经通过标准的ERM基线进行;特别是，在许多情况下，预先训练和增强（学习或启发式）提供了大的收益。但是，最好的方法在不同的数据集和班次上不一致。

分布式概括（OOD）都是关于对环境变化的学习不变性。如果每个类中的上下文分布均匀分布，则OOD将是微不足道的，因为由于基本原则，可以轻松地删除上下文：类是上下文不变的。但是，收集这种平衡的数据集是不切实际的。学习不平衡的数据使模型偏见对上下文，从而伤害了OOD。因此，OOD的关键是上下文平衡。我们认为，在先前工作中广泛采用的假设，可以直接从偏见的类预测中注释或估算上下文偏差，从而使上下文不完整甚至不正确。相比之下，我们指出了上述原则的另一面：上下文对于类也不变，这激励我们将类（已经被标记为已标记的）视为不同环境以解决上下文偏见（没有上下文标签）。我们通过最大程度地减少阶级样本相似性的对比损失，同时确保这种相似性在所有类别中不变，从而实现这一想法。在具有各种上下文偏见和域间隙的基准测试中，我们表明，配备了我们上下文估计的简单基于重新加权的分类器实现了最新的性能。我们在https://github.com/simpleshinobu/irmcon上提供了附录中的理论理由和代码。

合并对称性可以通过定义通过转换相关的数据样本的等效类别来导致高度数据效率和可推广的模型。但是，表征转换如何在输入数据上作用通常很困难，从而限制了模型模型的适用性。我们提出了编码输入空间（例如图像）的学习对称嵌入网络（SENS），我们不知道转换的效果（例如旋转），以在这些操作下以已知方式转换的特征空间。可以通过模棱两可的任务网络端对端训练该网络，以学习明确的对称表示。我们在具有3种不同形式的对称形式的模棱两可的过渡模型的背景下验证了这种方法。我们的实验表明，SENS有助于将模棱两可的网络应用于具有复杂对称表示的数据。此外，相对于全等级和非等价基线的准确性和泛化可以提高准确性和概括。

在这项工作中，我们寻求弥合神经网络中地形组织和设备的概念。为实现这一目标，我们介绍了一种新颖的方法，用于有效地培训具有地形组织的潜变量的深度生成模型。我们表明，这种模型确实学会根据突出的特征，例如在MNIST上的数字，宽度和样式等突出特征来组织激活。此外，通过地形组织随着时间的推移（即时间相干），我们展示了如何鼓励预定义的潜空间转换运营商，以便观察到的转换输入序列 - 这是一种无监督的学习设备的原始形式。我们展示了该模型直接从序列中直接从序列中学习大约成反比的特征（即“胶囊”）并在相应变换测试序列上实现更高的似然性。通过测量推理网络的近似扩展和序列变换来定量验证标准验证。最后，我们展示了复杂转化的近似值，扩大了现有组的常量神经网络的能力。

组成概括是学习和决策的关键能力。我们专注于在面向对象的环境中进行强化学习的设置，以研究世界建模中的组成概括。我们（1）通过代数方法正式化组成概括问题，（2）研究世界模型如何实现这一目标。我们介绍了一个概念环境，对象库和两个实例，并部署了一条原则的管道来衡量概括能力。通过公式的启发，我们使用我们的框架分析了几种具有精确或没有组成概括能力的方法，并设计了一种可区分的方法，同构对象的世界模型（HOWM），可以实现柔软但更有效的组成概括。

从早期图像处理到现代计算成像，成功的模型和算法都依赖于自然信号的基本属性：对称性。在这里，对称是指信号集的不变性属性，例如翻译，旋转或缩放等转换。对称性也可以以模棱两可的形式纳入深度神经网络中，从而可以进行更多的数据效率学习。虽然近年来端到端的图像分类网络的设计方面取得了重要进展，但计算成像引入了对等效网络解决方案的独特挑战，因为我们通常只通过一些嘈杂的不良反向操作员观察图像，可能不是均等的。我们回顾了现象成像的新兴领域，并展示它如何提供改进的概括和新成像机会。在此过程中，我们展示了采集物理学与小组动作之间的相互作用，以及与迭代重建，盲目的压缩感应和自我监督学习之间的联系。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

适应数据分布的结构（例如对称性和转型Imarerces）是机器学习中的重要挑战。通过架构设计或通过增强数据集，可以内在学习过程中内置Inhormces。两者都需要先验的了解对称性的确切性质。缺乏这种知识，从业者求助于昂贵且耗时的调整。为了解决这个问题，我们提出了一种新的方法来学习增强变换的分布，以新的\ emph {转换风险最小化}（trm）框架。除了预测模型之外，我们还优化了从假说空间中选择的转换。作为算法框架，我们的TRM方法是（1）有效（共同学习增强和模型，以\ emph {单训练环}），（2）模块化（使用\ emph {任何训练算法），以及（3）一般（处理\ \ ich {离散和连续}增强）。理论上与标准风险最小化的TRM比较，并在其泛化误差上给出PAC-Bayes上限。我们建议通过块组成的新参数化优化富裕的增强空间，导致新的\ EMPH {随机成分增强学习}（SCALE）算法。我们在CIFAR10 / 100，SVHN上使用先前的方法（快速自身自动化和武术器）进行实际比较规模。此外，我们表明规模可以在数据分布中正确地学习某些对称性（恢复旋转Mnist上的旋转），并且还可以改善学习模型的校准。

有条件的独立性已被广泛用于AI，因果推理，机器学习和统计数据。我们介绍分类生物，这是一种代数结构，用于表征条件独立性的普遍特性。分类物被定义为两个类别的混合体：一个编码由对象和箭头定义的预订的晶格结构；第二个二个参数化涉及定义​​条件独立性结构的三角体对象和形态，桥梁形态提供了二进制和三元结构之间的接口。我们使用公理集的三个众所周知的示例来说明分类生物：绘画，整数价值多组和分离型。 FOUNDOROIDS将一个分类型映射到另一个分类，从而保留了由共同域中所有三种类型的箭头定义的关系。我们描述了跨官能素的自然转化，该函数是跨常规物体和三角形对象的自然变化，以构建条件独立性的通用表示。我们使用分类器之间的辅助和单核，以抽象地表征条件独立性的图形和非图形表示的忠诚。

我们如何获得世界模型，这些模型在什么以及我们的行动如何影响它方面都在终止代表外界？我们可以通过与世界互动而获得此类模型，并且我们是否可以说明数学逃亡者与他们与脑海中存在的假设现实的关系？随着机器学习不仅朝着包含观察性的代表性，而且介入介入知识的趋势，我们使用代表学习和小组理论的工具研究了这些问题。在假设我们的执行者对世界上作用的假设，我们提出了学习的方法，不仅要学习感官信息的内部表示，而且还以与世界上的行动和过渡相一致的方式来修改我们的感觉表示的行为。我们使用配备有线性作用在其潜在空间上的组表示的自动编码器，该空间对2步重建进行了训练，例如在组表示上执行合适的同构属性。与现有工作相比，我们的方法对组表示的假设更少，并且代理可以从组中采样的转换。我们从理论上激励我们的方法，并从经验上证明它可以学习群体和环境拓扑的正确表示。我们还将其在轨迹预测中的性能与以前的方法进行比较。

基于线性对称性的分解（LSBD）的定义正式化了线性分解表示的概念，但目前尚无量化LSBD的指标。这样的度量对于评估LSBD方法至关重要，并与以前的分解理解相比。我们建议$ \ mathcal {d} _ \ mathrm {lsbd} $，一种数学上的声音指标，用于量化LSBD，并为$ \ mathrm {so}（so}（2）$ groups提供了实践实现。此外，从这个指标中，我们得出了LSBD-VAE，这是一种学习LSBD表示的半监督方法。我们通过证明（1）基于VAE的常见分解方法不学习LSBD表示，（2）LSBD-VAE以及其他最近的方法可以学习LSBD表示，仅需要有限的转换监督，我们可以在转换中学习LSBD表示，从而证明了我们指标的实用性。（3）LSBD表示也实现了现有的分离指标表达的各种理想属性。

我们提出了一种新颖的机器学习体系结构，双光谱神经网络（BNNS），用于学习数据的数据表示，这些数据是对定义信号的空间中组的行为不变的。该模型结合了双光谱的ANSATZ，这是一个完整的分析定义的组不变的，也就是说，它保留了所有信号结构，同时仅删除了由于组动作而造成的变化。在这里，我们证明了BNN能够在数据中发现任意的交换群体结构，并且训练有素的模型学习了组的不可减至表示，从而可以恢复组Cayley表。值得注意的是，受过训练的网络学会了对这些组的双偏见，因此具有分析对象的稳健性，完整性和通用性。

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- \textit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

We study the problem of designing models for machine learning tasks defined on sets. In contrast to traditional approach of operating on fixed dimensional vectors, we consider objective functions defined on sets that are invariant to permutations. Such problems are widespread, ranging from estimation of population statistics [1], to anomaly detection in piezometer data of embankment dams [2], to cosmology [3,4]. Our main theorem characterizes the permutation invariant functions and provides a family of functions to which any permutation invariant objective function must belong. This family of functions has a special structure which enables us to design a deep network architecture that can operate on sets and which can be deployed on a variety of scenarios including both unsupervised and supervised learning tasks. We also derive the necessary and sufficient conditions for permutation equivariance in deep models. We demonstrate the applicability of our method on population statistic estimation, point cloud classification, set expansion, and outlier detection.

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

量子机学习（QML）模型旨在从量子状态中编码的数据中学习。最近，已经表明，几乎没有归纳偏差的模型（即，对模型中嵌入的问题没有假设）可能存在训练性和概括性问题，尤其是对于大问题。因此，开发编码与当前问题有关的信息的方案是至关重要的。在这项工作中，我们提出了一个简单但功能强大的框架，其中数据中的基本不向导用于构建QML模型，该模型通过构造尊重这些对称性。这些所谓的组不变模型产生的输出在对称组$ \ mathfrak {g} $的任何元素的动作下保持不变。我们提出了理论结果，基于$ \ mathfrak {g} $ - 不变型模型的设计，并通过几个范式QML分类任务来体现其应用程序，包括$ \ mathfrak {g} $是一个连续的谎言组，也是一个lie group，也是一个。离散对称组。值得注意的是，我们的框架使我们能够以一种优雅的方式恢复文献的几种知名算法，并发现了新的算法。综上所述，我们期望我们的结果将有助于为QML模型设计采用更多几何和群体理论方法铺平道路。

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

大多数设置深度学习的预测模型，使用Set-Scifariant操作，但它们实际上在MultiSet上运行。我们表明设置的函数不能代表多种功能上的某些功能，因此我们介绍了更适当的多种式概念概念。我们确定现有的深度设置预测网络（DSPN）可以是多机构的，而不会被设定的标准规模阻碍，并通过近似隐式差分改进它，允许更好地优化，同时更快和节省存储器。在一系列玩具实验中，我们表明，多机构的角度是有益的，在大多数情况下，我们对DSPN的变化达到了更好的结果。关于CLEVR对象性质预测，由于通过隐含分化所取得的益处，我们在最先进的评估指标中从8％到77％的最先进的槽注意力从8％提高到77％。

我们介绍了一种与数据对称性相对的学习表示形式的通用方法。核心思想是将潜在空间分解为不变因素和对称组本身。该组件在语义上分别对应于固有的数据类别，并构成姿势。学习者是自我监督的，并根据相对对称信息来渗透这些语义。该方法是由群体理论的理论结果激励的，并保证了无损，可解释和解开的表示。我们通过涉及具有多种对称性的数据集的实验来实证研究该方法。结果表明，我们的表示形式捕获数据的几何形状，并超过其他模棱两可的表示框架。