根据手头的任务，错误可能不会产生相同的后果。然而，研究有限的研究研究了错误向量中不同特征的贡献的不平衡影响。因此，我们提出功能影响平衡（FIB）得分。它衡量了两个向量之间的差异中特征是否存在平衡的影响。我们设计的FIB得分位于[0，1]中。得分接近0表示，少数功能会导致大多数错误，而得分接近1表示大多数功能都会同等地造成误差。我们使用自动编码器和变异自动编码器在不同数据集上实验研究FIB。我们展示了功能影响平衡在训练过程中如何变化，并展示其可用性以支持单输出和多输出任务的模型选择。

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

当可能的许多标签是可能的时，选择单个可以导致低精度。一个常见的替代方案，称为顶级k $分类，是选择一些数字$ k $（通常约5），并返回最高分数的$ k $标签。不幸的是，对于明确的案例，$ k> 1 $太多，对于非常暧昧的情况，$ k \ leq 5 $（例如）太小。另一种明智的策略是使用一种自适应方法，其中返回的标签数量随着计算的歧义而变化，但必须平均到所有样本的某些特定的$ k $。我们表示这种替代方案 - $ k $分类。本文在平均值的含量较低的误差率时，本文正式地表征了模糊性曲线，比固定的顶级k $分类更低。此外，它为固定尺寸和自适应分类器提供了自然估计程序，并证明了它们的一致性。最后，它报告了实际图像数据集的实验，揭示了平均值的效益 - 在实践中的价格超过高度k $分类。总的来说，当含糊不清的歧义时，平均值-$ k $永远不会比Top-$ K $更差，并且在我们的实验中，当估计时，这也持有。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

自我监督的学习（SSL）已成为无需人类注释而产生不变表示的流行方法。但是，通过在输入数据上利用先前的在线转换功能来实现所需的不变表示。结果，每个SSL框架都是针对特定数据类型（例如，视觉数据）定制的，如果将其用于其他数据集类型，则需要进行进一步的修改。另一方面，是一个通用且广泛适用的框架的自动编码器（AE），主要集中于缩小尺寸，不适合学习不变表示。本文提出了一个基于阻止退化解决方案的受限自我标签分配过程的通用SSL框架。具体而言，先前的转换函数被用无监督的对抗训练的训练过程得出，以实现不变表示。通过自我转化机制，可以从相同的输入数据生成成对的增强实例。最后，基于对比度学习的培训目标是通过利用自我标签分配和自我转化机制来设计的。尽管自我转化过程非常通用，但拟议的培训策略的表现优于基于AE结构的大多数最先进的表示方法。为了验证我们的方法的性能，我们对四种类型的数据进行实验，即视觉，音频，文本和质谱数据，并用四个定量指标进行比较。我们的比较结果表明，所提出的方法证明了鲁棒性并成功识别数据集中的模式。

变异自动编码器（VAE）学习脱离表示表示的能力使它们在实际应用中很受欢迎。但是，他们的行为尚未完全理解。例如，何时提供分离的表示形式或后倒塌的问题仍然是积极研究的领域。尽管如此，尚无对VAE学到的表示形式进行层次比较，这将进一步了解这些模型。在本文中，我们使用代表性相似性技术研究VAE的内部行为。具体而言，使用CKA和Procrustes相似性，我们发现编码器的表示早在解码器之前就学会了，并且此行为独立于超参数，学习目标和数据集。此外，在超参数和学习目标之间，编码器的表示形式与均值和方差相似。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

特征选择作为一种重要的尺寸减少技术，通过识别输入特征的基本子集来减少数据维度，这可以促进可解释的洞察学习和推理过程。算法稳定性是关于其对输入样本扰动的敏感性的算法的关键特征。在本文中，我们提出了一种创新的无监督特征选择算法，其具有可提供保证的这种稳定性。我们的算法的体系结构包括一个特征得分手和特征选择器。得分手训练了一个神经网络（NN）来全局评分所有功能，并且选择器采用从属子NN，以在本地评估选择特征的表示能力。此外，我们提供算法稳定性分析，并显示我们的算法通过泛化误差绑定的性能保证。实际数据集的广泛实验结果表明了我们所提出的算法的卓越泛化性能，以强大的基线方法。此外，我们的理论分析和我们算法选择特征的稳定性揭示的属性是经验证实的。

The central question in representation learning is what constitutes a good or meaningful representation. In this work we argue that if we consider data with inherent cluster structures, where clusters can be characterized through different means and covariances, those data structures should be represented in the embedding as well. While Autoencoders (AE) are widely used in practice for unsupervised representation learning, they do not fulfil the above condition on the embedding as they obtain a single representation of the data. To overcome this we propose a meta-algorithm that can be used to extend an arbitrary AE architecture to a tensorized version (TAE) that allows for learning cluster-specific embeddings while simultaneously learning the cluster assignment. For the linear setting we prove that TAE can recover the principle components of the different clusters in contrast to principle component of the entire data recovered by a standard AE. We validated this on planted models and for general, non-linear and convolutional AEs we empirically illustrate that tensorizing the AE is beneficial in clustering and de-noising tasks.

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

尽管其作为当今机器学习模式的数据效率低下的突出解决方案，但自我监督的学习尚未从纯粹的多功能代理人的角度进行研究。在这项工作中，我们建议对齐内部主观表示，该主观表示自然地出现在多种子体的设置中，其中代理商接受相同的潜在环境国家的部分观察，可以导致更多的数据有效的陈述。我们提出了多种子体环境，其中代理商无法访问其他人的观察，而是可以在有限范围内进行通信，保证可以在个人代表学习中利用的常见上下文。原因是主观观察必然指的是基础环境国家的相同子集，并且关于这些国家的沟通可以自由地提供监督信号。为了突出沟通的重要性，我们将我们的设置称为\ Texit {社会监督的代表学习}。我们提出了一个由AutoEncoders群体组成的最小架构，在那里我们定义了丢失函数，捕获有效通信的不同方面，并检查它们对学习的表示的影响。我们表明我们所提出的架构允许出现对齐的表示。提出具有不同环境状态的不同观点引入的主观性有助于学习卓越的抽象表示，以满足环境状态的相同观点的单一AutoEncoder和AutoEncoders的群体。完全是，我们的结果表明了主观观点的沟通如何导致多助理系统中的更多抽象表现，开放有望的观点，以便在代表学习和紧急沟通的交叉口中进行未来的研究。

在本文中，我们提出了一种新的可解释性形式主义，旨在阐明测试集的每个输入变量如何影响机器学习模型的预测。因此，我们根据训练有素的机器学习决策规则提出了一个群体的解释性形式，它们是根据其对输入变量分布的可变性的反应。为了强调每个输入变量的影响，这种形式主义使用信息理论框架，该框架量化了基于熵投影的所有输入输出观测值的影响。因此，这是第一个统一和模型不可知的形式主义，使数据科学家能够解释输入变量之间的依赖性，它们对预测错误的影响以及它们对输出预测的影响。在大型样本案例中提供了熵投影的收敛速率。最重要的是，我们证明，计算框架中的解释具有低算法的复杂性，使其可扩展到现实生活中的大数据集。我们通过解释通过在各种数据集上使用XGBoost，随机森林或深层神经网络分类器（例如成人收入，MNIST，CELEBA，波士顿住房，IRIS以及合成的）上使用的复杂决策规则来说明我们的策略。最终，我们明确了基于单个观察结果的解释性策略石灰和摇摆的差异。可以通过使用自由分布的Python工具箱https://gems-ai.aniti.fr/来复制结果。

形状信息对于人类感知和认知至关重要，因此也应该在认知AI系统中发挥作用。我们采用概念空间的跨学科框架，这提出了通过低维解释相似空间提出概念知识的几何表示。这些相似度空间通常基于一小组刺激的心理不相似性评级，然后通过称为多维缩放的技术转换成空间表示。不幸的是，这种方法无法概括为新的刺激。在本文中，我们使用卷积神经网络来学习感知输入（灰度线图的像素）之间的概括映射，以及形状域的最近提出的心理相似性空间。我们调查不同的网络架构（分类网络与Autalencoder）和不同的培训制度（转移学习与多任务学习）。我们的结果表明，基于分类的多任务学习场景产生了最佳结果，但其性能对相似空间的维度相对敏感。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

We explore an original strategy for building deep networks, based on stacking layers of denoising autoencoders which are trained locally to denoise corrupted versions of their inputs. The resulting algorithm is a straightforward variation on the stacking of ordinary autoencoders. It is however shown on a benchmark of classification problems to yield significantly lower classification error, thus bridging the performance gap with deep belief networks (DBN), and in several cases surpassing it. Higher level representations learnt in this purely unsupervised fashion also help boost the performance of subsequent SVM classifiers. Qualitative experiments show that, contrary to ordinary autoencoders, denoising autoencoders are able to learn Gabor-like edge detectors from natural image patches and larger stroke detectors from digit images. This work clearly establishes the value of using a denoising criterion as a tractable unsupervised objective to guide the learning of useful higher level representations.

遇到错误的损耗压缩正成为必不可少的技术，即当今科学项目的成功，并在模拟或仪器数据获取过程中产生了大量数据。它不仅可以显着减少数据大小，而且还可以基于用户指定的错误界限控制压缩错误。自动编码器（AE）模型已被广泛用于图像压缩中，但是很少有基于AE的压缩方法支持遇到错误的功能，这是科学应用所要求的。为了解决这个问题，我们使用卷积自动编码器探索以改善科学数据的错误损失压缩，并提供以下三个关键贡献。 （1）我们对各种自动编码器模型的特性进行了深入的研究，并根据SZ模型开发了基于错误的自动编码器的框架。 （2）我们在设计的基于AE的错误压缩框架中优化了主要阶段的压缩质量，并微调块大小和潜在尺寸，并优化了潜在向量的压缩效率。 （3）我们使用五个现实世界的科学数据集评估了我们提出的解决方案，并将其与其他六项相关作品进行了比较。实验表明，我们的解决方案在测试中的所有压缩机中表现出非常具有竞争性的压缩质量。从绝对的角度来看，与SZ2.1和ZFP相比，在高压比的情况下，它可以获得更好的压缩质量（压缩率和相同数据失真的100％〜800％提高）。