共同信息（MI）已被广泛用作训练神经网络的损失正规化程序。当学习高维数据的分解或压缩表示时，这特别有效。但是，差异熵（DE）是信息的另一种基本衡量标准，在神经网络培训中尚未发现广泛使用。尽管DE提供了比MI的可能更广泛的应用程序，但现成的DE估计器要么是非可区分的，在计算上是棘手的，要么无法适应基础分布的变化。这些缺点使它们无法在神经网络培训中用作正规化器。为了解决DE先前提出的估计器中的缺点，我们在这里介绍了刀具，这是一个完全参数化的，基于DE的基于核的估计器。我们方法的灵活性还使我们能够为条件（离散变量或连续变量）以及MI构建基于刀的估计器。我们从经验上验证了高维合成数据的方法，并进一步应用它来指导神经网络的现实任务培训。我们对各种任务的实验，包括视觉域的适应性，文本公平分类和文本微调，证明了基于刀的估计的有效性。代码可以在https://github.com/g-pichler/knife上找到。

Estimating and optimizing Mutual Information (MI) is core to many problems in machine learning; however, bounding MI in high dimensions is challenging. To establish tractable and scalable objectives, recent work has turned to variational bounds parameterized by neural networks, but the relationships and tradeoffs between these bounds remains unclear. In this work, we unify these recent developments in a single framework. We find that the existing variational lower bounds degrade when the MI is large, exhibiting either high bias or high variance. To address this problem, we introduce a continuum of lower bounds that encompasses previous bounds and flexibly trades off bias and variance. On high-dimensional, controlled problems, we empirically characterize the bias and variance of the bounds and their gradients and demonstrate the effectiveness of our new bounds for estimation and representation learning.

速率 - 失真（R-D）函数，信息理论中的关键数量，其特征在于，通过任何压缩算法，通过任何压缩算法将数据源可以压缩到保真标准的基本限制。随着研究人员推动了不断提高的压缩性能，建立给定数据源的R-D功能不仅具有科学的兴趣，而且还在可能的空间上揭示了改善压缩算法的可能性。以前的解决此问题依赖于数据源上的分布假设（Gibson，2017）或仅应用于离散数据。相比之下，本文使得第一次尝试播放常规（不一定是离散的）源仅需要i.i.d的算法的算法。数据样本。我们估计高斯和高尺寸香蕉形源的R-D三明治界，以及GaN生成的图像。我们在自然图像上的R-D上限表示在各种比特率的PSNR中提高最先进的图像压缩方法的性能的空间。

We argue that the estimation of mutual information between high dimensional continuous random variables can be achieved by gradient descent over neural networks. We present a Mutual Information Neural Estimator (MINE) that is linearly scalable in dimensionality as well as in sample size, trainable through back-prop, and strongly consistent. We present a handful of applications on which MINE can be used to minimize or maximize mutual information. We apply MINE to improve adversarially trained generative models. We also use MINE to implement the Information Bottleneck, applying it to supervised classification; our results demonstrate substantial improvement in flexibility and performance in these settings.

监督表示学习的目标是为预测构建有效的数据表示。在高维复杂数据的理想非参数表示的所有特征中，充分性，低维度和脱离是最重要的。我们提出了一种深层缩小方法，以使用这些特征来学习表示表示。提出的方法是对足够降低方法的非参数概括。我们制定理想的表示学习任务是找到非参数表示，该任务最小化了表征条件独立性并促进人口层面的分离的目标函数。然后，我们使用深层神经网络在非参数上估计样品级别的目标表示。我们表明，估计的深度非参数表示是一致的，因为它的过剩风险会收敛到零。我们使用模拟和真实基准数据的广泛数值实验表明，在分类和回归的背景下，所提出的方法比现有的几种降低方法和标准深度学习模型具有更好的性能。

变异因素之间的相关性在现实数据中普遍存在。机器学习算法可能会受益于利用这种相关性，因为它们可以提高噪声数据的预测性能。然而，通常这种相关性不稳定（例如，它们可能在域，数据集或应用程序之间发生变化），我们希望避免利用它们。解剖学方法旨在学习捕获潜伏子空间变化不同因素的表示。常用方法涉及最小化潜伏子空间之间的相互信息，使得每个潜在的底层属性。但是，当属性相关时，这会失败。我们通过强制执行可用属性上的子空间之间的独立性来解决此问题，这允许我们仅删除不导致的依赖性，这些依赖性是由于训练数据中存在的相关结构。我们通过普发的方法实现这一目标，以最小化关于分类变量的子空间之间的条件互信息（CMI）。我们首先在理论上展示了CMI最小化是对高斯数据线性问题的稳健性解剖的良好目标。然后，我们基于MNIST和Celeba在现实世界数据集上应用我们的方法，并表明它会在相关偏移下产生脱屑和强大的模型，包括弱监督设置。

安全部署到现实世界的机器学习模式通常是一个具有挑战性的过程。从特定地理位置获得的数据训练的模型往往会在询问其他地方获得的数据时失败，在仿真中培训的代理可以在部署在现实世界或新颖的环境中进行适应时，以及适合于拟合的神经网络人口可能会将一些选择偏见纳入其决策过程。在这项工作中，我们描述了（i）通过（i）识别和描述了不同误差来源的新信息 - 理论观点的数据转移问题，（ii）比较最近域概括和公平探讨的一些最有前景的目标分类文献。从我们的理论分析和实证评估中，我们得出结论，需要通过关于观察到的数据，用于校正的因素的仔细考虑和数据生成过程的结构来指导模型选择程序。

过度装备数据是与生成模型的众所周知的现象，其模拟太紧密（或准确）的特定数据实例，因此可能无法可靠地预测未来的观察。在实践中，这种行为是由各种 - 有时启发式的 - 正则化技术控制，这是通过将上限发展到泛化误差的激励。在这项工作中，我们研究依赖于在跨熵损失的随机编码上依赖于随机编码的泛化误差，这通常用于深度学习进行分类问题。我们导出界定误差，示出存在根据编码分布随机生成的输入特征和潜在空间中的相应表示之间的相互信息界定的制度。我们的界限提供了对所谓的各种变分类分类中的概括的信息理解，其由Kullback-Leibler（KL）发散项进行规则化。这些结果为变分推理方法提供了高度流行的KL术语的理论理由，这些方法已经认识到作为正则化罚款有效行动。我们进一步观察了具有良好研究概念的连接，例如变形自动化器，信息丢失，信息瓶颈和Boltzmann机器。最后，我们对Mnist和CiFar数据集进行了数值实验，并表明相互信息确实高度代表了泛化误差的行为。

我们引入隐深自适应设计（iDAD），在实时与隐性模型进行适应性实验的新方法。iDAD通过学习设计政策网络的前期，然后可以在实验时快速部署摊销贝叶斯优化实验设计（BOED）的成本。该iDAD网络可以在其模拟微样品，不同于需要一个封闭的形式可能性和条件独立实验以前的设计政策工作的任何模型进行训练。在部署时，iDAD允许以毫秒为单位进行设计决策，而相比之下，需要实验本身期间繁重的计算传统BOED方法。我们说明了多项实验iDAD的适用性，并表明它提供了与隐式模型进行适应性设计一个快速和有效的机制。

适应数据分布的结构（例如对称性和转型Imarerces）是机器学习中的重要挑战。通过架构设计或通过增强数据集，可以内在学习过程中内置Inhormces。两者都需要先验的了解对称性的确切性质。缺乏这种知识，从业者求助于昂贵且耗时的调整。为了解决这个问题，我们提出了一种新的方法来学习增强变换的分布，以新的\ emph {转换风险最小化}（trm）框架。除了预测模型之外，我们还优化了从假说空间中选择的转换。作为算法框架，我们的TRM方法是（1）有效（共同学习增强和模型，以\ emph {单训练环}），（2）模块化（使用\ emph {任何训练算法），以及（3）一般（处理\ \ ich {离散和连续}增强）。理论上与标准风险最小化的TRM比较，并在其泛化误差上给出PAC-Bayes上限。我们建议通过块组成的新参数化优化富裕的增强空间，导致新的\ EMPH {随机成分增强学习}（SCALE）算法。我们在CIFAR10 / 100，SVHN上使用先前的方法（快速自身自动化和武术器）进行实际比较规模。此外，我们表明规模可以在数据分布中正确地学习某些对称性（恢复旋转Mnist上的旋转），并且还可以改善学习模型的校准。

We introduce a new representation learning approach for domain adaptation, in which data at training and test time come from similar but different distributions. Our approach is directly inspired by the theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on features that cannot discriminate between the training (source) and test (target) domains.The approach implements this idea in the context of neural network architectures that are trained on labeled data from the source domain and unlabeled data from the target domain (no labeled target-domain data is necessary). As the training progresses, the approach promotes the emergence of features that are (i) discriminative for the main learning task on the source domain and (ii) indiscriminate with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation and stochastic gradient descent, and can thus be implemented with little effort using any of the deep learning packages.We demonstrate the success of our approach for two distinct classification problems (document sentiment analysis and image classification), where state-of-the-art domain adaptation performance on standard benchmarks is achieved. We also validate the approach for descriptor learning task in the context of person re-identification application.

最近，使用自动编码器（由使用神经网络建模的编码器，渠道和解码器组成）的通信系统的端到端学习问题最近被证明是一种有希望的方法。实际采用这种学习方法面临的挑战是，在变化的渠道条件（例如无线链接）下，它需要经常对自动编码器进行重新训练，以保持低解码错误率。由于重新培训既耗时又需要大量样本，因此当通道分布迅速变化时，它变得不切实际。我们建议使用不更改编码器和解码器网络的快速和样本（几射击）域的适应方法来解决此问题。不同于常规的训练时间无监督或半监督域的适应性，在这里，我们有一个训练有素的自动编码器，来自源分布，我们希望（在测试时间）使用仅使用一个小标记的数据集和无标记的数据来适应（测试时间）到目标分布。我们的方法着重于基于高斯混合物网络的通道模型，并根据类和组件条件仿射变换制定其适应性。学习的仿射转换用于设计解码器的最佳输入转换以补偿分布变化，并有效地呈现在接近源分布的解码器输入中。在实际MMWAVE FPGA设置以及无线设置共有的许多模拟分布变化上，使用非常少量的目标域样本来证明我们方法在适应时的有效性。

设计机器学习算法准确但公平，而不是基于任何敏感属性进行区分，对于社会接受对关键应用的AI至关重要。在本文中，我们提出了一种新颖的公平表示方法，称为R \'enyi公平信息瓶颈方法（RFIB），该方法包含了代表性的效用，公平性和紧凑性的约束，并将其应用于图像分类。我们方法的一个关键属性是，与大多数先前的工作相比，我们认为人口统计学奇偶ant和均衡的赔率是公平的约束，从而使对这两个标准的满意度更加细致。利用各种方法，我们表明我们的目标产生了涉及经典信息瓶颈（IB）措施的损失函数，并根据r \'enyi nyi nyi差异$ \ alpha $在共同信息上的r \'enyi差异ib术语IB术语测量紧凑度上建立上限在输入及其编码嵌入之间。在三个不同的图像数据集（Eyepacs，celeba和Fairface）上进行实验，我们研究了$ \ alpha $参数的影响以及其他两个可调IB参数对实现效用/公平性权衡目标的影响，并表明$ \ \ \ \ Alpha $参数提供了一个额外的自由度，可用于控制表示的紧凑性。我们使用各种效用，公平性和复合效用/公平指标评估方法的性能，表明RFIB的表现优于当前最新方法。

This work investigates unsupervised learning of representations by maximizing mutual information between an input and the output of a deep neural network encoder. Importantly, we show that structure matters: incorporating knowledge about locality in the input into the objective can significantly improve a representation's suitability for downstream tasks. We further control characteristics of the representation by matching to a prior distribution adversarially. Our method, which we call Deep InfoMax (DIM), outperforms a number of popular unsupervised learning methods and compares favorably with fully-supervised learning on several classification tasks in with some standard architectures. DIM opens new avenues for unsupervised learning of representations and is an important step towards flexible formulations of representation learning objectives for specific end-goals.

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

基于样本的连续分布信息衡量估算是统计和机器学习中的一个基本问题。在本文中，当概率密度函数属于预定的凸面族{P} $时，我们分析了从有限数量的样本计算的差分熵的估计。首先，如果$ \ mathcal {p} $的密度差异熵是无限的，显然表达出额外假设的必要性，则估计差动熵将是不可行的。随后，我们调查了足够的条件，使差动熵估计能够置信界限。特别地，假设概率密度函数是LipsChitz恒定和已知的界限支持的概率密度函数是LipsChitz的差分熵的简单直方图估计的基于差分熵的差分估计。我们的重点是在差分熵上，但我们提供了示例，表明相似的结果适用于相互信息和相对熵。

提出了一种新的双峰生成模型，用于生成条件样品和关节样品，并采用学习简洁的瓶颈表示的训练方法。所提出的模型被称为变异Wyner模型，是基于网络信息理论中的两个经典问题（分布式仿真和信道综合）设计的，其中Wyner的共同信息是对公共表示简洁性的基本限制。该模型是通过最大程度地减少对称的kullback的训练 - 差异 - 变异分布和模型分布之间具有正则化项，用于常见信息，重建一致性和潜在空间匹配项，该术语是通过对逆密度比率估计技术进行的。通过与合成和现实世界数据集的联合和有条件生成的实验以及具有挑战性的零照片图像检索任务，证明了所提出的方法的实用性。

We present a variational approximation to the information bottleneck of Tishby et al. (1999). This variational approach allows us to parameterize the information bottleneck model using a neural network and leverage the reparameterization trick for efficient training. We call this method "Deep Variational Information Bottleneck", or Deep VIB. We show that models trained with the VIB objective outperform those that are trained with other forms of regularization, in terms of generalization performance and robustness to adversarial attack.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.