r \'{e} NYI两个分布之间的跨熵度量，即香农跨透明拷贝的概括，最近用作改进的深度学习生成对抗网络设计的损失函数。在这项工作中，我们检查了该度量的属性，并在固定分布之一以及两个分布属于指数族时得出封闭形式的表达式。我们还通过分析确定了固定高斯过程和有限的阿尔如本字母马尔可夫来源的跨凝结速率的公式。

我们为不依赖数据分布满足功能不平等的数据分布或强烈的平滑度假设提供了多项式收敛保证。假设有$ l^2 $准确的分数估计，我们可以为任何有限支撑或足够衰减的尾巴的分布获得Wasserstein距离保证，以及具有进一步平滑度假设的电视保证。

专家（MOE）模型的混合物是对数据中的异质性建模的流行框架，由于其灵活性以及可用的统计估计和模型选择工具的丰富性，用于统计和机器学习中的回归和分类问题。这种灵活性来自于允许MOE模型中的混合物重量（或门控函数）与专家（或组件密度）一起取决于解释变量。与经典的有限混合物和回归模型的有限混合物相比，这允许由更复杂的数据生成过程产生的数据建模，该过程的混合参数与协变量无关。从计算的角度来看，当解释变量的数量可能大于样本量时，MOE模型在高维度中的使用是挑战的，尤其是从理论的角度来看，文献是对于统计估计和特征选择问题，仍缺乏处理维度诅咒的结果。我们考虑具有软马克斯门控函数和高斯专家的有限MOE模型，用于在异质数据上进行高维回归，并通过Lasso进行$ L_1 $调查的估计。我们专注于拉索估计属性，而不是其特征选择属性。我们在LASSO函数的正规化参数上提供了一个下限，该参数确保了根据Kullback-Leibler损失，Lasso估算器满足了$ L_1 $ -ORACLE不平等。

本文提出了新的偏差不等式，其在多武装强盗模型中的自适应采样下均匀地均匀。使用给定的一维指数家庭中的kullback-leibler发散来测量偏差，并且可以一次考虑几个臂。它们是通过基于分层的每个臂鞅构造而构建的，并通过将那些鞅乘以来获得。我们的偏差不平等允许我们根据广义概率比来分析一大类连续识别问题的概要概率比，并且为臂的装置的某些功能构造紧密的置信区间。

我们重新审视混合技术的方法，也称为拉普拉斯法，以研究通用指数家族中的浓度现象。将与家族的对数分区功能相关的Bregman差异的性质与超级木制混合物的方法相关联，我们建立了一个通用的结合，以控制家族参数与参数的有限样本估算之间的Bregman差异。我们的界限是时间均匀的，并且看起来很大，将经典信息增益扩展到指数式家庭，我们称之为Bregman信息收益。对于从业者而言，我们实例化了这本小说绑定到几个古典家庭，例如高斯，伯努利，指数，威布尔，帕雷托，帕尔托，泊松和卡方和卡方，从而产生了置信度的明确形式和布雷格曼信息的收益。我们从数值上进一步将所得的置信度界限与最先进的替代方案进行比较，以使其均匀浓度，并表明这种新颖的方法会产生竞争结果。最后，我们强调了集中界对某些说明性应用的好处。

We introduce and study a novel model-selection strategy for Bayesian learning, based on optimal transport, along with its associated predictive posterior law: the Wasserstein population barycenter of the posterior law over models. We first show how this estimator, termed Bayesian Wasserstein barycenter (BWB), arises naturally in a general, parameter-free Bayesian model-selection framework, when the considered Bayesian risk is the Wasserstein distance. Examples are given, illustrating how the BWB extends some classic parametric and non-parametric selection strategies. Furthermore, we also provide explicit conditions granting the existence and statistical consistency of the BWB, and discuss some of its general and specific properties, providing insights into its advantages compared to usual choices, such as the model average estimator. Finally, we illustrate how this estimator can be computed using the stochastic gradient descent (SGD) algorithm in Wasserstein space introduced in a companion paper arXiv:2201.04232v2 [math.OC], and provide a numerical example for experimental validation of the proposed method.

In this paper we derive a PAC-Bayesian-Like error bound for a class of stochastic dynamical systems with inputs, namely, for linear time-invariant stochastic state-space models (stochastic LTI systems for short). This class of systems is widely used in control engineering and econometrics, in particular, they represent a special case of recurrent neural networks. In this paper we 1) formalize the learning problem for stochastic LTI systems with inputs, 2) derive a PAC-Bayesian-Like error bound for such systems, 3) discuss various consequences of this error bound.

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

变分贝叶斯推断是一个重要的机器学习工具，可从统计数据中找到应用到机器人技术。目的是从所选家族中找到一个近似概率密度函数（PDF），从某种意义上说，它最接近贝叶斯后部。接近度通常是通过选择适当的损失功能（例如Kullback-Leibler（KL）差异）来定义的。在本文中，我们通过利用（大多数）PDF是贝叶斯希尔伯特空间的成员，在仔细定义矢量添加，标量乘法和内部产品的情况下，探讨了变异推断的新表述。我们表明，在适当的条件下，基于KL差异的变异推断可以等于迭代性投影，从欧几里得意义上讲，贝叶斯后部到对应于所选近似族的子空间上。我们通过此通用框架的细节为高斯近似家族的特定情况进行了努力，并显示了与另一种高斯变异推理方法的等效性。此外，我们讨论了表现出稀疏性的系统的含义，该系统在贝叶斯空间中自然处理，并给出了一个高维机器人状态估计问题的示例，因此可以解决。我们提供了一些初步示例，说明如何将方法应用于非高斯推论，并详细讨论该方法的局限性，以鼓励沿着这些路线进行跟进。

我们研究汤普森采样（TS）算法的遗憾，指数为家庭土匪，其中奖励分配来自一个一维指数式家庭，该家庭涵盖了许多常见的奖励分布，包括伯努利，高斯，伽玛，伽玛，指数等。我们建议汤普森采样算法，称为expts，它使用新颖的采样分布来避免估计最佳臂。我们为expts提供了严格的遗憾分析，同时产生有限的遗憾和渐近遗憾。特别是，对于带指数级家庭奖励的$ k $臂匪徒，expts of horizo​​n $ t $ sub-ucb（对于有限的时间遗憾的是问题依赖的有限时间标准） $ \ sqrt {\ log k} $，并且对于指数家庭奖励，渐近最佳。此外，我们通过在Expts中使用的采样分配外添加一个贪婪的剥削步骤，提出$^+$，以避免过度估计亚最佳武器。 expts $^+$是随时随地的强盗算法，可用于指数级的家庭奖励分布同时实现最小值和渐近最优性。我们的证明技术在概念上很简单，可以轻松地应用于用特定奖励分布分析标准的汤普森抽样。

潜在变量模型（LVM）的无监督学习被广泛用于表示机器学习中的数据。当这样的模型反映了地面真理因素和将它们映射到观察的机制时，有理由期望它们允许在下游任务中进行概括。但是，众所周知，如果不在模型类上施加限制，通常无法实现此类可识别性保证。非线性独立组件分析是如此，其中LVM通过确定性的非线性函数将统计上独立的变量映射到观察。几个伪造解决方案的家庭完全适合数据，但是可以在通用环境中构建与地面真相因素相对应的。但是，最近的工作表明，限制此类模型的功能类别可能会促进可识别性。具体而言，已经提出了在Jacobian矩阵中收集的部分衍生物的函数类，例如正交坐标转换（OCT），它们强加了Jacobian柱的正交性。在目前的工作中，我们证明了这些转换的子类，共形图，是可识别的，并提供了新颖的理论结果，这表明OCT具有防止虚假解决方案家族在通用环境中破坏可识别性的特性。

指数族在机器学习中广泛使用，包括连续和离散域中的许多分布（例如，通过SoftMax变换，Gaussian，Dirichlet，Poisson和分类分布）。这些家庭中的每个家庭的分布都有固定的支持。相比之下，对于有限域而言，最近在SoftMax稀疏替代方案（例如Sparsemax，$ \ alpha $ -entmax和Fusedmax）的稀疏替代方案中导致了带有不同支持的分布。本文基于几种技术贡献，开发了连续分布的稀疏替代方案：首先，我们定义了$ \ omega $ regultion的预测图和任意域的Fenchel-young损失（可能是无限或连续的）。对于线性参数化的家族，我们表明，Fenchel-Young损失的最小化等效于统计的矩匹配，从而概括了指数家族的基本特性。当$ \ omega $是带有参数$ \ alpha $的Tsallis negentropy时，我们将获得````trabormed rompential指数）''，其中包括$ \ alpha $ -entmax和sparsemax和sparsemax（$ \ alpha = 2 $）。对于二次能量函数，产生的密度为$ \ beta $ -Gaussians，椭圆形分布的实例，其中包含特殊情况，即高斯，双重量级，三人级和epanechnikov密度，我们为差异而得出了差异的封闭式表达式， Tsallis熵和Fenchel-Young损失。当$ \ Omega $是总变化或Sobolev正常化程序时，我们将获得Fusedmax的连续版本。最后，我们引入了连续的注意机制，从\ {1、4/3、3/3、3/2、2 \} $中得出有效的梯度反向传播算法。使用这些算法，我们证明了我们的稀疏连续分布，用于基于注意力的音频分类和视觉问题回答，表明它们允许参加时间间隔和紧凑区域。

我们研究了无限 - 马，连续状态和行动空间的政策梯度的全球融合以及熵登记的马尔可夫决策过程（MDPS）。我们考虑了在平均场状态下具有（单隐层）神经网络近似（一层）神经网络近似的策略。添加了相关的平均场概率度量中的其他熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数正在沿梯度流量增加。此外，我们证明，如果按平均场测量的正则化足够，则梯度流将成倍收敛到唯一的固定溶液，这是正则化MDP物镜的独特最大化器。最后，我们研究了相对于正则参数和初始条件，沿梯度流的值函数的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei等人的开拓性工作。 2020和Agarwal等。 2020年，量化表格环境中熵调控MDP的策略梯度的全局收敛速率。

在本文中，我们介绍了超模块化$ \ mf $ -Diverences，并为它们提供了三个应用程序：（i）我们在基于超模型$ \ MF $ - 基于独立随机变量的尾部引入了Sanov的上限。分歧并表明我们的广义萨诺夫（Sanov）严格改善了普通的界限，（ii）我们考虑了有损耗的压缩问题，该问题研究了给定失真和代码长度的一组可实现的速率。我们使用互助$ \ mf $ - 信息扩展了利率 - 延伸函数，并使用超模块化$ \ mf $ -Diverences在有限的区块长度方面提供了新的，严格的更好的界限，并且（iii）我们提供了连接具有有限输入/输出共同$ \ mf $的算法的概括误差和广义率延伸问题。该连接使我们能够使用速率函数的下限来限制学习算法的概括误差。我们的界限是基于对利率延伸函数的新下限，该函数（对于某些示例）严格改善了以前最著名的界限。此外，使用超模块化$ \ mf $ -Divergences来减少问题的尺寸并获得单字母界限。

Jensen-Shannon Divergence是无界的Kullback-Leibler Divergence的著名界面对称性，可测量总的Kullback-Leibler差异与平均混合物分布。但是，高斯分布之间的詹森 - 香农差异在封闭式中不可用。为了绕过这个问题，我们使用抽象方式提出了Jensen-Shannon（JS）差异的概括，当根据分布的参数家族选择均值时，该抽象方式会产生封闭形式的表达式。更普遍地，我们使用从抽象手段得出的广义统计混合物来定义任何距离的JS隔离化。特别是，我们首先表明几何平均值非常适合指数族，并报告了（i）（i）同一指数家族概率密度之间的几何詹森 - 香农（Jensen-Shannon）的两种封闭式公式，以及（ii）几何学反向kullback-leibler发散的JS对称。作为第二个说明示例，我们表明，谐波平均值非常适合cauchy分布，并报告了缩放尺度分布之间的谐波詹森 - 香农差异的封闭式公式。我们还定义了矩阵（例如量子Jensen-Shannon Diverences）之间的广义詹森 - 香农差异，并考虑了这些新颖的詹森 - 香农分歧的聚类。

在多代理加固学习（MARL）中，多个代理商与普通环境相互作用，也与彼此相互作用，以解决连续决策中的共同问题。它在博彩，机器人，金融等中具有广泛的应用。在这项工作中，我们推导了一种在Marl中有用的分布式非线性随机近似方案的迭代对数的新规定。特别是，我们的结果描述了几乎每个样本路径上的收敛速度，其中算法会聚。这一结果是其分布式设置中的第一类，并提供比现有的更深层次的见解，它只讨论预期的收敛率或CLT感觉。重要的是，我们的结果在显着较弱的假设下保持：八卦矩阵都不需要是双随机的，也不是Spandsize Scalual。作为一个应用程序，我们表明，对于使用$ \ gamma \ In（0,1）中的步骤中的Spectize $ n ^ { - \ gamma} $，其中具有线性函数近似的分布式Td（0）算法具有$的收敛速度o（\ sqrt {n ^ { - \ gamma} \ ln n}）$ as;对于$ 1 / n $类型的步骤，同样是$ o（\ sqrt {n ^ { - 1} \ ln \ ln n}）$ a ..这些衰减率不依赖于描绘不同剂中相互作用的图表。

假设发行版是高斯通常促进别侵害的计算。我们考虑一个旨在实现与具有高斯的先前分配和高斯似然函数的强盗环境获得低信息比的代理，但是在应用于伯努利强盗时研究代理的性能。当代理商与Bernoulli强盗互动时，我们建立了贝叶斯遗憾的增加，相对于对高斯匪徒的信息定理束缚。如果高斯的现有分配和似然函数足够弥散，则随着时间的平方根，这种增加的增加，因此每次时间增长都会增加消失。我们的结果正式化了所谓的贝叶斯代理在漫反射错过分布的差异时所谓的贝叶斯代理人仍然有效。

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

梯度类型优化方法的证明算法依赖性的概括误差范围最近在学习理论中引起了极大的关注。但是，大多数现有的基于轨迹的分析需要对学习率（例如，快速降低学习率）或连续注​​入噪声（例如Langevin Dynamics中的高斯噪声）的限制性假设。在本文中，我们在PAC-Bayesian框架之前引入了一种新的离散数据依赖性，并证明了$ O（\ frac {1} {n} {n} {n} \ cdot \ sum_ {t = 1}^^的高概率概括限制t（\ gamma_t/\ varepsilon_t）^2 \ left \ | {\ mathbf {g} _t} _t} \ right \ |^2）for floored gd（即，梯度下降的版本具有精度下降级别$ \ varepsilon_t $） $ n $是培训样本的数量，$ \ gamma_t $是步骤$ t $，$ \ mathbf {g} _t $的学习率大致是使用所有样本计算的梯度差，并且仅使用先前的样本。 $ \ left \ | {\ mathbf {g} _t} \ right \ | $在上限和典型的范围比梯度范围norm norm $ \ left \ weft \ | {\ nabla f（w_t）} \ right \ right \ | $小得多。我们指出，我们的界限适用于非凸和非平滑场景。此外，我们的理论结果提供了测试错误的数值上限（例如，MNIST $ 0.037 $）。使用类似的技术，我们还可以为SGD的某些变体获得新的概括范围。此外，我们研究了梯度Langevin动力学（GLD）的概括界。使用同一框架与经过精心构造的先验构造的框架，我们显示了$ o（\ frac {1} {n} {n} + \ frac {l^2} {n^2} {n^2} \ sum_ {t = 1}^t（\ gamma_t/\ sigma_t）^2）$ for gld。新的$ 1/n^2 $费率是由于培训样本梯度和先验梯度之间的差异的浓度。

我们在$ \ Gamma $ -diScounted MDP中使用Polyak-Ruppert平均（A.K.A.，平均Q-Leaning）进行同步Q学习。我们为平均迭代$ \ bar {\ boldsymbol {q}}建立渐近常态。此外，我们展示$ \ bar {\ boldsymbol {q}} _ t $实际上是一个常规的渐近线性（RAL）估计值，用于最佳q-value函数$ \ boldsymbol {q} ^ * $与最有效的影响功能。它意味着平均Q学习迭代在所有RAL估算器之间具有最小的渐近方差。此外，我们为$ \ ell _ {\ infty} $错误$ \ mathbb {e} \ | \ | \ bar {\ boldsymbol {q}} _ t- \ boldsymbol {q} ^ *} ^ *} _ {\ idty} $，显示它与实例相关的下限以及最佳最低限度复杂性下限。作为一个副产品，我们发现Bellman噪音具有var-gaussian坐标，具有方差$ \ mathcal {o}（（1- \ gamma）^ {-1}）$而不是现行$ \ mathcal {o}（（1- \ Gamma）^ { - 2}）$根据标准界限奖励假设。子高斯结果有可能提高许多R1算法的样本复杂性。简而言之，我们的理论分析显示平均Q倾斜在统计上有效。