我们研究了随机向量$ {\ boldsymbol x} $ in $ \ mathbb r ^ d $的密度估计问题，概率密度$ f（\ boldsymbol x）$。对于Vertex Set $ \ {1，\ dots，d \} $上定义的生成树$ t $，树密度$ f_ {t} $是一款双变量条件密度的产品。最佳的生成树$ t ^ * $是生成树$ t $，其中klullback-leibler $ f $和$ f_ {t} $的次数是最小的。来自I.I.D.我们识别最佳树$ t ^ * $，并计算有效地构建树密度估计$ f_n $，使得没有任何规律性条件的密度$ f $，其中一个$ \ lim_ {n \ to \ indty} \int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x = 0 $ as对于LipsChitz连续$ F $与有界支持，$ \ mathbb e \ {\ int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x \} = o（n ^ {-1/4}）$。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

基于样本的连续分布信息衡量估算是统计和机器学习中的一个基本问题。在本文中，当概率密度函数属于预定的凸面族{P} $时，我们分析了从有限数量的样本计算的差分熵的估计。首先，如果$ \ mathcal {p} $的密度差异熵是无限的，显然表达出额外假设的必要性，则估计差动熵将是不可行的。随后，我们调查了足够的条件，使差动熵估计能够置信界限。特别地，假设概率密度函数是LipsChitz恒定和已知的界限支持的概率密度函数是LipsChitz的差分熵的简单直方图估计的基于差分熵的差分估计。我们的重点是在差分熵上，但我们提供了示例，表明相似的结果适用于相互信息和相对熵。

量化概率分布之间的异化的统计分歧（SDS）是统计推理和机器学习的基本组成部分。用于估计这些分歧的现代方法依赖于通过神经网络（NN）进行参数化经验变化形式并优化参数空间。这种神经估算器在实践中大量使用，但相应的性能保证是部分的，并呼吁进一步探索。特别是，涉及的两个错误源之间存在基本的权衡：近似和经验估计。虽然前者需要NN课程富有富有表现力，但后者依赖于控制复杂性。我们通过非渐近误差界限基于浅NN的基于浅NN的估计的估算权，重点关注四个流行的$ \ mathsf {f} $ - 分离 - kullback-leibler，chi squared，squared hellinger，以及总变异。我们分析依赖于实证过程理论的非渐近功能近似定理和工具。界限揭示了NN尺寸和样品数量之间的张力，并使能够表征其缩放速率，以确保一致性。对于紧凑型支持的分布，我们进一步表明，上述上三次分歧的神经估算器以适当的NN生长速率接近Minimax率 - 最佳，实现了对数因子的参数速率。

We develop and analyze M -estimation methods for divergence functionals and the likelihood ratios of two probability distributions. Our method is based on a non-asymptotic variational characterization of f -divergences, which allows the problem of estimating divergences to be tackled via convex empirical risk optimization. The resulting estimators are simple to implement, requiring only the solution of standard convex programs. We present an analysis of consistency and convergence for these estimators. Given conditions only on the ratios of densities, we show that our estimators can achieve optimal minimax rates for the likelihood ratio and the divergence functionals in certain regimes. We derive an efficient optimization algorithm for computing our estimates, and illustrate their convergence behavior and practical viability by simulations. 1

度量的运输提供了一种用于建模复杂概率分布的多功能方法，并具有密度估计，贝叶斯推理，生成建模及其他方法的应用。单调三角传输地图$ \ unicode {x2014} $近似值$ \ unicode {x2013} $ rosenblatt（kr）重新安排$ \ unicode {x2014} $是这些任务的规范选择。然而，此类地图的表示和参数化对它们的一般性和表现力以及对从数据学习地图学习（例如，通过最大似然估计）出现的优化问题的属性产生了重大影响。我们提出了一个通用框架，用于通过平滑函数的可逆变换来表示单调三角图。我们建立了有关转化的条件，以使相关的无限维度最小化问题没有伪造的局部最小值，即所有局部最小值都是全球最小值。我们展示了满足某些尾巴条件的目标分布，唯一的全局最小化器与KR地图相对应。鉴于来自目标的样品，我们提出了一种自适应算法，该算法估计了基础KR映射的稀疏半参数近似。我们证明了如何将该框架应用于关节和条件密度估计，无可能的推断以及有向图形模型的结构学习，并在一系列样本量之间具有稳定的概括性能。

我们表明，具有二进制隐藏单元的深度信念网络可以在可见节点的父母密度上近似于任何多元概率密度。近似值以$ l^q $ -norm为$ q \ in [1，\ infty] $（$ q = \ infty $，对应于最高标准）和kullback-leibler Divergence。此外，我们根据隐藏单元数量在近似误差上建立了尖锐的定量界限。

We consider the problem of estimating a multivariate function $f_0$ of bounded variation (BV), from noisy observations $y_i = f_0(x_i) + z_i$ made at random design points $x_i \in \mathbb{R}^d$, $i=1,\ldots,n$. We study an estimator that forms the Voronoi diagram of the design points, and then solves an optimization problem that regularizes according to a certain discrete notion of total variation (TV): the sum of weighted absolute differences of parameters $\theta_i,\theta_j$ (which estimate the function values $f_0(x_i),f_0(x_j)$) at all neighboring cells $i,j$ in the Voronoi diagram. This is seen to be equivalent to a variational optimization problem that regularizes according to the usual continuum (measure-theoretic) notion of TV, once we restrict the domain to functions that are piecewise constant over the Voronoi diagram. The regression estimator under consideration hence performs (shrunken) local averaging over adaptively formed unions of Voronoi cells, and we refer to it as the Voronoigram, following the ideas in Koenker (2005), and drawing inspiration from Tukey's regressogram (Tukey, 1961). Our contributions in this paper span both the conceptual and theoretical frontiers: we discuss some of the unique properties of the Voronoigram in comparison to TV-regularized estimators that use other graph-based discretizations; we derive the asymptotic limit of the Voronoi TV functional; and we prove that the Voronoigram is minimax rate optimal (up to log factors) for estimating BV functions that are essentially bounded.

给定$ n $数据点$ \ mathbb {r}^d $中的云，请考虑$ \ mathbb {r}^d $的$ m $ dimensional子空间预计点。当$ n，d $增长时，这一概率分布的集合如何？我们在零模型下考虑了这个问题。标准高斯矢量，重点是渐近方案，其中$ n，d \ to \ infty $，$ n/d \ to \ alpha \ in（0，\ infty）$，而$ m $是固定的。用$ \ mathscr {f} _ {m，\ alpha} $表示$ \ mathbb {r}^m $中的一组概率分布，在此限制中以低维度为单位，我们在此限制中建立了新的内部和外部界限$ \ mathscr {f} _ {m，\ alpha} $。特别是，我们将$ \ mathscr {f} _ {m，\ alpha} $的Wasserstein Radius表征为对数因素，并以$ M = 1 $确切确定它。我们还通过kullback-leibler差异和r \'{e} NYI信息维度证明了尖锐的界限。上一个问题已应用于无监督的学习方法，例如投影追求和独立的组件分析。我们介绍了与监督学习相关的相同问题的版本，并证明了尖锐的沃斯坦斯坦半径绑定。作为一个应用程序，我们在具有$ M $隐藏神经元的两层神经网络的插值阈值上建立了上限。

我们研究了与给定的无向图$ g $相对应的图形模型的最大似然估计的问题。我们表明，最大似然估计（MLE）是几个帐篷函数的指数的乘积，每个最大集团的$ g $。虽然图形模型中的一组对数符号密度是无限维度的，但我们的结果表明，可以通过求解有限维凸优化问题来找到MLE。我们提供实施和一些示例。此外，我们证明MLE存在并且具有概率为1，只要样品数量大于$ g $ chordal时最大的$ g $集团的大小。我们证明，当图$ g $是集团的不交联时，MLE是一致的。最后，我们讨论了$ g $的图形模型中的对数 - 串联密度在$ g $中具有对数符号分解的条件。

我们研究基于度量传输的非参数密度估计器的收敛性和相关距离。这些估计量代表了利息的度量，作为传输图下选择的参考分布的推动力，其中地图是通过最大似然目标选择（等效地，将经验性的kullback-leibler损失）或其受惩罚版本选择。我们通过将M估计的技术与基于运输的密度表示的分析性能相结合，为一般惩罚措施估计量的一般类别的措施运输估计器建立了浓度不平等。然后，我们证明了我们的理论对三角形knothe-rosenblatt（kr）在$ d $维单元方面的运输的含义，并表明该估计器的惩罚和未化的版本都达到了Minimax最佳收敛速率，超过了H \ \ \'“较旧的密度类别。具体来说，我们建立了在有限的h \“较旧型球上，未确定的非参数最大似然估计，然后在某些sobolev-penalate的估计器和筛分的小波估计器中建立了最佳速率。

概率分布之间的差异措施，通常被称为统计距离，在概率理论，统计和机器学习中普遍存在。为了在估计这些距离的距离时，对维度的诅咒，最近的工作已经提出了通过带有高斯内核的卷积在测量的分布中平滑局部不规则性。通过该框架的可扩展性至高维度，我们研究了高斯平滑$ P $ -wassersein距离$ \ mathsf {w} _p ^ {（\ sigma）} $的结构和统计行为，用于任意$ p \ GEQ 1 $。在建立$ \ mathsf {w} _p ^ {（\ sigma）} $的基本度量和拓扑属性之后，我们探索$ \ mathsf {w} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，其中$ \ hat {\ mu} _n $是$ n $独立观察的实证分布$ \ mu $。我们证明$ \ mathsf {w} _p ^ {（\ sigma）} $享受$ n ^ { - 1/2} $的参数经验融合速率，这对比$ n ^ { - 1 / d} $率对于未平滑的$ \ mathsf {w} _p $ why $ d \ geq 3 $。我们的证明依赖于控制$ \ mathsf {w} _p ^ {（\ sigma）} $ by $ p $ th-sting spoollow sobolev restion $ \ mathsf {d} _p ^ {（\ sigma）} $并导出限制$ \ sqrt {n} \，\ mathsf {d} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，适用于所有尺寸$ d $。作为应用程序，我们提供了使用$ \ mathsf {w} _p ^ {（\ sigma）} $的两个样本测试和最小距离估计的渐近保证，使用$ p = 2 $的实验使用$ \ mathsf {d} _2 ^ {（\ sigma）} $。

我们研究了非参数混合模型中的一致性以及回归的密切相关的混合物（也称为混合回归）模型，其中允许回归函数是非参数的，并且假定误差分布是高斯密度的卷积。我们在一般条件下构建统一的一致估计器，同时突出显示了将现有的点一致性结果扩展到均匀结果的几个疼痛点。最终的分析事实并非如此，并且在此过程中开发了几种新颖的技术工具。在混合回归的情况下，我们证明了回归函数的$ l^1 $收敛性，同时允许组件回归函数任意地相交，这带来了其他技术挑战。我们还考虑对一般（即非跨方向）非参数混合物的概括。

我们提出了一种基于信息的足够表示学习（MSRL）方法，该方法使用了相互信息的变异表述，并利用了深神经网络的近似能力。 MSRL以最大的互明信息和用户选择的分布来学习足够的表示形式。它可以轻松处理多维连续或分类响应变量。在给定预测变量给定预测变量给定的响应变量的条件概率密度函数的情况下，响应变量的条件概率密度函数的意义上，MSRL被证明是一致的。在适当的条件下，也建立了MSRL的非反应误差界。为了建立误差范围，我们得出了普遍的达德利对订单的不平等，这是由深度神经网络索引的u-process索引，这可能具有独立的关注。我们讨论如何确定基础数据分布的内在维度。此外，我们通过广泛的数值实验和实际数据分析评估了MSRL的性能，并证明MSRL优于某些现有的非线性降低方法。

我们研究了广义熵的连续性属性作为潜在的概率分布的函数，用动作空间和损失函数定义，并使用此属性来回答统计学习理论中的基本问题：各种学习方法的过度风险分析。我们首先在几种常用的F分歧，Wassersein距离的熵差异导出了两个分布的熵差，这取决于动作空间的距离和损失函数，以及由熵产生的Bregman发散，这也诱导了两个分布之间的欧几里德距离方面的界限。对于每个一般结果的讨论给出了示例，使用现有的熵差界进行比较，并且基于新结果导出新的相互信息上限。然后，我们将熵差异界限应用于统计学习理论。结果表明，两种流行的学习范式，频繁学习和贝叶斯学习中的过度风险都可以用不同形式的广义熵的连续性研究。然后将分析扩展到广义条件熵的连续性。扩展为贝叶斯决策提供了不匹配的分布来提供性能范围。它也会导致第三个划分的学习范式的过度风险范围，其中决策规则是在经验分布的预定分布家族的预测下进行最佳设计。因此，我们通过广义熵的连续性建立了统计学习三大范式的过度风险分析的统一方法。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

切成薄片的相互信息（SMI）定义为在随机变量的一维随机投影之间的平均值（MI）项。它是对经典MI依赖的替代度量，该量子保留了许多特性，但更可扩展到高维度。但是，对SMI本身和其估计率的定量表征取决于环境维度，这对于理解可伸缩性至关重要，仍然晦涩难懂。这项工作将原始的SMI定义扩展到$ K $ -SMI，该定义将预测视为$ k $维二维子空间，并提供了有关其依赖性尺寸的多方面帐户。在2-Wasserstein指标中使用差分熵连续性的新结果，我们对Monte Carlo（MC）基于$ K $ -SMI的估计的错误得出了尖锐的界限，并明确依赖于$ K $和环境维度，揭示了他们与样品数量的相互作用。然后，我们将MC Integrator与神经估计框架相结合，以提供端到端$ K $ -SMI估算器，为此建立了最佳的收敛率。随着尺寸的增长，我们还探索了人口$ k $ -smi的渐近学，从而为高斯近似结果提供了在适当的力矩范围下衰减的残差。我们的理论通过数值实验验证，并适用于切片Infogan，该切片完全提供了$ k $ -smi的可伸缩性问题的全面定量说明，包括SMI作为特殊情况，当$ k = 1 $。

本文研究了在两个边缘相关随机图之间恢复隐藏顶点对应的问题。我们专注于两个图形的高斯模型，其中两个图表是具有相关的高斯权重的完整图表和eRD \ h {o} sr \'enyi模型，其中两个图形是从常见的父erd \ h {o} sr \'enyi附带的图$ \ mathcal {g}（n，p）$。对于以$ p = n ^ { - o（1）} $的密集图，我们证明存在尖锐的阈值，上面可以正确地匹配，而是可以正确地匹配顶点的所有消失的分数，下面是不可能正确匹配的任何正部分的下降，一种称为“全无或无关”相转变的现象。更广泛地，在高斯环境中，高于阈值，所有顶点都可以与高概率完全匹配。相比之下，对于稀疏的ERD \ h {o} sr \'enyi图表，以$ p = n ^ { - \ theta（1）} $，我们表明全部或全无的现象不再持有，我们确定阈值达到恒定因素。沿途，我们还导出了精确恢复的尖锐阈值，锐化了ERD \ H {O} S-R'enyi图中的现有结果。负面结果的证明在基于截断的第二时刻计算和“区域定理”的相互信息的紧密表征之上构建，该“区域定理”将相互信息与重建误差的积分相关联。阳性结果从对最大似然估计器的严格分析，考虑到边缘上诱导置换的循环结构。

鉴于$ n $ i.i.d.从未知的分发$ P $绘制的样本，何时可以生成更大的$ n + m $ samples，这些标题不能与$ n + m $ i.i.d区别区别。从$ p $绘制的样品？（AXELROD等人2019）将该问题正式化为样本放大问题，并为离散分布和高斯位置模型提供了最佳放大程序。然而，这些程序和相关的下限定制到特定分布类，对样本扩增的一般统计理解仍然很大程度上。在这项工作中，我们通过推出通常适用的放大程序，下限技术和与现有统计概念的联系来放置对公司统计基础的样本放大问题。我们的技术适用于一大类分布，包括指数家庭，并在样本放大和分配学习之间建立严格的联系。

Motivated by alignment of correlated sparse random graphs, we introduce a hypothesis testing problem of deciding whether or not two random trees are correlated. We obtain sufficient conditions under which this testing is impossible or feasible. We propose MPAlign, a message-passing algorithm for graph alignment inspired by the tree correlation detection problem. We prove MPAlign to succeed in polynomial time at partial alignment whenever tree detection is feasible. As a result our analysis of tree detection reveals new ranges of parameters for which partial alignment of sparse random graphs is feasible in polynomial time. We then conjecture that graph alignment is not feasible in polynomial time when the associated tree detection problem is impossible. If true, this conjecture together with our sufficient conditions on tree detection impossibility would imply the existence of a hard phase for graph alignment, i.e. a parameter range where alignment cannot be done in polynomial time even though it is known to be feasible in non-polynomial time.