我们重新审视有限混合模型中最大似然估计量（MLE）的收敛速率的经典问题。 Wasserstein距离已成为分析这些模型参数估计的标准损耗函数，部分原因是其绕过标签切换的能力并准确地表征了具有消失权重的拟合混合物组件的行为。但是，Wasserstein距离只能捕获其余拟合混合物组件中最坏的案例收敛速率。我们证明，当对数似然函数受到惩罚以阻止消失的混合权重时，可以得出更强大的损失函数以解决Wasserstein距离的这种缺点。这些新的损失功能准确地捕获了拟合混合物组件的收敛速率的异质性，并且我们使用它们在各种混合模型中使用它们来锐化现有的侧重和均匀收敛速率。特别是，这些结果表明，受惩罚MLE的组成部分的子集通常比过去的工作预期的要快得多。我们进一步表明，其中一些结论扩展到了传统的MLE。我们的理论发现得到了一项模拟研究的支持，以说明这些改善的收敛速率。

Mixtures of regression are a powerful class of models for regression learning with respect to a highly uncertain and heterogeneous response variable of interest. In addition to being a rich predictive model for the response given some covariates, the parameters in this model class provide useful information about the heterogeneity in the data population, which is represented by the conditional distributions for the response given the covariates associated with a number of distinct but latent subpopulations. In this paper, we investigate conditions of strong identifiability, rates of convergence for conditional density and parameter estimation, and the Bayesian posterior contraction behavior arising in finite mixture of regression models, under exact-fitted and over-fitted settings and when the number of components is unknown. This theory is applicable to common choices of link functions and families of conditional distributions employed by practitioners. We provide simulation studies and data illustrations, which shed some light on the parameter learning behavior found in several popular regression mixture models reported in the literature.

我们研究一类弱识别的位置尺度混合模型，其中基于$ N $ i.d.d的最大似然估计。已知样品具有比经典$ N ^ { - \ frac {1} {2}} $错误的较低的精度。我们调查期望 - 最大化（EM）算法是否也会缓慢收敛这些模型。我们为EM提供了严格的表征，用于在一个单变量的环境中拟合弱识别的高斯混合物，其中我们证明EM算法以$ N ^ {\ FRAC {3} {4}} $步骤汇聚，并返回A处的估计欧几里德订单距离$ {n ^ { - \ frac {1} {8}}} $和$ {n ^ { - \ frac {1} {4}} {4}} {4}}分别从真实位置和比例参数。建立单变量环境中的缓慢速率需要具有两个阶段的新型本地化参数，每个阶段都涉及以人口水平应用于不同代理EM操作员的划分基于epoch的参数。我们展示了几种多元（$ d \ geq 2 $）的例子，表现出与单变量案件相同的缓慢。当拟合协方差受到限制为身份的倍数时，我们还在特殊情况下在特殊情况下以更高的尺寸证明了更高的统计率。

我们研究了非参数混合模型中的一致性以及回归的密切相关的混合物（也称为混合回归）模型，其中允许回归函数是非参数的，并且假定误差分布是高斯密度的卷积。我们在一般条件下构建统一的一致估计器，同时突出显示了将现有的点一致性结果扩展到均匀结果的几个疼痛点。最终的分析事实并非如此，并且在此过程中开发了几种新颖的技术工具。在混合回归的情况下，我们证明了回归函数的$ l^1 $收敛性，同时允许组件回归函数任意地相交，这带来了其他技术挑战。我们还考虑对一般（即非跨方向）非参数混合物的概括。

素描的Wasserstein距离（$ W^S $）是专门针对有限混合物分布的新概率距离。给定概率分布的集合$ \ MATHCAL {a} $定义的任何度量$ d $，$ w^s $定义为该指标的最判别凸扩展为space $ \ mathcal {s} = \ textrm {cons}（\ Mathcal {a}）$ \ Mathcal {a} $的元素混合物的$。我们的表示定理表明，以这种方式构建的空间$（\ MATHCAL {S}，w^s）$对$ \ MATHCAL {x} =（\ Mathcal {a}，d）$的wasserstein空间是同构的。该结果为Wasserstein距离建立了普遍性，表明它们的特征是它们具有有限混合物的判别能力。我们利用此表示定理提出了基于Kantorovich--Rubenstein二元性的估计方法，并证明了一般定理，该定理表明其估计误差可以由任何估计混合物重量和混合物组件的误差的总和来限制。这些数量的估计器。在$ p $二维离散$ k $ -mixtures的情况下，我们得出了估计$ w^s $的尖锐统计属性，我们显示的可以估计的速率与$ \ sqrt {k/n} $，达到对数因素。我们对这些边界进行了互补，以估计$ k $ - 点度量空间上的分布之间的瓦斯汀距离的风险，这与我们的上限与对数因素相匹配。该结果是用于估计离散分布之间的Wasserstein距离的第一个接近最小的下限。此外，我们构造了混合物权重的$ \ sqrt {n} $渐变正常的估计器，并得出了我们$ w^s $的估计器的$ \ sqrt {n} $分布限制。仿真研究和数据分析为新素描的瓦斯汀距离的适用性提供了强有力的支持。

我们提出了一种统一的技术，用于顺序估计分布之间的凸面分歧，包括内核最大差异等积分概率度量，$ \ varphi $ - 像Kullback-Leibler发散，以及最佳运输成本，例如Wassersein距离的权力。这是通过观察到经验凸起分歧（部分有序）反向半角分离的实现来实现的，而可交换过滤耦合，其具有这些方法的最大不等式。这些技术似乎是对置信度序列和凸分流的现有文献的互补和强大的补充。我们构建一个离线到顺序设备，将各种现有的离线浓度不等式转换为可以连续监测的时间均匀置信序列，在任意停止时间提供有效的测试或置信区间。得到的顺序边界仅在相应的固定时间范围内支付迭代对数价格，保留对问题参数的相同依赖性（如适用的尺寸或字母大小）。这些结果也适用于更一般的凸起功能，如负差分熵，实证过程的高度和V型统计。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

高斯平滑的最佳运输（GOT）框架，在Goldfeld等人开创。 （2020）并随后被一系列后续文件，在统计，机器学习，信息理论和相关领域的研究人员中迅速引起了注意。在其中做出的一个关键观察是，通过适应Get框架而不是其未平滑的对应物，可以提升用于使用经验测量来近似于近似真实数据生成分布的维度的诅咒。目前的论文表明，相关观察适用于离散指数家庭模型中非参数混合分布的估计，在Get成本下，非参数MLE的估计精度可以加速到多项式速率。这与基于无缝度量的经典子多项式速率鲜明对比，这不能从信息理论的角度来改进。我们分析中的一个关键步骤是建立高斯复杂的LipsChitz函数的新杰克逊型近似。这种洞察力弥补了分析非参数MLES和新的框架的现有技术。

本文研究了主题模型中高维，离散，可能稀疏的混合模型的估计。数据包括在$ n $独立文档中观察到的$ p $单词的多项式计数。在主题模型中，$ p \ times n $预期的单词频率矩阵被认为被分解为$ p \ times k $ word-top-topic矩阵$ a $ a $和a $ k \ times n $ topic-document $ t $ t $ 。由于两个矩阵的列代表属于概率简单的条件概率，因此$ a $的列被视为$ p $ - 二维混合组件，这些混合组件是所有文档共有的，而$ t $的列被视为$ k $二维的混合物特定文档并允许稀疏的权重。主要的兴趣是提供鲜明的，有限的样本，$ \ ell_1 $ norm收敛速率，用于混合物重量$ t $的估计量，当$ a $是已知或未知时。对于已知的$ a $，我们建议MLE估计为$ t $。我们对MLE的非标准分析不仅建立了其$ \ ell_1 $收敛率，而且揭示了一个非凡的属性：MLE，没有额外的正则化，可能完全稀疏，并且包含$ t $的真实零模式。我们进一步表明，MLE既是最佳的最佳选择，又适应了一大批稀疏主题分布中未知的稀疏性。当$ a $未知时，我们通过优化与$ a $ a $的插件的可能性功能来估计$ t $。对于任何满足与$ a $ $ a $的详细条件的估计器$ \ hat {a} $，显示出$ t $的估计器可保留为MLE建立的属性。环境尺寸$ k $和$ p $可以随着样本量而增长。我们的应用是对文档生成分布之间1-Wasserstein距离的估计。我们建议，估计和分析两个概率文档表示之间的新1-Wasserstein距离。

假设我们在$ \ mathbb {r} ^ d $和predictor x中的响应变量y在$ \ mathbb {r} ^ d $，以便为$ d \ geq 1 $。在置换或未解释的回归中，我们可以访问x和y上的单独无序数据，而不是在通常回归中的（x，y）-pabes上的数据。到目前为止，在文献中，案件$ d = 1 $已收到关注，请参阅例如近期的纸张和杂草[信息和推理，8,619--717]和Balabdaoui等人。 [J.马赫。学习。 res，22（172），1-60]。在本文中，我们考虑使用$ d \ geq 1 $的一般多变量设置。我们表明回归函数的周期性单调性的概念足以用于置换/未解释的回归模型中的识别和估计。我们在允许的回归设置中研究置换恢复，并在基于Kiefer-WolfoItz的基于代索的计算高效且易用算法[ANN。数学。统计部。，27,887--906]非参数最大似然估计和来自最佳运输理论的技术。我们在高斯噪声的相关均方方向误差误差上提供显式上限。与之前的案件的工作$ d = 1 $一样，置换/未解释的设置涉及潜在的解卷积问题的慢速（对数）收敛率。数值研究证实了我们的理论分析，并表明所提出的方法至少根据上述事先工作中的方法进行了比例，同时在计算复杂性方面取得了大量减少。

在因果推理和强盗文献中，基于观察数据的线性功能估算线性功能的问题是规范的。我们分析了首先估计治疗效果函数的广泛的两阶段程序，然后使用该数量来估计线性功能。我们证明了此类过程的均方误差上的非反应性上限：这些边界表明，为了获得非反应性最佳程序，应在特定加权$ l^2 $中最大程度地估算治疗效果的误差。 -规范。我们根据该加权规范的约束回归分析了两阶段的程序，并通过匹配非轴突局部局部最小值下限，在有限样品中建立了实例依赖性最优性。这些结果表明，除了取决于渐近效率方差之外，最佳的非质子风险除了取决于样本量支持的最富有函数类别的真实结果函数与其近似类别之间的加权规范距离。

我们研究基于度量传输的非参数密度估计器的收敛性和相关距离。这些估计量代表了利息的度量，作为传输图下选择的参考分布的推动力，其中地图是通过最大似然目标选择（等效地，将经验性的kullback-leibler损失）或其受惩罚版本选择。我们通过将M估计的技术与基于运输的密度表示的分析性能相结合，为一般惩罚措施估计量的一般类别的措施运输估计器建立了浓度不平等。然后，我们证明了我们的理论对三角形knothe-rosenblatt（kr）在$ d $维单元方面的运输的含义，并表明该估计器的惩罚和未化的版本都达到了Minimax最佳收敛速率，超过了H \ \ \'“较旧的密度类别。具体来说，我们建立了在有限的h \“较旧型球上，未确定的非参数最大似然估计，然后在某些sobolev-penalate的估计器和筛分的小波估计器中建立了最佳速率。

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。

我们研究了有限空间中值的静止随机过程的最佳运输。为了反映潜在流程的实向性，我们限制了对固定联轴器的关注，也称为联系。由此产生的最佳连接问题捕获感兴趣过程的长期平均行为的差异。我们介绍了最优联接的估算和最佳的加入成本，我们建立了温和条件下估算器的一致性。此外，在更强的混合假设下，我们为估计的最佳连接成本建立有限样本误差速率，其延伸了IID案件中的最佳已知结果。最后，我们将一致性和速率分析扩展到最佳加入问题的熵惩罚版本。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

概率分布之间的差异措施，通常被称为统计距离，在概率理论，统计和机器学习中普遍存在。为了在估计这些距离的距离时，对维度的诅咒，最近的工作已经提出了通过带有高斯内核的卷积在测量的分布中平滑局部不规则性。通过该框架的可扩展性至高维度，我们研究了高斯平滑$ P $ -wassersein距离$ \ mathsf {w} _p ^ {（\ sigma）} $的结构和统计行为，用于任意$ p \ GEQ 1 $。在建立$ \ mathsf {w} _p ^ {（\ sigma）} $的基本度量和拓扑属性之后，我们探索$ \ mathsf {w} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，其中$ \ hat {\ mu} _n $是$ n $独立观察的实证分布$ \ mu $。我们证明$ \ mathsf {w} _p ^ {（\ sigma）} $享受$ n ^ { - 1/2} $的参数经验融合速率，这对比$ n ^ { - 1 / d} $率对于未平滑的$ \ mathsf {w} _p $ why $ d \ geq 3 $。我们的证明依赖于控制$ \ mathsf {w} _p ^ {（\ sigma）} $ by $ p $ th-sting spoollow sobolev restion $ \ mathsf {d} _p ^ {（\ sigma）} $并导出限制$ \ sqrt {n} \，\ mathsf {d} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，适用于所有尺寸$ d $。作为应用程序，我们提供了使用$ \ mathsf {w} _p ^ {（\ sigma）} $的两个样本测试和最小距离估计的渐近保证，使用$ p = 2 $的实验使用$ \ mathsf {d} _2 ^ {（\ sigma）} $。

We develop and analyze M -estimation methods for divergence functionals and the likelihood ratios of two probability distributions. Our method is based on a non-asymptotic variational characterization of f -divergences, which allows the problem of estimating divergences to be tackled via convex empirical risk optimization. The resulting estimators are simple to implement, requiring only the solution of standard convex programs. We present an analysis of consistency and convergence for these estimators. Given conditions only on the ratios of densities, we show that our estimators can achieve optimal minimax rates for the likelihood ratio and the divergence functionals in certain regimes. We derive an efficient optimization algorithm for computing our estimates, and illustrate their convergence behavior and practical viability by simulations. 1