在统计和机器学习中具有重尾数据的模型开发强大的估计估计兴趣兴趣。本文提出了一个用于大家庭统计回归的日志截断的M估计，并在数据具有$ \ varepsilon \中的数据（0，1] $。随着相关风险函数的额外假设，我们获得了估计的$ \ ell_2 $ -Error绑定。我们的定理应用于建立具体回归的强大M估计。除了凸面回归等分位数回归之外广义线性模型，许多非凸回归也可以符合我们的定理，我们专注于强大的深度神经网络回归，这可以通过随机梯度下降算法解决。模拟和实际数据分析证明了日志截断估计的优越性超过标准估计。

在机器学习和高维统计领域的有限样本理论中，恒定指定的浓度不平等至关重要。我们获得了独立亚网络随机变量总和的更清晰和常数的浓度不平等，这导致了两个尾巴的混合物：尺寸的小偏差和较大偏差的小偏差。这些界限是新的，并通过更清晰的常数改善了现有的界限。另外，如果应保留斜体，则新的子韦布尔参数。请检查整个文本。还提出了提出的，它可以为随机变量（向量）恢复紧密浓度不平等。对于统计应用，我们给出了$ \ ell_2 $ - 估计系数在负二项式回归中的估计系数时，当重尾协变量是稀疏结构分布的亚weibull时，这是负二项式回归的新结果。在应用随机矩阵时，我们得出了Bai-Yin定理的非反应版本，用于具有指数尾巴边界的亚weibull条目。最后，通过为没有第二瞬间条件的对数截断的Z-测验器演示一个子静电区域，我们讨论并定义了独立观测值的sub-weibull类型稳健估计器$ \ {x_i \} _ {i = 1 }^{n} $没有指数矩条件。

High-dimensional data can often display heterogeneity due to heteroscedastic variance or inhomogeneous covariate effects. Penalized quantile and expectile regression methods offer useful tools to detect heteroscedasticity in high-dimensional data. The former is computationally challenging due to the non-smooth nature of the check loss, and the latter is sensitive to heavy-tailed error distributions. In this paper, we propose and study (penalized) robust expectile regression (retire), with a focus on iteratively reweighted $\ell_1$-penalization which reduces the estimation bias from $\ell_1$-penalization and leads to oracle properties. Theoretically, we establish the statistical properties of the retire estimator under two regimes: (i) low-dimensional regime in which $d \ll n$; (ii) high-dimensional regime in which $s\ll n\ll d$ with $s$ denoting the number of significant predictors. In the high-dimensional setting, we carefully characterize the solution path of the iteratively reweighted $\ell_1$-penalized retire estimation, adapted from the local linear approximation algorithm for folded-concave regularization. Under a mild minimum signal strength condition, we show that after as many as $\log(\log d)$ iterations the final iterate enjoys the oracle convergence rate. At each iteration, the weighted $\ell_1$-penalized convex program can be efficiently solved by a semismooth Newton coordinate descent algorithm. Numerical studies demonstrate the competitive performance of the proposed procedure compared with either non-robust or quantile regression based alternatives.

This paper studies the distribution estimation of contaminated data by the MoM-GAN method, which combines generative adversarial net (GAN) and median-of-mean (MoM) estimation. We use a deep neural network (DNN) with a ReLU activation function to model the generator and discriminator of the GAN. Theoretically, we derive a non-asymptotic error bound for the DNN-based MoM-GAN estimator measured by integral probability metrics with the $b$-smoothness H\"{o}lder class. The error bound decreases essentially as $n^{-b/p}\vee n^{-1/2}$, where $n$ and $p$ are the sample size and the dimension of input data. We give an algorithm for the MoM-GAN method and implement it through two real applications. The numerical results show that the MoM-GAN outperforms other competitive methods when dealing with contaminated data.

This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.

在本文中，我们利用过度参数化来设计高维单索索引模型的无规矩算法，并为诱导的隐式正则化现象提供理论保证。具体而言，我们研究了链路功能是非线性且未知的矢量和矩阵单索引模型，信号参数是稀疏向量或低秩对称矩阵，并且响应变量可以是重尾的。为了更好地理解隐含正规化的角色而没有过度的技术性，我们假设协变量的分布是先验的。对于载体和矩阵设置，我们通过采用分数函数变换和专为重尾数据的强大截断步骤来构造过度参数化最小二乘损耗功能。我们建议通过将无规则化的梯度下降应用于损耗函数来估计真实参数。当初始化接近原点并且步骤中足够小时，我们证明了所获得的解决方案在载体和矩阵案件中实现了最小的收敛统计速率。此外，我们的实验结果支持我们的理论调查结果，并表明我们的方法在$ \ ell_2 $ -staticatisticated率和变量选择一致性方面具有明确的正则化的经验卓越。

我们解决了如何在没有严格缩放条件的情况下实现分布式分数回归中最佳推断的问题。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使现有方法的使用无效。难度通过应用于本地（每个数据源）和全局目标函数的双光滑方法解决。尽管依赖局部和全球平滑参数的精致组合，但分位数回归模型是完全参数的，从而促进了解释。在低维度中，我们为顺序定义的分布式QR估计器建立了有限样本的理论框架。这揭示了通信成本和统计错误之间的权衡。我们进一步讨论并比较了基于WALD和得分型测试和重采样技术的反转的几种替代置信集结构，并详细介绍了对更极端分数系数有效的改进。在高维度中，采用了一个稀疏的框架，其中提出的双滑目标功能与$ \ ell_1 $ -penalty相辅相成。我们表明，相应的分布式QR估计器在近乎恒定的通信回合之后达到了全球收敛率。一项彻底的模拟研究进一步阐明了我们的发现。

Empirical risk minimization (ERM) and distributionally robust optimization (DRO) are popular approaches for solving stochastic optimization problems that appear in operations management and machine learning. Existing generalization error bounds for these methods depend on either the complexity of the cost function or dimension of the uncertain parameters; consequently, the performance of these methods is poor for high-dimensional problems with objective functions under high complexity. We propose a simple approach in which the distribution of uncertain parameters is approximated using a parametric family of distributions. This mitigates both sources of complexity; however, it introduces a model misspecification error. We show that this new source of error can be controlled by suitable DRO formulations. Our proposed parametric DRO approach has significantly improved generalization bounds over existing ERM / DRO methods and parametric ERM for a wide variety of settings. Our method is particularly effective under distribution shifts. We also illustrate the superior performance of our approach on both synthetic and real-data portfolio optimization and regression tasks.

This paper revisits a fundamental problem in statistical inference from a non-asymptotic theoretical viewpoint $\unicode{x2013}$ the construction of confidence sets. We establish a finite-sample bound for the estimator, characterizing its asymptotic behavior in a non-asymptotic fashion. An important feature of our bound is that its dimension dependency is captured by the effective dimension $\unicode{x2013}$ the trace of the limiting sandwich covariance $\unicode{x2013}$ which can be much smaller than the parameter dimension in some regimes. We then illustrate how the bound can be used to obtain a confidence set whose shape is adapted to the optimization landscape induced by the loss function. Unlike previous works that rely heavily on the strong convexity of the loss function, we only assume the Hessian is lower bounded at optimum and allow it to gradually becomes degenerate. This property is formalized by the notion of generalized self-concordance which originated from convex optimization. Moreover, we demonstrate how the effective dimension can be estimated from data and characterize its estimation accuracy. We apply our results to maximum likelihood estimation with generalized linear models, score matching with exponential families, and hypothesis testing with Rao's score test.

在漂亮的广义框架下，过去的世纪已经广泛研究了线性预测问题。强大的统计文献中的最新进展允许我们通过手工（MOM）中位数的棱镜分析古典线性模型的强大版本。以零碎的方式结合这些方法可能导致临时程序，以及限制每个个人捐款的受限制理论结论可能不再有效。为了完全应对这些挑战，在这项研究中，我们提供了一个统一的强大框架，包括在希尔伯特空间上具有广泛的线性预测问题，与通用丢失功能相结合。值得注意的是，我们不需要对偏远数据点的分布（$ \ mathcal {o} $）的任何假设，也不需要依赖于依赖的支持的紧凑性（$ \ mathcal {i} $）。在双规范的温和条件下，我们展示了用于拼盘级别$ \ epsilon $，这些估算器达到$ O（\ max \ left \ {| \ mathcal {o} | ^ {1/2} n ^ {-1/2}，| \ mathcal {i} | ^ {1/2} n ^ {-1} n ^ { - 1} \ rick \} + \ epsilon）$，匹配文献中最着名的速率。此速率比$ O的经典速率略慢（n ^ { - 1/2}）$，表明我们需要在错误率方面支付价格以获得强大的估计。此外，我们表明，在额外的假设下，可以提高该速率以实现所​​谓的“快速速率”。

我们在对数损失下引入条件密度估计的过程，我们调用SMP（样本Minmax预测器）。该估算器最大限度地减少了统计学习的新一般过度风险。在标准示例中，此绑定量表为$ d / n $，$ d $ d $模型维度和$ n $ sample大小，并在模型拼写条目下批判性仍然有效。作为一个不当（超出型号）的程序，SMP在模型内估算器（如最大似然估计）的内部估算器上，其风险过高的风险降低。相比，与顺序问题的方法相比，我们的界限删除了SubOltimal $ \ log n $因子，可以处理无限的类。对于高斯线性模型，SMP的预测和风险受到协变量的杠杆分数，几乎匹配了在没有条件的线性模型的噪声方差或近似误差的条件下匹配的最佳风险。对于Logistic回归，SMP提供了一种非贝叶斯方法来校准依赖于虚拟样本的概率预测，并且可以通过解决两个逻辑回归来计算。它达到了$ O的非渐近风险（（d + b ^ 2r ^ 2）/ n）$，其中$ r $绑定了特征的规范和比较参数的$ B $。相比之下，在模型内估计器内没有比$ \ min达到更好的速率（{b r} / {\ sqrt {n}}，{d e ^ {br} / {n}）$。这为贝叶斯方法提供了更实用的替代方法，这需要近似的后部采样，从而部分地解决了Foster等人提出的问题。 （2018）。

专家（MOE）模型的混合物是对数据中的异质性建模的流行框架，由于其灵活性以及可用的统计估计和模型选择工具的丰富性，用于统计和机器学习中的回归和分类问题。这种灵活性来自于允许MOE模型中的混合物重量（或门控函数）与专家（或组件密度）一起取决于解释变量。与经典的有限混合物和回归模型的有限混合物相比，这允许由更复杂的数据生成过程产生的数据建模，该过程的混合参数与协变量无关。从计算的角度来看，当解释变量的数量可能大于样本量时，MOE模型在高维度中的使用是挑战的，尤其是从理论的角度来看，文献是对于统计估计和特征选择问题，仍缺乏处理维度诅咒的结果。我们考虑具有软马克斯门控函数和高斯专家的有限MOE模型，用于在异质数据上进行高维回归，并通过Lasso进行$ L_1 $调查的估计。我们专注于拉索估计属性，而不是其特征选择属性。我们在LASSO函数的正规化参数上提供了一个下限，该参数确保了根据Kullback-Leibler损失，Lasso估算器满足了$ L_1 $ -ORACLE不平等。

我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。

在本文中，我们研究了非交互性局部差异隐私（NLDP）模型中估计平滑普遍线性模型（GLM）的问题。与其经典设置不同，我们的模型允许服务器访问一些其他公共但未标记的数据。在本文的第一部分中，我们专注于GLM。具体而言，我们首先考虑每个数据记录均为I.I.D.的情况。从零均值的多元高斯分布中取样。由Stein的引理动机，我们提出了GLMS的$（Epsilon，\ delta）$ -NLDP算法。此外，算法的公共数据和私人数据的示例复杂性以实现$ \ alpha $的$ \ ell_2 $ -norm估计错误（具有高概率）为$ {o}（p \ alpha^{ - 2}）$和$ \ tilde {o}（p^3 \ alpha^{ - 2} \ epsilon^{ - 2}）$，其中$ p $是特征向量的维度。这是对$ \ alpha^{ - 1} $中先前已知的指数或准过程的重大改进，或者在$ p $中的指数smack sample sample smack glms的复杂性，没有公共数据。然后，我们考虑一个更通用的设置，每个数据记录为I.I.D.从某些次高斯分布中取样，有限制的$ \ ell_1 $ -norm。基于Stein的引理的变体，我们提出了一个$（\ epsilon，\ delta）$ - NLDP算法，用于GLMS的公共和私人数据的样本复杂性，以实现$ \ ell_ \ elfty $ - infty $ -NOMM估计的$ \ alpha误差$是$ is $ {o}（p^2 \ alpha^{ - 2}）$和$ \ tilde {o}（p^2 \ alpha^{ - 2} \ epsilon^{ - 2}）$，温和的假设，如果$ \ alpha $不太小（{\ em i.e.，} $ \ alpha \ geq \ omega（\ frac {1} {\ sqrt {p}}}）$）。在本文的第二部分中，我们将我们的想法扩展到估计非线性回归的问题，并显示出与多元高斯和次高斯案例的GLMS相似的结果。最后，我们通过对合成和现实世界数据集的实验来证明算法的有效性。

在因果推理和强盗文献中，基于观察数据的线性功能估算线性功能的问题是规范的。我们分析了首先估计治疗效果函数的广泛的两阶段程序，然后使用该数量来估计线性功能。我们证明了此类过程的均方误差上的非反应性上限：这些边界表明，为了获得非反应性最佳程序，应在特定加权$ l^2 $中最大程度地估算治疗效果的误差。 -规范。我们根据该加权规范的约束回归分析了两阶段的程序，并通过匹配非轴突局部局部最小值下限，在有限样品中建立了实例依赖性最优性。这些结果表明，除了取决于渐近效率方差之外，最佳的非质子风险除了取决于样本量支持的最富有函数类别的真实结果函数与其近似类别之间的加权规范距离。

考虑Huber污染高斯模型下的位置与差异矩阵的同时估计问题。首先，我们在人口层面上学习最低$ F $估计，对应于具有非参数鉴别者的生成对抗方法，并在$ F $建立条件，这导致强大的估计，类似于最小距离估计的鲁棒性。更重要的是，我们开发具有简单的样条鉴别器的贸易对抗算法，其可以通过嵌套优化实现，使得可以通过给出当前发生器来最大化凹形物理函数来完全更新鉴别器参数。提出的方法显示，根据$ F $ -diverence和所使用的罚款，可以实现最低限度的最佳速率或接近最佳速率。我们提出了模拟研究，以证明具有经典鲁棒估算器，成对方法和神经网络鉴别器的成对方法和生成对抗方法的提出方法的优势。

我们提出了一种基于优化的基于优化的框架，用于计算差异私有M估算器以及构建差分私立置信区的新方法。首先，我们表明稳健的统计数据可以与嘈杂的梯度下降或嘈杂的牛顿方法结合使用，以便分别获得具有全局线性或二次收敛的最佳私人估算。我们在局部强大的凸起和自我协调下建立当地和全球融合保障，表明我们的私人估算变为对非私人M估计的几乎最佳附近的高概率。其次，我们通过构建我们私有M估计的渐近方差的差异私有估算来解决参数化推断的问题。这自然导致近​​似枢轴统计，用于构建置信区并进行假设检测。我们展示了偏置校正的有效性，以提高模拟中的小样本实证性能。我们说明了我们在若干数值例子中的方法的好处。

在本文中，我们提出了一种均匀抖动的一位量化方案，以进行高维统计估计。该方案包含截断，抖动和量化，作为典型步骤。作为规范示例，量化方案应用于三个估计问题：稀疏协方差矩阵估计，稀疏线性回归和矩阵完成。我们研究了高斯和重尾政权，假定重尾数据的基本分布具有有限的第二或第四刻。对于每个模型，我们根据一位量化的数据提出新的估计器。在高斯次级政权中，我们的估计器达到了对数因素的最佳最小速率，这表明我们的量化方案几乎没有额外的成本。在重尾状态下，虽然我们的估计量基本上变慢，但这些结果是在这种单位量化和重型尾部设置中的第一个结果，或者比现有可比结果表现出显着改善。此外，我们为一位压缩传感和一位矩阵完成的问题做出了巨大贡献。具体而言，我们通过凸面编程将一位压缩感传感扩展到次高斯甚至是重尾传感向量。对于一位矩阵完成，我们的方法与标准似然方法基本不同，并且可以处理具有未知分布的预量化随机噪声。提出了有关合成数据的实验结果，以支持我们的理论分析。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。