本文分析了机器学习中使用的流行损失函数，称为log-cosh损失函数。已经使用此损失函数发表了许多论文，但迄今为止，文献中尚未介绍统计分析。在本文中，我们介绍了对日志cosh损失的分布函数。我们将其与类似的分布进行比较，称为Cauchy分布，并执行了特征其性质的各种统计程序。特别是，我们检查了其相关的PDF，CDF，似然函数和Fisher信息。并排考虑具有渐近偏置，渐近方差和置信区间的位置参数的MLE的cauchy和COSH分布。我们还提供了来自其他几个损失函数的强大估计器的比较，包括Huber损失函数和等级分散函数。此外，我们检查了对数字-COSH函数在分位数回归中的使用。特别是，我们确定了一个分位数分布函数，可以从中得出最大似然估计量。最后，我们将基于log-cosh的分位数m静态器与稳健的单调性与基于卷积平滑的另一种分位回归方法进行比较。

本文提出了一种解决估计条件和结构分体函数估计缺乏单调性的长期问题的新方法，也称为定量交叉问题。分位数回归是一般和经济学中的数据科学中的一个非常强大的工具。不幸的是，横穿问题一直混淆研究人员和从业者，以40多年了。已经进行了许多尝试来查找可接受的解决方案，但未发现任何简单和一般的解决方案。本文介绍了基于单个数学方程式的问题的优雅解决方案，该方程易于理解和实现在R和Python中，同时大大减少了交叉问题。在定期回归经常使用的所有领域，也可能在强大的回归中找到应用程序，尤其是在机器学习的背景下，这将是非常重要的。

我们研究通过应用具有多个初始化的梯度上升方法来源的估计器的统计特性。我们派生了该估算器的目标的人口数量，并研究了从渐近正常性和自举方法构成的置信区间（CIS）的性质。特别是，我们通过有限数量的随机初始化来分析覆盖范围。我们还通过反转可能性比率测试，得分测试和WALD测试来调查CI，我们表明所得到的CIS可能非常不同。即使MLE是棘手的，我们也提出了一种两个样本测试程序。此外，我们在随机初始化下分析了EM算法的性能，并通过有限数量的初始化导出了CI的覆盖范围。

我们解决了如何在没有严格缩放条件的情况下实现分布式分数回归中最佳推断的问题。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使现有方法的使用无效。难度通过应用于本地（每个数据源）和全局目标函数的双光滑方法解决。尽管依赖局部和全球平滑参数的精致组合，但分位数回归模型是完全参数的，从而促进了解释。在低维度中，我们为顺序定义的分布式QR估计器建立了有限样本的理论框架。这揭示了通信成本和统计错误之间的权衡。我们进一步讨论并比较了基于WALD和得分型测试和重采样技术的反转的几种替代置信集结构，并详细介绍了对更极端分数系数有效的改进。在高维度中，采用了一个稀疏的框架，其中提出的双滑目标功能与$ \ ell_1 $ -penalty相辅相成。我们表明，相应的分布式QR估计器在近乎恒定的通信回合之后达到了全球收敛率。一项彻底的模拟研究进一步阐明了我们的发现。

High-dimensional data can often display heterogeneity due to heteroscedastic variance or inhomogeneous covariate effects. Penalized quantile and expectile regression methods offer useful tools to detect heteroscedasticity in high-dimensional data. The former is computationally challenging due to the non-smooth nature of the check loss, and the latter is sensitive to heavy-tailed error distributions. In this paper, we propose and study (penalized) robust expectile regression (retire), with a focus on iteratively reweighted $\ell_1$-penalization which reduces the estimation bias from $\ell_1$-penalization and leads to oracle properties. Theoretically, we establish the statistical properties of the retire estimator under two regimes: (i) low-dimensional regime in which $d \ll n$; (ii) high-dimensional regime in which $s\ll n\ll d$ with $s$ denoting the number of significant predictors. In the high-dimensional setting, we carefully characterize the solution path of the iteratively reweighted $\ell_1$-penalized retire estimation, adapted from the local linear approximation algorithm for folded-concave regularization. Under a mild minimum signal strength condition, we show that after as many as $\log(\log d)$ iterations the final iterate enjoys the oracle convergence rate. At each iteration, the weighted $\ell_1$-penalized convex program can be efficiently solved by a semismooth Newton coordinate descent algorithm. Numerical studies demonstrate the competitive performance of the proposed procedure compared with either non-robust or quantile regression based alternatives.

合成孔径雷达（SAR）数据中的异常值（异常值）的存在以及统计图像模型中的错误指定可能导致推断不准确。为了避免此类问题，提出了基于强大的估计过程的瑞利回归模型，作为模拟此类数据的更现实的方法。本文旨在获得瑞利回归模型参数估计量与异常值的存在。提出的方法考虑了加权最大似然法，并使用模拟和测量的SAR图像提交了数值实验。使用蒙特卡洛模拟来评估有限信号长度中提出的可靠估计器性能，对离群值的敏感性和分解点。例如，非稳定估计器显示相对偏置值$ 65 $ - 折叠比损坏信号中强大方法提供的结果大。在灵敏度分析和分解点方面，强大的方案在两种措施的平均绝对值中分别降低了约96美元\％$和$ 10 \％$，以同情非稳定估计器。此外，使用两个SAR数据集比较了所提出的强稳定方案的地面类型和异常检测结果与文献中的竞争方法。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

Function estimation/approximation is viewed from the perspective of numerical optimization in function space, rather than parameter space. A connection is made between stagewise additive expansions and steepestdescent minimization. A general gradient descent "boosting" paradigm is developed for additive expansions based on any fitting criterion. Specific algorithms are presented for least-squares, least absolute deviation, and Huber-M loss functions for regression, and multiclass logistic likelihood for classification. Special enhancements are derived for the particular case where the individual additive components are regression trees, and tools for interpreting such "TreeBoost" models are presented. Gradient boosting of regression trees produces competitive, highly robust, interpretable procedures for both regression and classification, especially appropriate for mining less than clean data. Connections between this approach and the boosting methods of Freund and Shapire and Friedman, Hastie and Tibshirani are discussed.

Your use of the JSTOR archive indicates your acceptance of JSTOR's Terms and Conditions of Use, available at http://www.jstor.org/page/info/about/policies/terms.jsp. JSTOR's Terms and Conditions of Use provides, in part, that unless you have obtained prior permission, you may not download an entire issue of a journal or multiple copies of articles, and you may use content in the JSTOR archive only for your personal, non-commercial use.Please contact the publisher regarding any further use of this work. Publisher contact information may be obtained at http://www.jstor.org/action/showPublisher?publisherCode=astata.Each copy of any part of a JSTOR transmission must contain the same copyright notice that appears on the screen or printed page of such transmission. JSTOR is a not-for-profit service that helps scholars, researchers, and students discover, use, and build upon a wide range of content in a trusted digital archive. We use information technology and tools to increase productivity and facilitate new forms of scholarship. For more information about JSTOR, please contact

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

无穷小夹刀是一种估计参数模型方差的通用方法，最近也用于某些集合方法。在本文中，我们扩展了无穷小折刀，以估计任意两种模型之间的协方差。这可用于量化模型组合的不确定性，或构建测试统计信息，以比较使用相同训练数据集拟合的模型的不同模型或组合。本文中的具体示例使用了随机森林和M估计剂等模型的增强组合。我们还研究了其在XGBOOST模型的神经网络和集合上的应用。我们通过广泛的模拟及其在北京住房数据中的应用来说明差异估计的疗效，并证明了无穷小折刀协方差估算的理论一致性。

We develop a general framework for distribution-free predictive inference in regression, using conformal inference. The proposed methodology allows for the construction of a prediction band for the response variable using any estimator of the regression function. The resulting prediction band preserves the consistency properties of the original estimator under standard assumptions, while guaranteeing finite-sample marginal coverage even when these assumptions do not hold. We analyze and compare, both empirically and theoretically, the two major variants of our conformal framework: full conformal inference and split conformal inference, along with a related jackknife method. These methods offer different tradeoffs between statistical accuracy (length of resulting prediction intervals) and computational efficiency. As extensions, we develop a method for constructing valid in-sample prediction intervals called rank-one-out conformal inference, which has essentially the same computational efficiency as split conformal inference. We also describe an extension of our procedures for producing prediction bands with locally varying length, in order to adapt to heteroskedascity in the data. Finally, we propose a model-free notion of variable importance, called leave-one-covariate-out or LOCO inference. Accompanying this paper is an R package conformalInference that implements all of the proposals we have introduced. In the spirit of reproducibility, all of our empirical results can also be easily (re)generated using this package.

在本文中，我们解决了在涉及大规模数据的设置中进行统计推断的问题，这些数据可能是高度的，并且被异常值污染。数据的大量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段分布和强大的统计推断程序，通过促进稀疏性来应对高维模型。在第一阶段（称为模型选择）中，相关预测因子是通过将强大的LASSO估计器应用于不同数据子集的局部选择。然后，从每个计算节点中的变量选择通过投票方案融合，以找到完整数据集的稀疏基础。它以强大的方式识别相关变量。在第二阶段，采用了开发的统计上健壮的和计算高效的引导方法。实际推断构建体间隔，找到参数估计并量化标准偏差。与第1阶段类似，将局部推理的结果传达给融合中心并在此组合。通过使用分析方法，我们建立了鲁棒和计算有效的引导方法的有利统计特性，包括固定数量的预测因子和鲁棒性的一致性。提出的两阶段的鲁棒和分布式推理程序在变量选择中表现出可靠的性能和鲁棒性，即使数据是高度且受异常值污染的，找到置信区间和标准偏差的自举近似。

我们考虑在估计涉及依赖参数的高维滋扰的估计方程中估计一个低维参数。一个中心示例是因果推理中（局部）分位数处理效应（（L）QTE）的有效估计方程，涉及在分位数以估计的分位数评估的协方差累积分布函数。借记机学习（DML）是一种使用灵活的机器学习方法估算高维滋扰的数据分解方法，但是将其应用于参数依赖性滋扰的问题是不切实际的。对于（L）QTE，DML要求我们学习整个协变量累积分布函数。相反，我们提出了局部偏见的机器学习（LDML），该学习避免了这一繁重的步骤，并且只需要对参数进行一次初始粗糙猜测而估算烦恼。对于（L）QTE，LDML仅涉及学习两个回归功能，这是机器学习方法的标准任务。我们证明，在松弛速率条件下，我们的估计量与使用未知的真实滋扰的不可行的估计器具有相同的有利渐近行为。因此，LDML值得注意的是，当我们必须控制许多协变量和/或灵活的关系时，如（l）QTES在（（l）QTES）中，实际上可以有效地估算重要数量，例如（l）QTES。

我们提出了对使用Rademacher和Vapnik-Chervonenkis边界学习有条件的价值（VAR）和预期短缺的两步方法的非反应收敛分析。我们的VAR方法扩展到了一次学习的问题，该问题对应于不同的分数水平。这导致基于神经网络分位数和最小二乘回归的有效学习方案。引入了一个后验蒙特卡洛（非巢）程序，以估计地面真相和ES的距离，而无需访问后者。使用高斯玩具模型中的数值实验和财务案例研究中的目标是学习动态初始边缘的情况。

通常使用参数模型进行经验领域的参数估计，并且此类模型很容易促进统计推断。不幸的是，它们不太可能足够灵活，无法充分建模现实现象，并可能产生偏见的估计。相反，非参数方法是灵活的，但不容易促进统计推断，并且仍然可能表现出残留的偏见。我们探索了影响功能（IFS）的潜力（a）改善初始估计器而无需更多数据（b）增加模型的鲁棒性和（c）促进统计推断。我们首先对IFS进行广泛的介绍，并提出了一种神经网络方法“ Multinet”，该方法使用单个体系结构寻求合奏的多样性。我们还介绍了我们称为“ Multistep”的IF更新步骤的变体，并对不同方法提供了全面的评估。发现这些改进是依赖数据集的，这表明所使用的方法与数据生成过程的性质之间存在相互作用。我们的实验强调了从业人员需要通过不同的估计器组合进行多次分析来检查其发现的一致性。我们还表明，可以改善“自由”的现有神经网络，而无需更多数据，而无需重新训练。

One often wants to estimate statistical models where the probability density function is known only up to a multiplicative normalization constant. Typically, one then has to resort to Markov Chain Monte Carlo methods, or approximations of the normalization constant. Here, we propose that such models can be estimated by minimizing the expected squared distance between the gradient of the log-density given by the model and the gradient of the log-density of the observed data. While the estimation of the gradient of log-density function is, in principle, a very difficult non-parametric problem, we prove a surprising result that gives a simple formula for this objective function. The density function of the observed data does not appear in this formula, which simplifies to a sample average of a sum of some derivatives of the log-density given by the model. The validity of the method is demonstrated on multivariate Gaussian and independent component analysis models, and by estimating an overcomplete filter set for natural image data.

重要的加权是调整蒙特卡洛集成以说明错误分布中抽取的一种一般方法，但是当重要性比的右尾巴较重时，最终的估计值可能是高度可变的。当目标分布的某些方面无法通过近似分布捕获，在这种情况下，可以通过修改极端重要性比率来获得更稳定的估计。我们提出了一种新的方法，该方法使用拟合模拟重要性比率的上尾的广义帕累托分布来稳定重要性权重。该方法在经验上的性能要比现有方法稳定重要性采样估计值更好，包括稳定的有效样本量估计，蒙特卡洛误差估计和收敛诊断。提出的帕累托$ \ hat {k} $有限样本收敛率诊断对任何蒙特卡洛估计器都有用。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

为了进一步开发异构治疗效果的统计推理问题，本文在Breiman（2001）随机林树（RFT）和Wager等人的情况下建立了使用古典的优秀统计属性来参数化非参数问题的（2018）因果树。oLs和基于协变量分数的局部线性间隔的划分，同时保留随机林树木，具有可构造的置信区间和渐近常数特性的优势[athey和Imbens（2016），efron（2014），赌第等（2014年）\ citep {wagert2014Asymptotic}，我们根据固定规则提出了一个决策树，根据固定规则与本地样本的多项式估计相结合，我们称之为临时局部线性因果树（QLPRT）和林（QLPRF）。