我们考虑一维位置估计，其中我们从$ n $ samples $ \ lambda + \ eta_i $估算一个参数$ \ lambda $，每个$ \ eta_i $ drawn i.i.d.从已知的分销$ f $。对于固定的$ f $，最大易变估计（MLE）众所周知，在$ n \ to \ infty $中是最佳的，它是渐近正常的，差异与cram \'er-rao的差异相匹配。\ frac {1} {n \ Mathcal {i}} $，其中$ \ Mathcal {i} $是$ f $的Fisher信息。但是，这种界限不适合有限$ n $，或者当$ f $随$ n $而变化时。我们以任意$ f $和$ n $的方式显示，人们可以根据$ f $的平滑版本的渔民信息来恢复类似的理论，其中平滑半径损失了$ n $。

鉴于$ n $ i.i.d.从未知的分发$ P $绘制的样本，何时可以生成更大的$ n + m $ samples，这些标题不能与$ n + m $ i.i.d区别区别。从$ p $绘制的样品？（AXELROD等人2019）将该问题正式化为样本放大问题，并为离散分布和高斯位置模型提供了最佳放大程序。然而，这些程序和相关的下限定制到特定分布类，对样本扩增的一般统计理解仍然很大程度上。在这项工作中，我们通过推出通常适用的放大程序，下限技术和与现有统计概念的联系来放置对公司统计基础的样本放大问题。我们的技术适用于一大类分布，包括指数家庭，并在样本放大和分配学习之间建立严格的联系。

We study the fundamental task of outlier-robust mean estimation for heavy-tailed distributions in the presence of sparsity. Specifically, given a small number of corrupted samples from a high-dimensional heavy-tailed distribution whose mean $\mu$ is guaranteed to be sparse, the goal is to efficiently compute a hypothesis that accurately approximates $\mu$ with high probability. Prior work had obtained efficient algorithms for robust sparse mean estimation of light-tailed distributions. In this work, we give the first sample-efficient and polynomial-time robust sparse mean estimator for heavy-tailed distributions under mild moment assumptions. Our algorithm achieves the optimal asymptotic error using a number of samples scaling logarithmically with the ambient dimension. Importantly, the sample complexity of our method is optimal as a function of the failure probability $\tau$, having an additive $\log(1/\tau)$ dependence. Our algorithm leverages the stability-based approach from the algorithmic robust statistics literature, with crucial (and necessary) adaptations required in our setting. Our analysis may be of independent interest, involving the delicate design of a (non-spectral) decomposition for positive semi-definite matrices satisfying certain sparsity properties.

我们研究了在存在$ \ epsilon $ - 对抗异常值的高维稀疏平均值估计的问题。先前的工作为此任务获得了该任务的样本和计算有效算法，用于辅助性Subgaussian分布。在这项工作中，我们开发了第一个有效的算法，用于强大的稀疏平均值估计，而没有对协方差的先验知识。对于$ \ Mathbb r^d $上的分布，带有“认证有限”的$ t $ tum-矩和足够轻的尾巴，我们的算法达到了$ o（\ epsilon^{1-1/t}）$带有样品复杂性$的错误（\ epsilon^{1-1/t}） m =（k \ log（d））^{o（t）}/\ epsilon^{2-2/t} $。对于高斯分布的特殊情况，我们的算法达到了$ \ tilde o（\ epsilon）$的接近最佳错误，带有样品复杂性$ m = o（k^4 \ mathrm {polylog}（d）（d））/\ epsilon^^ 2 $。我们的算法遵循基于方形的总和，对算法方法的证明。我们通过统计查询和低度多项式测试的下限来补充上限，提供了证据，表明我们算法实现的样本时间 - 错误权衡在质量上是最好的。

矩阵正常模型，高斯矩阵变化分布的系列，其协方差矩阵是两个较低尺寸因子的Kronecker乘积，经常用于模拟矩阵变化数据。张量正常模型将该家庭推广到三个或更多因素的Kronecker产品。我们研究了矩阵和张量模型中协方差矩阵的Kronecker因子的估计。我们向几个自然度量中的最大似然估计器（MLE）实现的误差显示了非因素界限。与现有范围相比，我们的结果不依赖于条件良好或稀疏的因素。对于矩阵正常模型，我们所有的所有界限都是最佳的对数因子最佳，对于张量正常模型，我们对最大因数和整体协方差矩阵的绑定是最佳的，所以提供足够的样品以获得足够的样品以获得足够的样品常量Frobenius错误。在与我们的样本复杂性范围相同的制度中，我们表明迭代程序计算称为触发器算法称为触发器算法的MLE的线性地收敛，具有高概率。我们的主要工具是Fisher信息度量诱导的正面矩阵的几何中的测地强凸性。这种强大的凸起由某些随机量子通道的扩展来决定。我们还提供了数值证据，使得将触发器算法与简单的收缩估计器组合可以提高缺乏采样制度的性能。

我们重新审视耐受分发测试的问题。也就是说，给出来自未知分发$ P $超过$ \ {1，\ dots，n \} $的样本，它是$ \ varepsilon_1 $ -close到或$ \ varepsilon_2 $ -far从引用分发$ q $（总变化距离）？尽管过去十年来兴趣，但在极端情况下，这个问题很好。在无噪声设置（即，$ \ varepsilon_1 = 0 $）中，样本复杂性是$ \ theta（\ sqrt {n}）$，强大的域大小。在频谱的另一端时，当$ \ varepsilon_1 = \ varepsilon_2 / 2 $时，样本复杂性跳转到勉强su​​blinear $ \ theta（n / \ log n）$。然而，非常少于中级制度。我们充分地表征了分发测试中的公差价格，作为$ N $，$ varepsilon_1 $，$ \ varepsilon_2 $，最多一个$ \ log n $ factor。具体来说，我们显示了\ [\ tilde \ theta \ left的样本复杂性（\ frac {\ sqrt {n}} {\ varepsilon_2 ^ {2}} + \ frac {n} {\ log n} \ cdot \ max \左\ {\ frac {\ varepsilon_1} {\ varepsilon_2 ^ 2}，\ left（\ frac {\ varepsilon_1} {\ varepsilon_2 ^ 2} \右）^ {\！\！\！2} \ \ \} \右） ，\]提供两个先前已知的案例之间的顺利折衷。我们还为宽容的等价测试问题提供了类似的表征，其中$ p $和$ q $均未赘述。令人惊讶的是，在这两种情况下，对样本复杂性的主数量是比率$ \ varepsilon_1 / varepsilon_2 ^ 2 $，而不是更直观的$ \ varepsilon_1 / \ varepsilon_2 $。特别是技术兴趣是我们的下限框架，这涉及在以往的工作中处理不对称所需的新颖近似性理论工具，从而缺乏以前的作品。

在因果推理和强盗文献中，基于观察数据的线性功能估算线性功能的问题是规范的。我们分析了首先估计治疗效果函数的广泛的两阶段程序，然后使用该数量来估计线性功能。我们证明了此类过程的均方误差上的非反应性上限：这些边界表明，为了获得非反应性最佳程序，应在特定加权$ l^2 $中最大程度地估算治疗效果的误差。 -规范。我们根据该加权规范的约束回归分析了两阶段的程序，并通过匹配非轴突局部局部最小值下限，在有限样品中建立了实例依赖性最优性。这些结果表明，除了取决于渐近效率方差之外，最佳的非质子风险除了取决于样本量支持的最富有函数类别的真实结果函数与其近似类别之间的加权规范距离。

我们研究了测试有序域上的离散概率分布是否是指定数量的垃圾箱的直方图。$ k $的简洁近似值的最常见工具之一是$ k $ [n] $，是概率分布，在一组$ k $间隔上是分段常数的。直方图测试问题如下：从$ [n] $上的未知分布中给定样品$ \ mathbf {p} $，我们想区分$ \ mathbf {p} $的情况从任何$ k $ - 组织图中，总变化距离的$ \ varepsilon $ -far。我们的主要结果是针对此测试问题的样本接近最佳和计算有效的算法，以及几乎匹配的（在对数因素内）样品复杂性下限。具体而言，我们表明直方图测试问题具有样品复杂性$ \ widetilde \ theta（\ sqrt {nk} / \ varepsilon + k / \ varepsilon^2 + \ sqrt {n} / \ varepsilon^2）$。

我们呈现渐近最优的$（\ epsilon，\ delta）$差异私有机制，用于回答多个，自适应的$ \ delta $ -sursitive查询，解决Steinke和Ullman的猜想[2020]。我们的算法具有显着的优点，即它向每个查询增加独立的有界噪声，从而提供绝对误差。此外，我们在自适应数据分析中应用了我们的算法，获得了使用有限样本对某些基础分布的多个查询的改进保证。数值计算表明，界限噪声机制在许多标准设置中优于高斯机制。

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

我们研究一类弱识别的位置尺度混合模型，其中基于$ N $ i.d.d的最大似然估计。已知样品具有比经典$ N ^ { - \ frac {1} {2}} $错误的较低的精度。我们调查期望 - 最大化（EM）算法是否也会缓慢收敛这些模型。我们为EM提供了严格的表征，用于在一个单变量的环境中拟合弱识别的高斯混合物，其中我们证明EM算法以$ N ^ {\ FRAC {3} {4}} $步骤汇聚，并返回A处的估计欧几里德订单距离$ {n ^ { - \ frac {1} {8}}} $和$ {n ^ { - \ frac {1} {4}} {4}} {4}}分别从真实位置和比例参数。建立单变量环境中的缓慢速率需要具有两个阶段的新型本地化参数，每个阶段都涉及以人口水平应用于不同代理EM操作员的划分基于epoch的参数。我们展示了几种多元（$ d \ geq 2 $）的例子，表现出与单变量案件相同的缓慢。当拟合协方差受到限制为身份的倍数时，我们还在特殊情况下在特殊情况下以更高的尺寸证明了更高的统计率。

We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a constant fraction of adversarially-corrupted samples.

在这项工作中，我们研究了鲁布利地学习Mallows模型的问题。我们给出了一种算法，即使其样本的常数分数是任意损坏的恒定分数，也可以准确估计中央排名。此外，我们的稳健性保证是无关的，因为我们的整体准确性不依赖于排名的替代品的数量。我们的工作可以被认为是从算法稳健统计到投票和信息聚集中的中央推理问题之一的视角的自然输注。具体而言，我们的投票规则是有效的可计算的，并且通过一大群勾结的选民无法改变其结果。

统一测试是财产测试中最有研究的问题之一，其中许多已知的测试统计数据，包括基于计数碰撞，单例和经验电视距离的统计数据。众所周知，以$ 1- \ delta $概率为$ n = \ theta \ left（\ frac {\ sqrt {m {m {m） \ log（1/\ delta）}}} {\ epsilon^2} + \ frac {\ log（1/\ delta）} {\ epsilon^2} \ right）$，这是由经验性的电视测试器实现的。然而，在模拟中，这些理论分析具有误导性：在许多情况下，即使在所有参数的渐近制度中，它们也无法正确排序现有测试人员的性能，即$ 0 $或$ \ infty $。我们通过研究算法所需的\ emph {常数因子}来解释这一差异。我们表明，碰撞测试仪在均匀输入和非均匀输入之间的分离偏差数量中达到了急剧的最大常数。然后，我们根据Huber损失介绍了一个新的测试仪，并表明它不仅与此分离相匹配，而且还具有与该分离的高斯相对应的尾巴。这导致样本复杂性为$（1 + o（1））\ frac {\ sqrt {m \ log（1/\ delta）}}} {\ epsilon^2} $在该术语中，在此术语中，与此术语为主导所有其他现有测试人员。

我们介绍了一个普遍的框架，用于表征差异隐私保证的统计估算问题的统计效率。我们的框架，我们呼叫高维建议 - 试验释放（HPTR），在三个重要组件上建立：指数机制，强大的统计和提议 - 试验释放机制。将所有这些粘在一起是恢复力的概念，这是强大的统计估计的核心。弹性指导算法的设计，灵敏度分析和试验步骤的成功概率分析。关键识别是，如果我们设计了一种仅通过一维鲁棒统计数据访问数据的指数机制，则可以大大减少所产生的本地灵敏度。使用弹性，我们可以提供紧密的本地敏感界限。这些紧张界限在几个案例中容易转化为近乎最佳的实用程序。我们给出了将HPTR应用于统计估计问题的给定实例的一般配方，并在平均估计，线性回归，协方差估计和主成分分析的规范问题上证明了它。我们介绍了一般的公用事业分析技术，证明了HPTR几乎在文献中研究的若干场景下实现了最佳的样本复杂性。

量化概率分布之间的异化的统计分歧（SDS）是统计推理和机器学习的基本组成部分。用于估计这些分歧的现代方法依赖于通过神经网络（NN）进行参数化经验变化形式并优化参数空间。这种神经估算器在实践中大量使用，但相应的性能保证是部分的，并呼吁进一步探索。特别是，涉及的两个错误源之间存在基本的权衡：近似和经验估计。虽然前者需要NN课程富有富有表现力，但后者依赖于控制复杂性。我们通过非渐近误差界限基于浅NN的基于浅NN的估计的估算权，重点关注四个流行的$ \ mathsf {f} $ - 分离 - kullback-leibler，chi squared，squared hellinger，以及总变异。我们分析依赖于实证过程理论的非渐近功能近似定理和工具。界限揭示了NN尺寸和样品数量之间的张力，并使能够表征其缩放速率，以确保一致性。对于紧凑型支持的分布，我们进一步表明，上述上三次分歧的神经估算器以适当的NN生长速率接近Minimax率 - 最佳，实现了对数因子的参数速率。

Deep generative models parametrized up to a normalizing constant (e.g. energy-based models) are difficult to train by maximizing the likelihood of the data because the likelihood and/or gradients thereof cannot be explicitly or efficiently written down. Score matching is a training method, whereby instead of fitting the likelihood $\log p(x)$ for the training data, we instead fit the score function $\nabla_x \log p(x)$ -- obviating the need to evaluate the partition function. Though this estimator is known to be consistent, its unclear whether (and when) its statistical efficiency is comparable to that of maximum likelihood -- which is known to be (asymptotically) optimal. We initiate this line of inquiry in this paper, and show a tight connection between statistical efficiency of score matching and the isoperimetric properties of the distribution being estimated -- i.e. the Poincar\'e, log-Sobolev and isoperimetric constant -- quantities which govern the mixing time of Markov processes like Langevin dynamics. Roughly, we show that the score matching estimator is statistically comparable to the maximum likelihood when the distribution has a small isoperimetric constant. Conversely, if the distribution has a large isoperimetric constant -- even for simple families of distributions like exponential families with rich enough sufficient statistics -- score matching will be substantially less efficient than maximum likelihood. We suitably formalize these results both in the finite sample regime, and in the asymptotic regime. Finally, we identify a direct parallel in the discrete setting, where we connect the statistical properties of pseudolikelihood estimation with approximate tensorization of entropy and the Glauber dynamics.

我们考虑了二进制隐藏的马尔可夫模型上的高维平均值估计问题，该模型阐明了数据，样本大小，维度和统计推断中信号强度的记忆之间的相互作用。在此模型中，估算器观察$ n $样品的$ d $ dimensional参数vector $ \ theta _ {*} \ in \ mathbb {r}^{d} $，乘以随机符号$ s_i $（$ 1 \ \ $ 1 \ \ s_i $） le i \ le n $），并被各向同性标准高斯噪声损坏。标志$ \ {s_ {i} \} _ {i \ in [n]} \ in \ { - 1,1 \}^{n} $是从带有flip概率$ \ flip概率$ \的固定同质马尔可夫链中绘制的delta \ in [0,1/2] $。随着$ \ delta $的变化，该型号顺利地插入了两个认真的模型：高斯定位模型，$ \ delta = 0 $和高斯混合模型，$ \ delta = 1/2 $。假设估算器知道$ \ delta $，我们建立了一个几乎最小的最佳（达到对数因素）估计错误率，作为$ \ | \ theta _ {*} \ |，\ delta，d，d，n $的函数。然后，我们为估计$ \ delta $的情况提供了上限，假设$ \ theta _ {*} $的知识（可能不准确）。当$ \ theta _ {*} $是一个准确已知的常数时，界限被证明是紧身的。然后将这些结果组合到算法中，该算法用$ \ delta $ unknown估算$ \ theta _ {*} $先验，并说明了其错误的理论保证。

近似消息传递（AMP）是解决高维统计问题的有效迭代范式。但是，当迭代次数超过$ o \ big（\ frac {\ log n} {\ log log \ log \ log n} \时big）$（带有$ n $问题维度）。为了解决这一不足，本文开发了一个非吸附框架，用于理解峰值矩阵估计中的AMP。基于AMP更新的新分解和可控的残差项，我们布置了一个分析配方，以表征在存在独立初始化的情况下AMP的有限样本行为，该过程被进一步概括以进行光谱初始化。作为提出的分析配方的两个具体后果：（i）求解$ \ mathbb {z} _2 $同步时，我们预测了频谱初始化AMP的行为，最高为$ o \ big（\ frac {n} {\ mathrm {\ mathrm { poly} \ log n} \ big）$迭代，表明该算法成功而无需随后的细化阶段（如最近由\ citet {celentano2021local}推测）; （ii）我们表征了稀疏PCA中AMP的非反应性行为（在尖刺的Wigner模型中），以广泛的信噪比。

我们研究了用于线性回归的主动采样算法，该算法仅旨在查询目标向量$ b \ in \ mathbb {r} ^ n $的少量条目，并将近最低限度输出到$ \ min_ {x \ In \ mathbb {r} ^ d} \ | ax-b \ | $，其中$ a \ in \ mathbb {r} ^ {n \ times d} $是一个设计矩阵和$ \ | \ cdot \ | $是一些损失函数。对于$ \ ell_p $ norm回归的任何$ 0 <p <\ idty $，我们提供了一种基于Lewis权重采样的算法，其使用只需$ \ tilde {o}输出$（1+ \ epsilon）$近似解决方案（d ^ {\ max（1，{p / 2}）} / \ mathrm {poly}（\ epsilon））$查询到$ b $。我们表明，这一依赖于$ D $是最佳的，直到对数因素。我们的结果解决了陈和Derezi的最近开放问题，陈和Derezi \'{n} Ski，他们为$ \ ell_1 $ norm提供了附近的最佳界限，以及$ p \中的$ \ ell_p $回归的次优界限（1,2） $。我们还提供了$ O的第一个总灵敏度上限（D ^ {\ max \ {1，p / 2 \} \ log ^ 2 n）$以满足最多的$ p $多项式增长。这改善了Tukan，Maalouf和Feldman的最新结果。通过将此与我们的技术组合起来的$ \ ell_p $回归结果，我们获得了一个使$ \ tilde o的活动回归算法（d ^ {1+ \ max \ {1，p / 2 \}} / \ mathrm {poly}。 （\ epsilon））$疑问，回答陈和德里兹的另一个打开问题{n}滑雪。对于Huber损失的重要特殊情况，我们进一步改善了我们对$ \ tilde o的主动样本复杂性的绑定（d ^ {（1+ \ sqrt2）/ 2} / \ epsilon ^ c）$和非活跃$ \ tilde o的样本复杂性（d ^ {4-2 \ sqrt 2} / \ epsilon ^ c）$，由于克拉克森和伍德拉夫而改善了Huber回归的以前的D ^ 4 $。我们的敏感性界限具有进一步的影响，使用灵敏度采样改善了各种先前的结果，包括orlicz规范子空间嵌入和鲁棒子空间近似。最后，我们的主动采样结果为每种$ \ ell_p $ norm提供的第一个Sublinear时间算法。