在许多数据挖掘和机器学习任务（包括降低维度降低，离群检测，相似性搜索和子空间群集）中，对内在维度（ID）的准确估计至关重要。但是，由于它们的收敛性通常需要数百个点的样本量（即邻域尺寸），因此现有的ID估计方法可能仅对数据组成的应用程序组成的应用程序有限。在本文中，我们提出了一个局部ID估计策略，即使对于“紧密”的地方，稳定的策略也只有20个样本。估计器基于最新的固有维度（局部固有维度（LID））的极端价值理论模型，在样品成员之间的所有可用成对距离上应用MLE技术。我们的实验结果表明，我们提出的估计技术可以实现明显更小的方差，同时保持可比的偏见水平，而样本量比最先进的估计器小得多。

在机器学习中调用多种假设需要了解歧管的几何形状和维度，理论决定了需要多少样本。但是，在应用程序数据中，采样可能不均匀，歧管属性是未知的，并且（可能）非纯化；这意味着社区必须适应本地结构。我们介绍了一种用于推断相似性内核提供数据的自适应邻域的算法。从本地保守的邻域（Gabriel）图开始，我们根据加权对应物进行迭代率稀疏。在每个步骤中，线性程序在全球范围内产生最小的社区，并且体积统计数据揭示了邻居离群值可能违反了歧管几何形状。我们将自适应邻域应用于非线性维度降低，地球计算和维度估计。与标准算法的比较，例如使用K-Nearest邻居，证明了它们的实用性。

估计数据分布的局部内在维度的大多数现有方法不能很好地扩展到高维数据。他们中的许多人依靠非参数最近的邻居方法，该方法受到维度的诅咒。我们试图通过提出一种新的问题来解决这一挑战：使用近似可能性（LIDL）的局部固有维度估计。我们的方法依赖于任意密度估计方法作为其子例程，因此通过利用最新的参数神经方法的进展来避免维度挑战，以进行可能性估计。我们仔细研究了所提出方法的经验特性，将其与我们的理论预测进行了比较，并表明LIDL在此问题的标准基准上产生竞争结果，并将其扩展到数千个维度。更重要的是，我们预计通过密度估计文献的持续进展，这种方法可以进一步改善。

以离散特征为特征的现实世界数据集无处不在：从分类调查到临床问卷，从未加权网络到DNA序列。然而，最常见的无监督尺寸还原方法是为连续空间设计的，它们用于离散空间可能会导致错误和偏见。在这封信中，我们介绍了一种算法来推断离散空间中嵌入数据集的固有维度（ID）。我们证明了它在基准数据集上的准确性，并将其应用于分析物种指纹识别的宏基因组数据集，发现了一个令人惊讶的小ID，这表明尽管序列具有高度的序列性，但进化的压力在低维歧管上行动。' 空间。

我们调查识别来自域中的采样点的域的边界。我们向边界引入正常矢量的新估计，指向边界的距离，以及对边界条内的点位于边界的测试。可以有效地计算估算器，并且比文献中存在的估计更准确。我们为估算者提供严格的错误估计。此外，我们使用检测到的边界点来解决Point云上PDE的边值问题。我们在点云上证明了LAPLACH和EIKONG方程的错误估计。最后，我们提供了一系列数值实验，说明了我们的边界估计器，在点云上的PDE应用程序的性能，以及在图像数据集上测试。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

高斯内核及其传统的正常化（例如，行 - 故事）是评估数据点（通常用于流形学习和聚类的数据点之间的相似性）的流行方法，以及在图形上进行的监督和半监督学习。在许多实际情况下，数据可能会被禁止传统亲和力矩阵正确评估相似性的噪声损坏，尤其是在整个数据中的噪声幅度差异很大的情况下，例如在异性恋或异常值下。在噪声下提供更稳定行为的另一种方法是高斯内核的双随机归一化。在这项工作中，我们在一个环境中研究了这种归一化，在这种情况下，在高维空间中嵌入的低维歧管上的未知密度采样点，并因可能强大的，非相同的分布式，高斯的噪声而损坏。我们建立了双重随机亲和力矩阵的点浓度及其围绕某些种群形式的缩放因素。然后，我们利用这些结果来开发几种用于鲁棒推理的工具。首先，我们得出一个强大的密度估计器，该密度估计器在高维噪声下可以显着优于标准内核密度估计器。其次，我们提供估计噪声幅度的估计量，点式信号幅度以及清洁数据点之间的成对欧几里得距离。最后，我们得出了强大的图形拉普拉斯融合，这些标准差异近似于流行的歧管拉普拉斯人，包括拉普拉斯·贝特拉米操作员，表明可以在高维噪声下恢复歧管的局部几何形状。我们在仿真和实际单细胞RNA-sequering数据中举例说明了我们的结果。在后者中，我们表明我们提出的正常化对与不同细胞类型相关的技术变异性是可靠的。

Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.

本文为工程产品的计算模型或仅返回分类信息的过程提供了一种新的高效和健壮方法，用于罕见事件概率估计，例如成功或失败。对于此类模型，大多数用于估计故障概率的方法，这些方法使用结果的数值来计算梯度或估计与故障表面的接近度。即使性能函数不仅提供了二进制输出，系统的状态也可能是连续输入变量域中定义的不平滑函数，甚至是不连续的函数。在这些情况下，基于经典的梯度方法通常会失败。我们提出了一种简单而有效的算法，该算法可以从随机变量的输入域进行顺序自适应选择点，以扩展和完善简单的基于距离的替代模型。可以在连续采样的任何阶段完成两个不同的任务：（i）估计失败概率，以及（ii）如果需要进一步改进，则选择最佳的候选者进行后续模型评估。选择用于模型评估的下一个点的建议标准最大化了使用候选者分类的预期概率。因此，全球探索与本地剥削之间的完美平衡是自动维持的。该方法可以估计多种故障类型的概率。此外，当可以使用模型评估的数值来构建平滑的替代物时，该算法可以容纳此信息以提高估计概率的准确性。最后，我们定义了一种新的简单但一般的几何测量，这些测量是对稀有事实概率对单个变量的全局敏感性的定义，该度量是作为所提出算法的副产品获得的。

我们介绍了一类小说的预计方法，对实际线上的概率分布数据集进行统计分析，具有2-Wassersein指标。我们特别关注主成分分析（PCA）和回归。为了定义这些模型，我们通过将数据映射到合适的线性空间并使用度量投影运算符来限制Wassersein空间中的结果来利用与其弱利米结构密切相关的Wasserstein空间的表示。通过仔细选择切线，我们能够推出快速的经验方法，利用受约束的B样条近似。作为我们方法的副产品，我们还能够为PCA的PCA进行更快的例程来获得分布。通过仿真研究，我们将我们的方法与先前提出的方法进行比较，表明我们预计的PCA具有类似的性能，即使在拼盘下也是极其灵活的。研究了模型的若干理论性质，并证明了渐近一致性。讨论了两个真实世界应用于美国和风速预测的Covid-19死亡率。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

加权最近的邻居（WNN）估计量通常用作平均回归估计的灵活且易于实现的非参数工具。袋装技术是一种优雅的方式，可以自动生成最近邻居的重量的WNN估计器；我们将最终的估计量命名为分布最近的邻居（DNN），以便于参考。然而，这种估计器缺乏分布结果，从而将其应用于统计推断。此外，当平均回归函数具有高阶平滑度时，DNN无法达到最佳的非参数收敛率，这主要是由于偏差问题。在这项工作中，我们对DNN提供了深入的技术分析，我们建议通过线性将两个DNN估计量与不同的子采样量表进行线性相结合，从而提出了DNN估计量的偏差方法，从而导致新型的两尺度DNN（TDNN（TDNN） ）估计器。两尺度的DNN估计量具有等效的WNN表示，重量承认明确形式，有些则是负面的。我们证明，由于使用负权重，两尺度DNN估计器在四阶平滑度条件下估算回归函数时享有最佳的非参数收敛速率。我们进一步超出了估计，并确定DNN和两个规模的DNN均无渐进地正常，因为亚次采样量表和样本量差异到无穷大。对于实际实施，我们还使用二尺度DNN的Jacknife和Bootstrap技术提供方差估计器和分配估计器。可以利用这些估计器来构建有效的置信区间，以用于回归函数的非参数推断。建议的两尺度DNN方法的理论结果和吸引人的有限样本性能用几个数值示例说明了。

We propose a new framework for the sampling, compression, and analysis of distributions of point sets and other geometric objects embedded in Euclidean spaces. Nearest neighbors of points on a set of randomly selected rays are recorded into a tensor, called the RaySense signature. From the signature, statistical information about the data set, as well as certain geometrical information, can be extracted, independent of the ray set. We present a few examples illustrating applications of the proposed sampling strategy.

We propose a framework for analyzing and comparing distributions, which we use to construct statistical tests to determine if two samples are drawn from different distributions. Our test statistic is the largest difference in expectations over functions in the unit ball of a reproducing kernel Hilbert space (RKHS), and is called the maximum mean discrepancy (MMD). We present two distributionfree tests based on large deviation bounds for the MMD, and a third test based on the asymptotic distribution of this statistic. The MMD can be computed in quadratic time, although efficient linear time approximations are available. Our statistic is an instance of an integral probability metric, and various classical metrics on distributions are obtained when alternative function classes are used in place of an RKHS. We apply our two-sample tests to a variety of problems, including attribute matching for databases using the Hungarian marriage method, where they perform strongly. Excellent performance is also obtained when comparing distributions over graphs, for which these are the first such tests.

不服从统计学习理论的古典智慧，即使它们通常包含数百万参数，现代深度神经网络也概括了井。最近，已经表明迭代优化算法的轨迹可以具有分形结构，并且它们的泛化误差可以与这种分形的复杂性正式连接。这种复杂性由分形的内在尺寸测量，通常比网络中的参数数量小得多。尽管这种透视提供了对为什么跨分层化的网络不会过度装备的解释，但计算内在尺寸（例如，在训练期间进行监测泛化）是一种臭名昭着的困难任务，即使在中等环境维度中，现有方法也通常失败。在这项研究中，我们考虑了从拓扑数据分析（TDA）的镜头上的这个问题，并开发了一个基于严格的数学基础的通用计算工具。通过在学习理论和TDA之间进行新的联系，我们首先说明了泛化误差可以在称为“持久同源维度”（PHD）的概念中，与先前工作相比，我们的方法不需要关于培训动态的任何额外几何或统计假设。然后，通过利用最近建立的理论结果和TDA工具，我们开发了一种高效的算法来估计现代深度神经网络的规模中的博士，并进一步提供可视化工具，以帮助理解深度学习中的概括。我们的实验表明，所提出的方法可以有效地计算网络的内在尺寸，这些设置在各种设置中，这是预测泛化误差的。

开发了一种使用多个辅助变量的非静止空间建模算法。它将Geodatistics与Simitile随机林结合起来，以提供一种新的插值和随机仿真算法。本文介绍了该方法，并表明它具有与施加地统计学建模和定量随机森林的那些相似的一致性结果。该方法允许嵌入更简单的插值技术，例如Kriging，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这种分布的家庭称为目标变量的包络。由此，可以获得空间估计，定量和不确定性。还开发了一种从包络产生条件模拟的算法。随着它们从信封中的样本，因此通过相对变化的次要变量，趋势和可变性的相对变化局部地影响。

近似贝叶斯计算（ABC）使复杂模型中的统计推断能够计算，其可能性难以计算，但易于模拟。 ABC通过接受/拒绝机制构建到后部分布的内核类型近似，该机制比较真实和模拟数据的摘要统计信息。为了避免对汇总统计数据的需求，我们直接将经验分布与通过分类获得的Kullback-Leibler（KL）发散估计值进行比较。特别是，我们将灵活的机器学习分类器混合在ABC中以自动化虚假/真实数据比较。我们考虑传统的接受/拒绝内核以及不需要ABC接受阈值的指数加权方案。我们的理论结果表明，我们的ABC后部分布集中在真实参数周围的速率取决于分类器的估计误差。我们得出了限制后形状的结果，并找到了一个正确缩放的指数内核，渐近常态持有。我们展示了我们对模拟示例以及在股票波动率估计的背景下的真实数据的有用性。

信息技术的进步导致了非常大的数据集，通常保存在不同的存储中心。必须适于现有的统计方法来克服所产生的计算障碍，同时保持统计有效性和效率。分裂和征服方法已应用于许多领域，包括分位式流程，回归分析，主偶数和指数家庭。我们研究了有限高斯混合的分布式学习的分裂和征服方法。我们建议减少策略并开发一种有效的MM算法。新估计器显示在某些一般条件下保持一致并保留根 - N一致性。基于模拟和现实世界数据的实验表明，如果后者是可行的，所提出的分离和征管方法具有基于完整数据集的全球估计的统计性能。如果模型假设与真实数据不匹配，甚至可以略高于全局估算器。它还具有比某些现有方法更好的统计和计算性能。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。