高尺寸的物体的形状指标仍然很稀疏。那些确实存在的人,例如超体积,仍然仅限于更好地理解的物体,例如柏拉图固体和$ n $ ipubes。此外,了解较高维度不确定形状的对象充其量是模棱两可的。过去的工作没有提供单个数字来给予对象的定性理解。例如,主要组件分析的特征值会导致$ n $指标来描述对象的形状。因此,我们需要一个可以区分彼此形状不同的对象的单个数字。先前的工作已经为特定维度(例如两个或三个维度)开发了形状指标。但是,有机会为任何所需的维度开发指标。为此,我们在给定数量的维度中为对象提供了两个新的形状指标:超球性和超形比例(SP)。我们以多种不同形状在内的包括$ n $ balls的形状来探索这些指标的专有。然后,我们将这些指标连接到分析多维数据(例如流行IRIS数据集)形状的应用。
translated by 谷歌翻译
We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.
translated by 谷歌翻译
Understanding geometric properties of natural language processing models' latent spaces allows the manipulation of these properties for improved performance on downstream tasks. One such property is the amount of data spread in a model's latent space, or how fully the available latent space is being used. In this work, we define data spread and demonstrate that the commonly used measures of data spread, Average Cosine Similarity and a partition function min/max ratio I(V), do not provide reliable metrics to compare the use of latent space across models. We propose and examine eight alternative measures of data spread, all but one of which improve over these current metrics when applied to seven synthetic data distributions. Of our proposed measures, we recommend one principal component-based measure and one entropy-based measure that provide reliable, relative measures of spread and can be used to compare models of different sizes and dimensionalities.
translated by 谷歌翻译
群集分析需要许多决定:聚类方法和隐含的参考模型,群集数,通常,几个超参数和算法调整。在实践中,一个分区产生多个分区,基于验证或选择标准选择最终的分区。存在丰富的验证方法,即隐式或明确地假设某个聚类概念。此外,它们通常仅限于从特定方法获得的分区上操作。在本文中,我们专注于可以通过二次或线性边界分开的群体。参考集群概念通过二次判别符号函数和描述集群大小,中心和分散的参数定义。我们开发了两个名为二次分数的群集质量标准。我们表明这些标准与从一般类椭圆对称分布产生的组一致。对这种类型的组追求在应用程序中是常见的。研究了与混合模型和模型的聚类的似然理论的连接。基于Bootstrap重新采样的二次分数,我们提出了一个选择规则,允许在许多聚类解决方案中选择。所提出的方法具有独特的优点,即它可以比较不能与其他最先进的方法进行比较的分区。广泛的数值实验和实际数据的分析表明,即使某些竞争方法在某些设置中出现优越,所提出的方法也实现了更好的整体性能。
translated by 谷歌翻译
持续的同源性(PH)是拓扑数据分析中最流行的方法之一。尽管PH已用于许多不同类型的应用程序中,但其成功背后的原因仍然难以捉摸。特别是,尚不知道哪种类别的问题最有效,或者在多大程度上可以检测几何或拓扑特征。这项工作的目的是确定pH在数据分析中比其他方法更好甚至更好的问题。我们考虑三个基本形状分析任务:从形状采样的2D和3D点云中检测孔数,曲率和凸度。实验表明,pH在这些任务中取得了成功,超过了几个基线,包括PointNet,这是一个精确地受到点云的属性启发的体系结构。此外,我们观察到,pH对于有限的计算资源和有限的培训数据以及分布外测试数据,包括各种数据转换和噪声,仍然有效。
translated by 谷歌翻译
本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用,最佳决策,成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史,其中几十年来预测机器学习作为学术领域的诞生。然而,校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大,并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节,包括适当的评分规则和其他评估指标,可视化方法,全面陈述二进制和多字数分类的HOC校准方法,以及几个先进的话题。
translated by 谷歌翻译
$ \ Texit {Fermi} $数据中的银河系中多余(GCE)的两个领先假设是一个未解决的微弱毫秒脉冲条件(MSP)和暗物质(DM)湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而,诸如MSP的点源(PSS)在超微弱的极限中具有统计变质的泊松发射(正式的位置,预期每个来源平均贡献远低于一个光子),导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法,以统一的方式描述PS和泊松发射,并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法,我们利用深度学习技术,围绕基于神经网络的方法,用于直方图回归,其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统,特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中,我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $(对应于$ \ sim3 - 4 $每pL期望计数),这需要$ n \ sim \ mathcal {o}( 10 ^ 4)$源来解释整个过剩(中位数价值$ n = \文本{29,300} $横跨天空)。虽然微弱,但这种SCD允许我们获得95%信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \%$。这表明大量的GCE通量是由于PSS 。
translated by 谷歌翻译
本文旨在通过一种称为拓扑数据分析的方法来讨论一种量化数据“形状”的方法。拓扑数据分析中的主要工具是持续的同源性。这是从简单复合物的同源物中测量数据形状的一种手段,该方法在一系列值范围内计算出来。此处介绍了所需的背景理论和计算持续同源性的方法,并具有针对结构健康监测的应用。这些结果允许拓扑推断和推断高维数据中的功能的能力,否则可能会被忽略。为给定距离参数的数据构建了一个简单复合物。该复合物编码有关数据点局部接近性的信息。可以从这个简单复合物中计算出奇异的同源性值。扩展此想法,为一系列值提供了距离参数,并且在此范围内计算同源性。持续的同源性是在此间隔中如何持续存在数据的同源特征的一种表示。结果是数据的特征。还讨论了一种允许比较不同数据集的持续同源性的方法。
translated by 谷歌翻译
随着空间的尺寸增加,在真实数据中分类高维形状的问题在复杂性中增长。对于识别不同几何形状的凸形形状的情况,最近提出了一种新的分类框架,其中使用一种称为射线的一组一维表示的交叉点,其中具有形状的边界来识别特定几何形状。基于射线的分类(RBC)已经使用两维和三维形状的合成数据集进行了经验验证的(Zwolak等人。在第三讲习班关于机器学习和物理科学(Neurips 2020),温哥华,加拿大的第三次研讨会的程序中[ arxiv:2010年12月11日,2010年12月11日,最近也已经通过实验验证(Zwolak等,Prx量子2:020335,2021)。在这里,我们建立了由关键角度度量定义的形状分类所需的光线数量的绑定,用于任意凸形形状。对于两个维度,我们在形状的长度,直径和外部角度方面导出了射线数量的下限。对于$ \ mathbb {r} ^ n $的凸多台,我们将此结果概括为与二向角度的函数和多边形面的几何参数给出的类似绑定。该结果使得能够使用比体积或基于表面的方法基本更少的数据元素估计高维形状的不同方法。
translated by 谷歌翻译
We investigate the properties of a metric between two distributions, the Earth Mover's Distance (EMD), for content-based image retrieval. The EMD is based on the minimal cost that must be paid to transform one distribution into the other, in a precise sense, and was first proposed for certain vision problems by Peleg, Werman, and Rom. For image retrieval, we combine this idea with a representation scheme for distributions that is based on vector quantization. This combination leads to an image comparison framework that often accounts for perceptual similarity better than other previously proposed methods. The EMD is based on a solution to the transportation problem from linear optimization, for which efficient algorithms are available, and also allows naturally for partial matching. It is more robust than histogram matching techniques, in that it can operate on variable-length representations of the distributions that avoid quantization and other binning problems typical of histograms. When used to compare distributions with the same overall mass, the EMD is a true metric. In this paper we focus on applications to color and texture, and we compare the retrieval performance of the EMD with that of other distances.
translated by 谷歌翻译
有限维概率单纯x中的聚类分类分布是处理归一化直方图的许多应用中的基本任务。传统上,概率单位的差分几何结构已经通过(i)将Riemannian公制矩阵设定为分类分布的Fisher信息矩阵,或(ii)定义由平滑异化性引起的二元信息 - 几何结构衡量标准,kullback-leibler发散。在这项工作中,我们介绍了群集任务一种新颖的计算型友好框架,用于在几何上建模概率单纯x:{\ em hilbert simplex几何}。在Hilbert Simplex几何形状中,距离是不可分离的Hilbert公制距离,其满足与多光镜边界描述的距离水平集功能的信息单调性的特性。我们表明,Aitchison和Hilbert Simplex的距离分别是关于$ \ ell_2 $和变化规范的标准化对数表示的距离。我们讨论了这些不同的统计建模的利弊,并通过基于基于中心的$ k $ -means和$ k $ -center聚类的基准这些不同的几何形状。此外,由于可以在欧几里德空间的任何有界凸形子集上定义规范希尔伯特距离,因此我们还考虑了与FR \“Obenius和Log-Det分歧相比的相关矩阵的椭圆形的几何形状并研究其聚类性能。
translated by 谷歌翻译
In our recent work [1], [2], we proposed Point Feature Histograms (PFH) as robust multi-dimensional features which describe the local geometry around a point p for 3D point cloud datasets. In this paper, we modify their mathematical expressions and perform a rigorous analysis on their robustness and complexity for the problem of 3D registration for overlapping point cloud views. More concretely, we present several optimizations that reduce their computation times drastically by either caching previously computed values or by revising their theoretical formulations. The latter results in a new type of local features, called Fast Point Feature Histograms (FPFH), which retain most of the discriminative power of the PFH. Moreover, we propose an algorithm for the online computation of FPFH features for realtime applications. To validate our results we demonstrate their efficiency for 3D registration and propose a new sample consensus based method for bringing two datasets into the convergence basin of a local non-linear optimizer: SAC-IA (SAmple Consensus Initial Alignment).
translated by 谷歌翻译
我们为级别集方法提出了一个数据驱动的均值曲线求解器。这项工作是我们在[arxiv:2201.12342] [1]和[doi:10.1016/j.jcp.2022.1111291] [arxiv:2201.12342] [1]中的二维策略的$ \ mathbb {r}^3 $的自然扩展。 ]。但是,与[1,2]建立了依赖分辨率的神经网络词典相比,在这里,我们在$ \ mathbb {r}^3 $中开发了两对模型,而不管网格大小如何。我们的前馈网络摄入的水平集,梯度和曲率数据转换为固定接口节点的数值均值曲率近似值。为了降低问题的复杂性,我们使用高斯曲率对模板进行了分类,并将模型分别适合于非堆肥和鞍模式。非插图模板更容易处理,因为它们表现出以单调性和对称性为特征的曲率误差分布。尽管后者允许我们仅在平均曲面频谱的一半上进行训练,但前者帮助我们将数据驱动的融合并在平坦区域附近无缝地融合了基线估计。另一方面,鞍形图案误差结构不太清楚。因此,我们没有利用超出已知信息的潜在信息。在这方面,我们不仅在球形和正弦和双曲线抛物面斑块上训练了我们的模型。我们构建他们的数据集的方法是系统的,但是随机收集样品,同时确保均衡度。我们还诉诸于标准化和降低尺寸,作为预处理步骤和集成正则化以最大程度地减少异常值。此外,我们利用曲率旋转/反射不变性在推理时提高精度。几项实验证实,与现代粒子的界面重建和水平设定方案相比,我们提出的系统可以产生更准确的均值曲线估计。
translated by 谷歌翻译
流媒体数据中对异常的实时检测正在受到越来越多的关注,因为它使我们能够提高警报,预测故障并检测到整个行业的入侵或威胁。然而,很少有人注意比较流媒体数据(即在线算法)的异常检测器的有效性和效率。在本文中,我们介绍了来自不同算法家族(即基于距离,密度,树木或投影)的主要在线检测器的定性合成概述,并突出了其构建,更新和测试检测模型的主要思想。然后,我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集(即元功能)的特征相关,从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解,例如(a)检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行; (b)在线探测器在何种程度上近似离线同行的性能; (c)哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常; (d)属于不同算法家族的探测器的有效性与效率之间的权衡是什么; (e)数据集的哪些特定特征产生在线算法以胜过所有其他特征。
translated by 谷歌翻译
G-Enum histograms are a new fast and fully automated method for irregular histogram construction. By framing histogram construction as a density estimation problem and its automation as a model selection task, these histograms leverage the Minimum Description Length principle (MDL) to derive two different model selection criteria. Several proven theoretical results about these criteria give insights about their asymptotic behavior and are used to speed up their optimisation. These insights, combined to a greedy search heuristic, are used to construct histograms in linearithmic time rather than the polynomial time incurred by previous works. The capabilities of the proposed MDL density estimation method are illustrated with reference to other fully automated methods in the literature, both on synthetic and large real-world data sets.
translated by 谷歌翻译
A common approach to modeling networks assigns each node to a position on a low-dimensional manifold where distance is inversely proportional to connection likelihood. More positive manifold curvature encourages more and tighter communities; negative curvature induces repulsion. We consistently estimate manifold type, dimension, and curvature from simply connected, complete Riemannian manifolds of constant curvature. We represent the graph as a noisy distance matrix based on the ties between cliques, then develop hypothesis tests to determine whether the observed distances could plausibly be embedded isometrically in each of the candidate geometries. We apply our approach to data-sets from economics and neuroscience.
translated by 谷歌翻译
为了捕获许多社区检测问题的固有几何特征,我们建议使用一个新的社区随机图模型,我们称之为\ emph {几何块模型}。几何模型建立在\ emph {随机几何图}(Gilbert,1961)上,这是空间网络的随机图的基本模型之一,就像在ERD \ H上建立的良好的随机块模型一样{o} s-r \'{en} yi随机图。它也是受到社区发现中最新的理论和实际进步启发的随机社区模型的自然扩展。为了分析几何模型,我们首先为\ emph {Random Annulus图}提供新的连接结果,这是随机几何图的概括。自引入以来,已经研究了几何图的连通性特性,并且由于相关的边缘形成而很难分析它们。然后,我们使用随机环形图的连接结果来提供必要的条件,以有效地为几何块模型恢复社区。我们表明,一种简单的三角计数算法来检测几何模型中的社区几乎是最佳的。为此,我们考虑了两个图密度方案。在图表的平均程度随着顶点的对数增长的状态中,我们表明我们的算法在理论上和实际上都表现出色。相比之下,三角计数算法对于对数学度方案中随机块模型远非最佳。我们还查看了图表的平均度与顶点$ n $的数量线性增长的状态,因此要存储一个需要$ \ theta(n^2)$内存的图表。我们表明,我们的算法需要在此制度中仅存储$ o(n \ log n)$边缘以恢复潜在社区。
translated by 谷歌翻译
在许多生物医学应用中,开放和闭合解剖表面的参数化具有基本的重要性。球形谐波,在单元球上定义的一组基函数,广泛用于解剖结构描述。然而,在物体表面和整个单元球之间建立一对一的对应关系可以引起大的几何失真,以便表面的形状与完美球体过于不同。在这项工作中,我们提出了具有简单连接的打开和闭合表面的自适应区域保护的参数化方法,该封闭表面具有参数化为球形帽。我们的方法优化参数域的形状以及从对象曲面到参数域的映射。物体表面将以面部保存的方式全局映射到单位球的最佳球形帽区域,同时也表现出低保形失真。我们进一步开发了一组在自适应球形帽结构域中定义的一组球形谐波的基本函数,我们称之为自适应谐波。实验结果表明,所提出的参数化方法在面积和角度失真方面优于开放和闭合解剖表面的现有方法。使用自适应参数化和自适应谐波的新颖组合可以有效地实现物体表面的表面描述。我们的作品提供了一种新颖的方式,可以提高准确性和更大的灵活性映射解剖结构。更广泛地,使用自适应参数域的想法允许易于处理各种生物医学形状。
translated by 谷歌翻译
排名和分数是判断使用的两个常见数据类型,以表达对象集合中对质量的偏好和/或质量的看法。存在许多模型以单独研究每种类型的数据,但没有统一的统计模型同时捕获两个数据类型,而不首先执行数据转换。我们提出了Mallows-Binomial模型来缩短这种差距,它通过量化的参数来与二项式分数模型相结合,这些差距通过量化的参数来量化对象质量,共识等级和法官之间的共识水平。我们提出了一种有效的树搜索算法来计算模型参数的精确MLE,分析和通过模拟研究模型的统计特性,并通过模拟将我们的模型应用于来自授予面板审查的实例,从而将其分数和部分排名的拨款。 。此外,我们展示了如何使用模型输出来排序对象的信心。拟议的模型被证明是从分数和排名中明智地结合信息,以量化对象质量并衡量具有适当统计不确定性的相互达成的共识。
translated by 谷歌翻译
我们介绍了一类小说的预计方法,对实际线上的概率分布数据集进行统计分析,具有2-Wassersein指标。我们特别关注主成分分析(PCA)和回归。为了定义这些模型,我们通过将数据映射到合适的线性空间并使用度量投影运算符来限制Wassersein空间中的结果来利用与其弱利米结构密切相关的Wasserstein空间的表示。通过仔细选择切线,我们能够推出快速的经验方法,利用受约束的B样条近似。作为我们方法的副产品,我们还能够为PCA的PCA进行更快的例程来获得分布。通过仿真研究,我们将我们的方法与先前提出的方法进行比较,表明我们预计的PCA具有类似的性能,即使在拼盘下也是极其灵活的。研究了模型的若干理论性质,并证明了渐近一致性。讨论了两个真实世界应用于美国和风速预测的Covid-19死亡率。
translated by 谷歌翻译