我们探索使用光学处理单元（OPU）来计算素描的随机傅立叶功能，并将整体压缩聚类管道调整到此设置中。我们还提出了一些工具，以帮助调整压缩聚类的关键超参数。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

高维计算（HDC）是用于数据表示和学习的范式，起源于计算神经科学。HDC将数据表示为高维，低精度向量，可用于学习或召回等各种信息处理任务。高维空间的映射是HDC中的一个基本问题，现有方法在输入数据本身是高维时会遇到可伸缩性问题。在这项工作中，我们探索了一个基于哈希的流媒体编码技术。我们正式表明，这些方法在学习应用程序的性能方面具有可比的保证，同时比现有替代方案更有效。我们在一个流行的高维分类问题上对这些结果进行了实验验证，并表明我们的方法很容易扩展到非常大的数据集。

To accelerate the training of kernel machines, we propose to map the input data to a randomized low-dimensional feature space and then apply existing fast linear methods. The features are designed so that the inner products of the transformed data are approximately equal to those in the feature space of a user specified shiftinvariant kernel. We explore two sets of random features, provide convergence bounds on their ability to approximate various radial basis kernels, and show that in large-scale classification and regression tasks linear machine learning algorithms applied to these features outperform state-of-the-art large-scale kernel machines.

可视化非常大的矩阵涉及许多强大的问题。这些问题的各种流行的解决方案涉及采样，群集，投影或特征选择，以降低原始任务的大小和复杂性。这些方法的一个重要方面是如何在减少行和列以便在较低尺寸空间中保持高维空间中的点之间的相对距离。这方面很重要，因为基于错误的视觉推理的结论可能是有害的。在可视化的基础上判断与相似或类似的点相似或类似的点可以导致错误的结论。为了改善这种偏差并使非常大的数据集的可视化可行，我们介绍了两个新的算法，分别选择矩形矩阵的行和列的子集。这种选择旨在尽可能地保持相对距离。我们将矩阵素描与各种人工和真实数据集的更传统的替代品进行比较。

Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.

我们考虑通过连接到中央服务器的一组边缘设备的大规模分布式优化，其中服务器和边缘设备之间的有限通信带宽对优化过程提出了显着的瓶颈。灵感来自最近在联邦学习的进步，我们提出了一种分布式随机梯度下降（SGD）类型算法，该算法利用梯度的稀疏性，尽可能降低沟通负担。在算法的核心，用于使用压缩的感测技术来压缩器件侧的局部随机梯度;在服务器端，从嘈杂的聚合压缩的本地梯度恢复全局随机梯度的稀疏近似。我们对通信信道产生的噪声扰动的存在，对我们算法的收敛性进行了理论分析，并且还进行了数值实验以证实其有效性。

Polynomial kernels are among the most popular kernels in machine learning, since their feature maps model the interactions between the dimensions of the input data. However, these features correspond to tensor products of the input with itself, which makes their dimension grow exponentially with the polynomial degree. We address this issue by proposing Complexto-Real (CtR) sketches for tensor products that can be used as random feature approximations of polynomial kernels. These sketches leverage intermediate complex random projections, leading to better theoretical guarantees and potentially much lower variances than analogs using real projections. Our sketches are simple to construct and their final output is real-valued, which makes their downstream use straightforward. Finally, we show that they achieve state-of-the-art performance in terms of accuracy and speed.

在这项工作中，我们提出了一种维度减少算法，即AKA。素描，用于分类数据集。我们提出的草图算法舱从高维分类向量构造低维二进制草图，我们的距离估计算法CHAM仅计算任何两个原始向量之间的汉明距离的近似近似。 Cham以确保良好估计的速度要求的最小尺寸理论上只取决于数据点的稀疏性 - 使其对涉及稀疏数据集的许多现实生活场景有用。我们对我们的方法提供了严格的理论分析，并在几个高维现实世界数据集上进行了广泛的实验，包括一个超过一百万维度的实验。我们表明，与使用完整数据集和其他维数减少技术相比，机舱和Cham Duo是一种明显的快速准确的任务和群集，如RMSE，全对相似性和聚类。

本文介绍了一个固定的厄贡点过程的统计模型，该模型是根据在方形窗口中观察到的单个实现估计的。使用随机几何形状中的现有方法，很难用大量颗粒形成复杂的几何形状进行建模。受到采样最大渗透模型的梯度下降算法的最新作品的启发，我们描述了一个模型，该模型允许快速采样新的配置，从而再现了给定观察的统计数据。从初始随机配置开始，其粒子根据能量的梯度移动，以匹配一组规定的矩（功能）。我们的矩是通过相谐波操作员在点模式的小波变换上定义的。它们允许一个人捕获粒子之间的多尺度相互作用，同时按照模型的结构的尺度明确控制矩数。我们介绍了具有各种几何结构的点过程的数值实验，并通过光谱和拓扑数据分析评估模型的质量。

密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

分类属性是那些可以采用离散值集的那些，例如颜色。这项工作是关于将vects压缩到基于小维度离散矢量的分类属性。基于目前的哈希的方法将传感器压缩到低维离散矢量的分类属性不提供压缩表示之间的汉明距离的任何保证。在这里，我们呈现fsketch以创建稀疏分类数据的草图和估算器，以估计仅从其草图中的未压缩数据之间的成对汉明距离。我们声称这些草图可以在通常的数据挖掘任务中使用代替原始数据而不会影响任务的质量。为此，我们确保草图也是分类，稀疏，汉明距离估计是合理的精确性。素描结构和汉明距离估计算法都只需要一条单通;此外，对数据点的改变可以以有效的方式结合到其草图中。压缩性取决于数据的稀疏程度如何且与原始维度无关 - 使我们的算法对许多现实生活场景具有吸引力。我们的索赔通过对FSKetch性质的严格理论分析来支持，并通过对某些现实世界数据集的相关算法进行广泛的比较评估。我们表明FSKetch明显更快，并且通过使用其草图获得的准确性是RMSE，聚类和相似性搜索的标准无监督任务的顶部。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

内核平均嵌入是表示和比较概率度量的有用工具。尽管具有有用性，但内核的意思是考虑无限维度的特征，在差异私有数据生成的背景下，这是具有挑战性的。最近的一项工作建议使用有限维的随机特征近似数据分布的内核平均值嵌入，从而产生可分析的敏感性。但是，所需的随机特征的数量过高，通常是一千到十万，这会使隐私准确的权衡加剧。为了改善权衡取舍，我们建议用Hermite多项式特征替换随机功能。与随机特征不同，储能多项式特征是排序的，其中低订单的特征包含的分布更多的信息比高订单处的分布更多。因此，与明显更高的随机特征相比，HERMITE多项式特征的相对较低的阶多项式特征可以更准确地近似数据分布的平均嵌入。正如在几个表格和图像数据集中所证明的那样，Hermite多项式特征似乎比随机傅立叶功能更适合私人数据生成。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

低温电子显微镜（Cryo-EM），2D分类和比对的单个颗粒分析（SPA）的关键步骤，将嘈杂的粒子图像集合收集，以推导方向并将相似图像组合在一起。平均这些对齐和聚集的嘈杂图像会产生一组干净的图像，准备进一步分析，例如3D重建。傅立叶贝塞尔可进入的主成分分析（FBSPCA）可实现有效的，适应性的，低级别的旋转操作员。我们将FBSPCA扩展到额外处理翻译。在此扩展的FBSPCA表示中，我们使用概率的极性高斯混合模型，使用预期最大化（EM）算法以无监督的方式学习软簇。因此，获得的旋转簇还具有成对比对缺陷的存在。与标准的单粒子冷冻EM工具，EMAN2和Relion相比，模拟的冷冻EM数据集的多个基准表明概率Polargmm的性能改善了性能，就各种聚类指标和对齐错误而言。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

Experimental sciences have come to depend heavily on our ability to organize, interpret and analyze high-dimensional datasets produced from observations of a large number of variables governed by natural processes. Natural laws, conservation principles, and dynamical structure introduce intricate inter-dependencies among these observed variables, which in turn yield geometric structure, with fewer degrees of freedom, on the dataset. We show how fine-scale features of this structure in data can be extracted from \emph{discrete} approximations to quantum mechanical processes given by data-driven graph Laplacians and localized wavepackets. This data-driven quantization procedure leads to a novel, yet natural uncertainty principle for data analysis induced by limited data. We illustrate the new approach with algorithms and several applications to real-world data, including the learning of patterns and anomalies in social distancing and mobility behavior during the COVID-19 pandemic.