我们实施和解释各种有涉及实际二次领域的监督学习实验，具有1、2和3。我们从数据科学的角度量化了匹配/不同奇偶校验的类别的相对困难，应用功能分析的方法论组件分析，并使用符号分类来开发适用于我们数据集的1、2和3类的机器学习公式。

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。

数据最初是由Peter Hammer引入的，对数据的逻辑分析是一种方法，旨在计算逻辑上的理由，以将一组数据划分为两组观测值，通常称为正和负基。将此分区视为对部分定义的布尔函数的描述；然后处理数据以识别属性的子集，其值可用于表征正组对负基组的观测值。 LAD构成了经典统计学习技术的一种有趣的基于规则的学习替代方案，并具有许多实际应用。然而，根据数据实例的属性，组表征的计算可能是昂贵的。我们工作的一个主要目的是通过计算一些给定属性确实表征正组和负面组来提供一些\ emph {先验}的概率来提供有效的工具来加速计算。为此，我们根据我们对其上的信息提出了几种代表观测数据集的模型。这些模型及其允许我们计算的概率也有助于快速评估当前实际数据的某些属性；此外，它们可以帮助我们更好地分析和理解解决方法所遇到的计算困难。一旦建立了模型，计算概率的数学工具就会来自分析组合。它们使我们能够将所需的概率表示为生成函数系数的比率，然后提供其数值的快速计算。本文的另一个远程目标是表明，分析组合学的方法可以帮助分析LAD和相关领域中各种算法的性能。

整数序列对于承认完整描述的概念的建模至关重要。我们介绍了有关学习此类概念的新颖观点，并放下一组基准测试任务，旨在通过机器学习模型进行概念理解。这些任务间接评估模型的抽象能力，并挑战它们，以在观察代表性示例中获得的知识，从插值和外向上进行推理。为了进一步研究知识代表和推理的研究，我们介绍了事实，即“精选抽象理解工具包”。该工具包围绕着包含有机和合成条目的整数序列的大型数据集，用于数据预处理和生成的库，一组模型性能评估工具以及基线模型实现的集合，从而实现了未来的进步，以实现未来的进步舒适。

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

假设在某个时期，我们在未知图上为我们提供了一个耦合振荡器的系统以及系统的轨迹。我们可以预测系统最终是否同步？即使具有已知的基础图结构，这通常是一个重要但在分析上棘手的问题。在这项工作中，我们通过将其视为分类问题，基于任何给定系统最终将最终同步或收敛到非同步极限周期的事实来采用另一种方法来对同步预测问题。通过仅使用基础图（例如边缘密度和直径）的一些基本统计数据，当同步示例与非同步示例之间的基础图之间存在显着差异时，我们的方法可以达到完美的准确性。但是，在问题设置中，这些图形统计信息无法很好地区分这两个类（例如，当图形是从同一随机图模型生成的图形时），我们发现将初始动力学的一些迭代与图形统计数据配对为我们分类算法的输入可以导致准确性的显着提高；远远超过了经典振荡器理论所知的。更令人惊讶的是，我们发现在几乎所有此类设置中，删除了基本的图形统计信息，并仅使用初始动态来训练我们的算法几乎具有相同的精度。我们在三个连续和离散耦合振荡器的模型上演示了我们的方法 - 库拉莫托模型，萤火虫蜂窝自动机和绿色啤酒模型。最后，我们还提出了一种“集合预测”算法，该算法通过对从多个随机子图观察到的动力学进行训练，成功地将我们的方法扩展到大图。

This work considers a computationally and statistically efficient parameter estimation method for a wide class of latent variable models-including Gaussian mixture models, hidden Markov models, and latent Dirichlet allocation-which exploits a certain tensor structure in their low-order observable moments (typically, of second-and third-order). Specifically, parameter estimation is reduced to the problem of extracting a certain (orthogonal) decomposition of a symmetric tensor derived from the moments; this decomposition can be viewed as a natural generalization of the singular value decomposition for matrices. Although tensor decompositions are generally intractable to compute, the decomposition of these specially structured tensors can be efficiently obtained by a variety of approaches, including power iterations and maximization approaches (similar to the case of matrices). A detailed analysis of a robust tensor power method is provided, establishing an analogue of Wedin's perturbation theorem for the singular vectors of matrices. This implies a robust and computationally tractable estimation approach for several popular latent variable models.

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

标签排名（LR）对应于学习一个假设的问题，以通过有限一组标签将功能映射到排名。我们采用了对LR的非参数回归方法，并获得了这一基本实际问题的理论绩效保障。我们在无噪声和嘈杂的非参数回归设置中介绍了一个用于标签排名的生成模型，并为两种情况下提供学习算法的示例复杂性界限。在无噪声环境中，我们研究了全排序的LR问题，并在高维制度中使用决策树和随机林提供计算有效的算法。在嘈杂的环境中，我们考虑使用统计观点的不完整和部分排名的LR更通用的情况，并使用多种多组分类的一种方法获得样本复杂性范围。最后，我们与实验补充了我们的理论贡献，旨在了解输入回归噪声如何影响观察到的输出。

尽管在机器学习的方法论核心中是一个问题，但如何比较分类器仍未达成一致的共识。每个比较框架都面临着（至少）三个基本挑战：质量标准的多样性，数据集的多样性以及选择数据集选择的随机性/任意性。在本文中，我们通过采用决策理论的最新发展，为生动的辩论增添了新的观点。我们最终的框架基于所谓的偏好系统，通过广义的随机优势概念对分类器进行排名，该概念强大地绕过了繁琐的，甚至通常是自相矛盾的，对聚合的依赖。此外，我们表明，可以通过解决易于手柄的线性程序和通过适应的两样本观察随机化测试进行统计测试来实现广泛的随机优势。这确实产生了一个有力的框架，可以同时相对于多个质量标准进行分类器的统计比较。我们在模拟研究和标准基准数据集中说明和研究我们的框架。

Variable and feature selection have become the focus of much research in areas of application for which datasets with tens or hundreds of thousands of variables are available. These areas include text processing of internet documents, gene expression array analysis, and combinatorial chemistry. The objective of variable selection is three-fold: improving the prediction performance of the predictors, providing faster and more cost-effective predictors, and providing a better understanding of the underlying process that generated the data. The contributions of this special issue cover a wide range of aspects of such problems: providing a better definition of the objective function, feature construction, feature ranking, multivariate feature selection, efficient search methods, and feature validity assessment methods.

Originally, tangles were invented as an abstract tool in mathematical graph theory to prove the famous graph minor theorem. In this paper, we showcase the practical potential of tangles in machine learning applications. Given a collection of cuts of any dataset, tangles aggregate these cuts to point in the direction of a dense structure. As a result, a cluster is softly characterized by a set of consistent pointers. This highly flexible approach can solve clustering problems in various setups, ranging from questionnaires over community detection in graphs to clustering points in metric spaces. The output of our proposed framework is hierarchical and induces the notion of a soft dendrogram, which can help explore the cluster structure of a dataset. The computational complexity of aggregating the cuts is linear in the number of data points. Thus the bottleneck of the tangle approach is to generate the cuts, for which simple and fast algorithms form a sufficient basis. In our paper we construct the algorithmic framework for clustering with tangles, prove theoretical guarantees in various settings, and provide extensive simulations and use cases. Python code is available on github.

本文试图回答以下问题：“我们可以通过预测准确性来学到什么？”实际上，分类是机器学习中最受欢迎的任务之一，并且已经开发出许多损失功能来最大化这一非差异性目标。与过去的损失功能设计的工作不同，在通过实验验证之前，主要是由直觉和理论指导的，我们在这里建议以相反的方式解决此问题：我们试图从实验中提取知识。这种数据驱动的方法类似于物理学中用于从数据中发现一般定律的方法。我们使用符号回归方法自动找到与线性分类器的精度高度相关的数学表达式。在260多个数据集上发现的公式的Pearson相关性为0.96，R2为0.93。更有趣的是，该公式是高度解释的，并确认了以前有关损失设计的各种论文的见解。我们希望这项工作能够开放新的观点，以寻求新的启发式方法，从而深入了解机器学习理论。

我们提出了一个算法框架，用于近距离矩阵上的量子启发的经典算法，概括了Tang的突破性量子启发算法开始的一系列结果，用于推荐系统[STOC'19]。由量子线性代数算法和gily \'en，su，low和wiebe [stoc'19]的量子奇异值转换（SVT）框架[SVT）的动机[STOC'19]，我们开发了SVT的经典算法合适的量子启发的采样假设。我们的结果提供了令人信服的证据，表明在相应的QRAM数据结构输入模型中，量子SVT不会产生指数量子加速。由于量子SVT框架基本上概括了量子线性代数的所有已知技术，因此我们的结果与先前工作的采样引理相结合，足以概括所有有关取消量子机器学习算法的最新结果。特别是，我们的经典SVT框架恢复并经常改善推荐系统，主成分分析，监督聚类，支持向量机器，低秩回归和半决赛程序解决方案的取消结果。我们还为汉密尔顿低级模拟和判别分析提供了其他取消化结果。我们的改进来自识别量子启发的输入模型的关键功能，该模型是所有先前量子启发的结果的核心：$ \ ell^2 $ -Norm采样可以及时近似于其尺寸近似矩阵产品。我们将所有主要结果减少到这一事实，使我们的简洁，独立和直观。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

本文研究了基于Laplacian Eigenmaps（Le）的基于Laplacian EIGENMAPS（PCR-LE）的主要成分回归的统计性质，这是基于Laplacian Eigenmaps（Le）的非参数回归的方法。 PCR-LE通过投影观察到的响应的向量$ {\ bf y} =（y_1，\ ldots，y_n）$ to to changbood图表拉普拉斯的某些特征向量跨越的子空间。我们表明PCR-Le通过SoboLev空格实现了随机设计回归的最小收敛速率。在设计密度$ P $的足够平滑条件下，PCR-le达到估计的最佳速率（其中已知平方$ l ^ 2 $ norm的最佳速率为$ n ^ { - 2s /（2s + d） ）} $）和健美的测试（$ n ^ { - 4s /（4s + d）$）。我们还表明PCR-LE是\ EMPH {歧管Adaptive}：即，我们考虑在小型内在维度$ M $的歧管上支持设计的情况，并为PCR-LE提供更快的界限Minimax估计（$ n ^ { - 2s /（2s + m）$）和测试（$ n ^ { - 4s /（4s + m）$）收敛率。有趣的是，这些利率几乎总是比图形拉普拉斯特征向量的已知收敛率更快;换句话说，对于这个问题的回归估计的特征似乎更容易，统计上讲，而不是估计特征本身。我们通过经验证据支持这些理论结果。

给定尺寸$ d $中的独立标准高斯点$ v_1，\ ldots，v_n $，对于$（n，d）$的值（n，d）$的值很高，概率很高，同时通过所有要点？将椭圆形拟合到随机点的基本问题与低级别矩阵分解，独立的组件分析和主成分分析有连接。基于有力的数值证据，桑德森，帕里洛和威尔斯基[Proc。关于决策和控制会议，第6031-6036页，2013年]猜想，椭圆形拟合问题的问题从可行的到不可行的$ n $增加，并在$ n \ sim d^2/4处急剧阈值$。我们通过为某些$ n = \ omega（\，d^2/\ log^5（d）\，）$构建合适的椭圆形来解决这个猜想，从而改善了Ghosh等人的先前工作。 [Proc。关于计算机科学基础的研讨会，第954-965、2020页]，需要$ n = o（d^{3/2}）$。我们的证明证明了Saunderson等人的最小二乘结构的可行性。使用对特定非标准随机矩阵的特征向量和特征值进行仔细的分析。