分类将实体组织到类别中，这些实体在类别中识别相似性并辨别类别之间的差异，并且它们有力地分类了支持分析的信息。我们提出了一个新的分类方案，该方案前提是关于不完美数据的现实。我们的计算模型使用不确定的数据包络分析来定义分类与公平效率的接近性，这是分类类别中相似性的总体测量。我们的分类过程有两个压倒性的计算挑战，这些挑战是失去凸性和爆炸性搜索空间的损失。我们通过在接近度值上建立下限和上限来克服第一个，然后通过使用一阶算法搜索此范围。我们通过调整P-Median问题来启动我们的探索来克服第二个，然后使用迭代邻里搜索来最终确定分类。最后，我们将道琼斯工业平均水平的30个股票分类为表现层，并将前列腺治疗分类为临床有效的类别。

Uncertainty is prevalent in engineering design, statistical learning, and decision making broadly. Due to inherent risk-averseness and ambiguity about assumptions, it is common to address uncertainty by formulating and solving conservative optimization models expressed using measure of risk and related concepts. We survey the rapid development of risk measures over the last quarter century. From its beginning in financial engineering, we recount their spread to nearly all areas of engineering and applied mathematics. Solidly rooted in convex analysis, risk measures furnish a general framework for handling uncertainty with significant computational and theoretical advantages. We describe the key facts, list several concrete algorithms, and provide an extensive list of references for further reading. The survey recalls connections with utility theory and distributionally robust optimization, points to emerging applications areas such as fair machine learning, and defines measures of reliability.

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

我们研究了通过中等数量的成对比较查询引发决策者偏好的问题，以使它们成为特定问题的高质量推荐。我们受到高赌场域中的应用程序的推动，例如选择分配稀缺资源的政策以满足基本需求（例如，用于移植或住房的肾脏，因为那些经历无家可归者），其中需要由（部分）提出引出的偏好。我们在基于偏好的偏好中模拟不确定性，并调查两个设置：a）脱机偏出设置，其中所有查询都是一次，b）在线诱因设置，其中按时间顺序选择查询。我们提出了这些问题的强大优化制剂，这些问题集成了偏好诱导和推荐阶段，其目的是最大化最坏情况的效用或最小化最坏情况的后悔，并研究其复杂性。对于离线案例，在活动偏好诱导与决策信息发现的两个半阶段的稳健优化问题的形式中，我们提供了我们通过列解决的混合二进制线性程序的形式提供了等效的重构。 -Constraint生成。对于在线设置，主动偏好学习采用多级强大优化问题的形式与决策依赖的信息发现，我们提出了一种保守的解决方案方法。合成数据的数值研究表明，我们的方法在最坏情况级别，后悔和效用方面从文献中倾斜最先进的方法。我们展示了我们的方法论如何用于协助无家可归的服务机构选择分配不同类型的稀缺住房资源的政策，以遇到无家可归者。

将回归系数融合到均匀组中可以揭示在每个组内共享共同值的系数。这种扩展均匀性降低了参数空间的内在尺寸，并释放统计学精度。我们提出并调查了一个名为$ l_0 $ -fusion的新的组合分组方法，这些方法可用于混合整数优化（MIO）。在统计方面，我们识别称为分组灵敏度的基本量，该基本量为恢复真实组的难度。我们展示$ l_0 $ -fusion在分组灵敏度的最弱需求下实现了分组一致性：如果违反了这一要求，则小组拼写的最低风险将无法收敛到零。此外，我们展示了在高维制度中，可以使用无需任何必要的统计效率损失的确保筛选特征，同时降低计算成本的校正特征耦合耦合的$ L_0 $ -Fusion。在算法方面，我们为$ l_0 $ -fusion提供了一个mio配方，以及温暖的开始策略。仿真和实际数据分析表明，在分组准确性方面，$ L_0 $ -FUSUS展示其竞争对手的优势。

机器学习通常以经典的概率理论为前提，这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品，即各种称为光谱风险度量，Choquet积分或Lorentz规范。我们提出了一系列的表征结果，并演示了使这个光谱家族如此特别的原因。在此过程中，我们证明了所有连贯的风险度量的自然分层，从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

预处理一直是优化和机器学习方面的主食技术。它通常会减少其应用于矩阵的条件数，从而加快优化算法的收敛性。尽管实践中有许多流行的预处理技术，但大多数人缺乏降低病数的理论保证。在本文中，我们研究了最佳对角线预处理的问题，以分别或同时分别或同时缩放其行或列来实现任何全级矩阵的条件数量的最大降低。我们首先将问题重新将问题重新制定为一个准凸出问题，并提供了一种基线一分配算法，该算法在实践中易于实现，其中每次迭代都包含SDP可行性问题。然后，我们建议使用$ o（\ log（\ frac {1} {\ epsilon}）））$迭代复杂度提出多项式时间潜在的降低算法，其中每个迭代均由基于Nesterov-todd方向的牛顿更新组成。我们的算法基于该问题的表述，该问题是von Neumann最佳生长问题的广义版本。接下来，我们专注于单方面的最佳对角线预处理问题，并证明它们可以作为标准双SDP问题配方，我们应用了有效的定制求解器并研究我们最佳的对角线预处理的经验性能。我们在大型矩阵上进行的广泛实验表明，与基于启发式的预处理相比，最佳对角线预处理在减少条件数方面的实际吸引力。

Virtually all machine learning tasks are characterized using some form of loss function, and "good performance" is typically stated in terms of a sufficiently small average loss, taken over the random draw of test data. While optimizing for performance on average is intuitive, convenient to analyze in theory, and easy to implement in practice, such a choice brings about trade-offs. In this work, we survey and introduce a wide variety of non-traditional criteria used to design and evaluate machine learning algorithms, place the classical paradigm within the proper historical context, and propose a view of learning problems which emphasizes the question of "what makes for a desirable loss distribution?" in place of tacit use of the expected loss.

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

保证案件旨在为其最高主张的真理提供合理的信心，这通常涉及安全或保障。那么一个自然的问题是，案件提供了“多少”信心？我们认为，置信度不能简化为单个属性或测量。取而代之的是，我们建议它应该基于以三种不同观点的属性为基础：正面，消极和残留疑问。积极的观点考虑了该案件的证据和总体论点结合起来的程度，以表明其主张的信念是正当的。我们为理由设置了一个高标准，要求它是不可行的。对此的主要积极度量是健全性，它将论点解释为逻辑证明。对证据的信心可以概率地表达，我们使用确认措施来确保证据的“权重”跨越了一定的阈值。此外，可以通过使用概率逻辑的参数步骤从证据中汇总概率，以产生我们所谓的索赔概率估值。负面观点记录了对案件的怀疑和挑战，通常表示为叛逆者及其探索和解决。保证开发商必须防止确认偏见，并应在制定案件时大力探索潜在的叛逆者，并应记录下来及其解决方案，以避免返工并帮助审阅者。残留疑问：世界不确定，因此并非所有潜在的叛逆者都可以解决。我们探索风险，可能认为它们是可以接受或不可避免的。但是，至关重要的是，这些判断是有意识的判断，并且在保证案例中记录下来。本报告详细介绍了这些观点，并指示了我们的保证2.0的原型工具集如何协助他们的评估。

预测风险评分越来越多地用于指导复杂环境（尤其是医疗保健）中的临床或其他干预措施。直接更新用于指导干预措施的风险评分会导致风险估计。我们建议使用“保留集”（未接受风险评分引导干预措施的人口子集）进行更新，以防止这种情况。由于保留集中的样本并不能从风险预测中受益，因此其规模必须权衡更新的风险评分的性能，同时最大程度地减少被保留样品的数量。我们证明，这种方法的表现优于简单的替代方案，并且通过定义一般的损失函数描述了可以轻松识别最佳保持尺寸（OHS）的条件。我们引入了OHS估计的参数和半参数算法，并证明了它们在近期对先兆子痫的风险评分上的使用。基于这些结果，我们认为保留集是安全，可行且易于实施的手段，可以安全地更新预测风险得分。

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。