支持向量机（SVM）是众所周知的监督学习算法类别之一。此外，圆锥分段SVM（CS-SVM）是标准二进制SVM的天然多类模拟，因为CS-SVM模型正在处理已知数据点的确切值的情况。本文研究数据点不确定或标记时，研究CS-SVM。对于某些分布已知的属性，使用机会约束的CS-SVM方法来确保对不确定数据的错误分类概率很小。给出了几何解释，以显示CS-SVM的工作原理。最后，我们提出了实验结果，以调查CS-SVM的性能的机会限制。

Recent advance on linear support vector machine with the 0-1 soft margin loss ($L_{0/1}$-SVM) shows that the 0-1 loss problem can be solved directly. However, its theoretical and algorithmic requirements restrict us extending the linear solving framework to its nonlinear kernel form directly, the absence of explicit expression of Lagrangian dual function of $L_{0/1}$-SVM is one big deficiency among of them. In this paper, by applying the nonparametric representation theorem, we propose a nonlinear model for support vector machine with 0-1 soft margin loss, called $L_{0/1}$-KSVM, which cunningly involves the kernel technique into it and more importantly, follows the success on systematically solving its linear task. Its optimal condition is explored theoretically and a working set selection alternating direction method of multipliers (ADMM) algorithm is introduced to acquire its numerical solution. Moreover, we firstly present a closed-form definition to the support vector (SV) of $L_{0/1}$-KSVM. Theoretically, we prove that all SVs of $L_{0/1}$-KSVM are only located on the parallel decision surfaces. The experiment part also shows that $L_{0/1}$-KSVM has much fewer SVs, simultaneously with a decent predicting accuracy, when comparing to its linear peer $L_{0/1}$-SVM and the other six nonlinear benchmark SVM classifiers.

In the era of big data, it is desired to develop efficient machine learning algorithms to tackle massive data challenges such as storage bottleneck, algorithmic scalability, and interpretability. In this paper, we develop a novel efficient classification algorithm, called fast polynomial kernel classification (FPC), to conquer the scalability and storage challenges. Our main tools are a suitable selected feature mapping based on polynomial kernels and an alternating direction method of multipliers (ADMM) algorithm for a related non-smooth convex optimization problem. Fast learning rates as well as feasibility verifications including the efficiency of an ADMM solver with convergence guarantees and the selection of center points are established to justify theoretical behaviors of FPC. Our theoretical assertions are verified by a series of simulations and real data applications. Numerical results demonstrate that FPC significantly reduces the computational burden and storage memory of existing learning schemes such as support vector machines, Nystr\"{o}m and random feature methods, without sacrificing their generalization abilities much.

基于内核的量子分类器是用于复杂数据的超线化分类的最有趣，最强大的量子机学习技术，可以在浅深度量子电路（例如交换测试分类器）中轻松实现。出乎意料的是，通过引入差异方案，可以将支持向量机固有而明确地实现，以将SVM理论的二次优化问题映射到量子古典的变分优化问题。该方案使用参数化的量子电路（PQC）实现，以创建一个不均匀的权重向量，以索引量子位，可以在线性时间内评估训练损失和分类得分。我们训练该变量量子近似支持向量机（VQASVM）的经典参数，该参数可以转移到其他VQASVM决策推理电路的许多副本中，以分类新查询数据。我们的VQASVM算法对基于云的量子计算机的玩具示例数据集进行了实验，以进行可行性评估，并进行了数值研究以评估其在标准的IRIS花朵数据集上的性能。虹膜数据分类的准确性达到98.8％。

Data domain description concerns the characterization of a data set. A good description covers all target data but includes no superfluous space. The boundary of a dataset can be used to detect novel data or outliers. We will present the Support Vector Data Description (SVDD) which is inspired by the Support Vector Classifier. It obtains a spherically shaped boundary around a dataset and analogous to the Support Vector Classifier it can be made flexible by using other kernel functions. The method is made robust against outliers in the training set and is capable of tightening the description by using negative examples. We show characteristics of the Support Vector Data Descriptions using artificial and real data.

In the last few years, various types of machine learning algorithms, such as Support Vector Machine (SVM), Support Vector Regression (SVR), and Non-negative Matrix Factorization (NMF) have been introduced. The kernel approach is an effective method for increasing the classification accuracy of machine learning algorithms. This paper introduces a family of one-parameter kernel functions for improving the accuracy of SVM classification. The proposed kernel function consists of a trigonometric term and differs from all existing kernel functions. We show this function is a positive definite kernel function. Finally, we evaluate the SVM method based on the new trigonometric kernel, the Gaussian kernel, the polynomial kernel, and a convex combination of the new kernel function and the Gaussian kernel function on various types of datasets. Empirical results show that the SVM based on the new trigonometric kernel function and the mixed kernel function achieve the best classification accuracy. Moreover, some numerical results of performing the SVR based on the new trigonometric kernel function and the mixed kernel function are presented.

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

我们研究了基于分布强大的机会约束的对抗性分类模型。我们表明，在Wasserstein模糊性下，该模型旨在最大限度地减少距离分类距离的条件值 - 风险，并且我们探讨了前面提出的对抗性分类模型和最大限度的分类机的链接。我们还提供了用于线性分类的分布鲁棒模型的重构，并且表明它相当于最小化正则化斜坡损失目标。数值实验表明，尽管这种配方的非凸起，但是标准的下降方法似乎会聚到全球最小值器。灵感来自这种观察，我们表明，对于某一类分布，正则化斜坡损失最小化问题的唯一静止点是全球最小化器。

我们考虑了由法院诉讼中的电子发现诸如诸如e-Dissoververy的申请激励的分类的多方协议。我们确定一项协议，该协议保证请求方收到所有响应文件，而发送方揭示了证明已收到所有响应文件所必需的无响应文件的最低金额。该协议可以嵌入到机器学习框架中，该框架可以实现积分的自动标签，并且由此产生的多方协议等同于标准的一方分类问题（如果一方分类问题满足自然的独立性，替代物业）。我们的正式保证专注于有正确分配文档的线性分类器的情况。

支持向量机（SVM）是一种算法，该算法找到了超平面，最佳地将标记的数据点以$ \ mathbb {r} ^ n $分为正面和负类。该分离超平面裕度上的数据点称为支持向量。我们将支持向量的可能配置连接到Radon的定理，这提供了一组点可以分为两个类（正负）的保证，其凸壳相交。如果将正和负支持向量的凸壳投射到分离超平面上，则仅在超平面是最佳的，则投影在至少一个点中相交。此外，通过特定类型的一般位置，我们表明（a）支撑载体的投影凸船体在恰好一个点中相交，（b）支撑载体在扰动下稳定，（c）最多有$ n + 1 $支持向量，（d）每一个高达$ n + 1 $的支持向量是可能的。最后，我们执行研究预期的支持向量数及其配置的计算机模拟，用于随机生成的数据。我们观察到，随着该类型的随机生成的数据增加的距离增加，具有两个支持向量的配置成为最可能的配置。

支持向量机（SVM）是最受欢迎的分类方法之一，以及许多机器学习方法的De-Facto参考。其性能由参数选择决定，通常通过耗时的网格搜索交叉验证过程来实现。然而，存在几种无监督的启发式方法，用于利用数据集的特性，用于选择参数而不是使用类标签信息。无监督的启发式，而速度较快，速度越快，在假设下几乎没有使用它们的结果比网格搜索的结果大大差。为了挑战这一假设，我们在监督和半监督方案中对三十个数据集进行了对SVM参数选择的各种启发式的研究。在大多数情况下，交叉验证网格搜索没有达到启发式的显着优势。特别地，对于高维和不平衡数据集或者少量示例可用时，可以优选地启发式参数选择。我们的结果还表明，使用启发式确定进一步交叉验证的起点不会产生比默认启动更好的结果。

在本文中，我们介绍了一种基于数学的数学优化的方法来构建多种单件实例的树形分类规则。我们的方法包括构建分类树，除了叶节点之外，暂时遗漏标签并通过SVM分离超平面分为两个类。我们提供了一个混合整数非线性编程配方，用于问题，并报告电池的扩展电池的结果，以评估我们关于其他基准分类方法的提案的性能。

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

We propose a family of learning algorithms based on a new form of regularization that allows us to exploit the geometry of the marginal distribution. We focus on a semi-supervised framework that incorporates labeled and unlabeled data in a general-purpose learner. Some transductive graph learning algorithms and standard methods including support vector machines and regularized least squares can be obtained as special cases. We use properties of reproducing kernel Hilbert spaces to prove new Representer theorems that provide theoretical basis for the algorithms. As a result (in contrast to purely graph-based approaches) we obtain a natural out-of-sample extension to novel examples and so are able to handle both transductive and truly semi-supervised settings. We present experimental evidence suggesting that our semi-supervised algorithms are able to use unlabeled data effectively. Finally we have a brief discussion of unsupervised and fully supervised learning within our general framework.

机器学习算法必须能够有效地应对大量数据集。因此，他们必须在任何现代系统上进行良好的扩展，并能够利用独立于供应商的加速器的计算能力。在监督学习领域，支持向量机（SVM）被广泛使用。但是，即使是现代化和优化的实现，例如LIBSVM或ThunderSVM对于尖端硬件的大型非平凡的密集数据集也不能很好地扩展：大多数SVM实现基于顺序最小优化，这是一种优化的固有顺序算法。因此，它们不适合高度平行的GPU。此外，我们不知道支持不同供应商的CPU和GPU的性能便携式实现。我们已经开发了PLSSVM库来解决这两个问题。首先，我们将SVM的配方作为最小二乘问题。然后训练SVM沸腾以求解已知高度平行算法的线性方程系统。其次，我们提供了一个独立但高效的实现：PLSSVM使用不同的可互换后端 - openmp，cuda，opencl，sycl-支持来自多个GPU的NVIDIA，AMD或INTEL等各种供应商的现代硬件。 PLSSVM可以用作LIBSVM的倒入替换。与LIBSVM相比，与ThunderSVM相比，我们观察到高达10的CPU和GPU的加速度。我们的实施量表在多核CPU上缩放，并在多达256个CPU线程和多个GPU上平行加速为74.7，在四个GPU上的并行加速为3.71。代码，实用程序脚本和文档都可以在GitHub上获得：https：//github.com/sc-sgs/plssvm。

由于其损耗函数的无限性，经典的铰链损耗支撑矢量机（SVM）模型对异常观测值敏感。为了解决这个问题，最近的研究集中在非凸损失函数上，例如硬质量损失，该损失将恒定的罚款与任何错误分类或细边样品内的样本相关联。应用此损失函数可为关键应用带来急需的鲁棒性，但它也导致NP硬化模型，这使训练变得困难，因为当前的精确优化算法显示有限的可伸缩性，而启发式方法无法始终找到高质量的解决方案。在这种背景下，我们提出了新的整数编程策略，这些策略可显着提高我们将硬利润SVM模型培训为全球最优性的能力。我们引入了一种迭代采样和分解方法，其中使用较小的子问题来分离组合弯曲器的切割。这些切割量在分支和切割算法中的使用，可以更快地收敛到全球最佳。通过对经典基准数据集的大量数值分析，我们的解决方案算法首次求解了117个新数据集，以达到最佳性，并在基准最困难的数据集的平均最佳差距中降低了50％。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。

Suppose you are given some dataset drawn from an underlying probability distribution P and you want to estimate a "simple" subset S of input space such that the probability that a test point drawn from P lies outside of S equals some a priori specified l/ between 0 and 1.We propose a method to approach this problem by trying to estimate a function f which is positive on S and negative on the complement. The functional form of f is given by a kernel expansion in terms of a potentially small subset of the training data; it is regularized by controlling the length of the weight vector in an associated feature space. We provide a theoretical analysis of the statistical performance of our algorithm. The algorithm is a natural extension of the support vector algorithm to the case of unlabelled data.

可以通过学习所有类别的接受区域来获得的旨在确定观察属于的所有合理类的新分类范式，旨在识别所有观察属性的所有合理类别。许多现有的设置值分类方法没有考虑到训练数据中从未出现的新类别出现在测试数据中的可能性。此外，当类的数量很大时，它们在计算上很昂贵。我们提出了一种广义预测集（GPS）方法，以估计接受区域，同时考虑测试数据中新类的可能性。提出的分类器可最大程度地减少预测集的预期大小，同时确保特定于类的精度至少为预先指定的值。与以前的方法不同，所提出的方法在准确性，效率和异常检测率之间达到了良好的平衡。此外，我们的方法可以与所有类平行应用以减轻计算负担。进行了理论分析和数值实验，以说明该方法的有效性。