人脸识别是模式识别区域中非常重要的领域。它在军事和金融中有多种申请，名称为几个。在本文中，将提出与最近邻的方法的稀疏PCA的组合（以及与内核脊回归方法），并将应用于解决面部识别问题。实验结果表明，稀疏PCA方法的组合（使用近端梯度法和FISTA方法）和一个特定分类系统的准确性可能低于PCA方法和一个特定分类系统的组合的精度，但有时稀疏PCA方法的组合（使用近端梯度法或Fista方法）和一个特定的分类系统导致更好的准确性。此外，我们认识到，使用Fista方法计算稀疏PCA算法的过程总比使用近端梯度方法计算稀疏PCA算法的过程。

本文介绍了HyperGraph神经网络方法的新颖版本。该方法用于解决嘈杂的标签学习问题。首先，我们将PCA尺寸还原技术应用于图像数据集的特征矩阵，以减少图像数据集的特征矩阵中的“噪声”和冗余功能方法。然后，基于经典的半监督学习方法，经典的基于超毛图的半手法学习方法，图形神经网络，HyperGraph神经网络和我们提出的HyperGraph神经网络用于解决嘈杂的标签学习问题。评估和比较这五种方法的精度。实验结果表明，当噪声水平提高时，超图神经网络方法达到了最佳性能。此外，高图神经网络方法至少与图神经网络一样好。

本文的主要思想是，如果模型可以识别一个人，当然，它必须能够了解该人的性别。因此，除了基于面部特征，本文使用Arcface功能来定义新的性别分类的新模型。给予弧形的面部图像，并且为面部获得512个特征。然后，在传统机器学习模型的帮助下，确定性别。诸如支持向量机（SVM），线性判别和逻辑回归的判别方法良好地证明，从弧形提取的特征在性别类之间产生了显着的区别。性别分类数据集的实验表明，使用arcFace功能的高斯内核的SVM能够将性别分类为96.4％。

双支持向量机（TWSVM）和双支持向量回归（TSVR）是新兴有效的机器学习技术，可分别为分类和回归挑战提供了有希望的解决方案。 TWSVM基于该想法来识别两个非平行超平面，将数据指向其各自的类分类。它需要解决两个小型大小的二次编程问题（QPPS）代替求解单个大尺寸QPP在支持向量机（SVM），而TSVR配制在TWSVM的线上，并要求解决两个SVM类问题。虽然这些技术已经有很好的研究进展;关于TSVR的不同变体的比较有限的文献。因此，本综述对TWSVM和TSVR的最近研究同时提到了它们的局限性和优势，对最近的研究提供了严格的分析。首先，首先介绍支持向量机，TWSVM的基本理论，然后专注于TWSVM的各种改进和应用，然后介绍TSVR及其各种增强功能。最后，我们建议未来的研发前景。

基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。

多变量分析（MVA）包括用于特征提取的众所周知的方法，该方法提取，其利用表示数据的输入变量之间的相关性。大多数此类方法享有的一个重要属性是提取特征之间的不相关性。最近，MVA方法的正则化版本在文献中出现，主要是为了获得解决方案的解释性。在这些情况下，不再以封闭的方式获得解决方案，并且经常使用更复杂的优化方法，依赖于两个步骤的迭代。本文回到了替代方法来解决这个迭代问题。这种方法的主要新颖性在于保持原始方法的几个属性，最值得注意的是提取特征的不相关性。在此框架下，我们提出了一种新的方法，该方法利用L-21规范在特征提取过程中执行变量选择。不同问题的实验结果证实了与现有化配方的拟议配方的优点。

Many meta-learning approaches for few-shot learning rely on simple base learners such as nearest-neighbor classifiers. However, even in the few-shot regime, discriminatively trained linear predictors can offer better generalization. We propose to use these predictors as base learners to learn representations for few-shot learning and show they offer better tradeoffs between feature size and performance across a range of few-shot recognition benchmarks. Our objective is to learn feature embeddings that generalize well under a linear classification rule for novel categories. To efficiently solve the objective, we exploit two properties of linear classifiers: implicit differentiation of the optimality conditions of the convex problem and the dual formulation of the optimization problem. This allows us to use highdimensional embeddings with improved generalization at a modest increase in computational overhead. Our approach, named MetaOptNet, achieves state-of-the-art performance on miniImageNet, tieredImageNet, CIFAR-FS, and FC100 few-shot learning benchmarks. Our code is available online 1 .

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

Neural net classifiers trained on data with annotated class labels can also capture apparent visual similarity among categories without being directed to do so. We study whether this observation can be extended beyond the conventional domain of supervised learning: Can we learn a good feature representation that captures apparent similarity among instances, instead of classes, by merely asking the feature to be discriminative of individual instances?We formulate this intuition as a non-parametric classification problem at the instance-level, and use noisecontrastive estimation to tackle the computational challenges imposed by the large number of instance classes.Our experimental results demonstrate that, under unsupervised learning settings, our method surpasses the stateof-the-art on ImageNet classification by a large margin. Our method is also remarkable for consistently improving test performance with more training data and better network architectures. By fine-tuning the learned feature, we further obtain competitive results for semi-supervised learning and object detection tasks. Our non-parametric model is highly compact: With 128 features per image, our method requires only 600MB storage for a million images, enabling fast nearest neighbour retrieval at the run time.

We consider a class of Riemannian optimization problems where the objective is the sum of a smooth function and a nonsmooth function, considered in the ambient space. This class of problems finds important applications in machine learning and statistics such as the sparse principal component analysis, sparse spectral clustering, and orthogonal dictionary learning. We propose a Riemannian alternating direction method of multipliers (ADMM) to solve this class of problems. Our algorithm adopts easily computable steps in each iteration. The iteration complexity of the proposed algorithm for obtaining an $\epsilon$-stationary point is analyzed under mild assumptions. To the best of our knowledge, this is the first Riemannian ADMM with provable convergence guarantee for solving Riemannian optimization problem with nonsmooth objective. Numerical experiments are conducted to demonstrate the advantage of the proposed method.

在实践中，缺少数据是一个通常发生的问题。已经开发了许多插补方法来填写缺失的条目。但是，并非所有这些都可以扩展到高维数据，尤其是多个插补技术。同时，如今的数据趋于高维。因此，在这项工作中，我们提出了主要成分分析插补（PCAI），这是一个基于主成分分析（PCA）的简单但多才多艺的框架，以加快插补过程并减轻许多可用的插补技术的记忆问题，而无需牺牲插补质量质量在MSE任期。此外，即使某些或全部缺少的功能是分类的，或者缺少功能的数量很大，框架也可以使用。接下来，我们介绍PCA插补 - 分类（PIC），这是PCAI在分类问题中的应用，并进行了一些调整。我们通过对各种情况进行实验来验证我们的方法，这表明PCAI和PIC可以使用各种插入算法（包括最先进的算法），并显着提高插补速度，同时在获得竞争性的均方误差/分类精度相比，指导插补（即直接将其插入丢失的数据）。

本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集）中，以便将所有文本转换为数字向量。然后，图形卷积神经网络将应用于这些数字向量，以将这些文本分类为其AP的兴趣类/标签。实验表明，图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。

在本文中，我们提出了一个新颖的子空间学习框架，用于一级分类。提出的框架以图形嵌入形式提出了问题。它包括先前提出的子空间一级技术作为特殊情况，并进一步了解这些技术实际优化了什么。该框架允许通过保留图表结合其他有意义的优化目标，并揭示光谱解决方案和基于光谱回归的解决方案作为先前基于梯度的技术的替代方案。我们将子空间学习框架与支持向量数据描述在子空间中应用，以制定图形包含的子空间支持向量数据描述。我们通过实验分析了新提出的不同变体的性能。我们证明了针对基准的性能以及最近提出的单级分类子空间学习方法。

在本文中，我们考虑了一种用于主成分分析（PCA）的新变体，旨在同时捕获因子负载的分组和/或稀疏结构。为了实现这些目标，我们采用非凸截面的正则化，具有自然可调的稀疏性和分组效应，并提出了特征分组和稀疏主组件分析（FGSPCA）。所提出的FGSPCA方法鼓励具有相似值的因子负载，以将特征分组或特征零值组分成特征选择的差异均匀组，从而有助于降低模型的复杂性和增加模型解释。通常，现有的结构化PCA方法需要先验知识来构建正则化项。但是，提出的FGSPCA可以同时捕获因子负载的分组和/或稀疏结构，而无需任何事先信息。为了解决所得的非凸优化问题，我们提出了一种交替的算法，该算法结合了Convex编程，增强的Lagrange方法和坐标下降方法。实验结果证明了新方法在合成和现实世界数据集上的有希望的性能和效率。可以在github {https://github.com/higeeks/fgspca}上找到FGSPCA的R实现。

随着网络攻击和网络间谍活动的增长，如今需要更好，更强大的入侵检测系统（IDS）的需求更加有必要。 ID的基本任务是在检测Internet的攻击方面充当第一道防线。随着入侵者的入侵策略变得越来越复杂且难以检测，研究人员已经开始应用新颖的机器学习（ML）技术来有效地检测入侵者，从而保留互联网用户对整个互联网网络安全的信息和整体信任。在过去的十年中，基于ML和深度学习（DL）架构的侵入检测技术的爆炸激增，这些架构在各种基于网络安全的数据集上，例如DARPA，KDDCUP'99，NSL-KDD，CAIDA，CAIDA，CTU--- 13，UNSW-NB15。在这项研究中，我们回顾了当代文献，并提供了对不同类型的入侵检测技术的全面调查，该技术将支持向量机（SVMS）算法作为分类器。我们仅专注于在网络安全中对两个最广泛使用的数据集进行评估的研究，即KDDCUP'99和NSL-KDD数据集。我们提供了每种方法的摘要，确定了SVMS分类器的作用以及研究中涉及的所有其他算法。此外，我们以表格形式对每种方法进行了批判性综述，突出了所调查的每种方法的性能指标，优势和局限性。

Recent advance on linear support vector machine with the 0-1 soft margin loss ($L_{0/1}$-SVM) shows that the 0-1 loss problem can be solved directly. However, its theoretical and algorithmic requirements restrict us extending the linear solving framework to its nonlinear kernel form directly, the absence of explicit expression of Lagrangian dual function of $L_{0/1}$-SVM is one big deficiency among of them. In this paper, by applying the nonparametric representation theorem, we propose a nonlinear model for support vector machine with 0-1 soft margin loss, called $L_{0/1}$-KSVM, which cunningly involves the kernel technique into it and more importantly, follows the success on systematically solving its linear task. Its optimal condition is explored theoretically and a working set selection alternating direction method of multipliers (ADMM) algorithm is introduced to acquire its numerical solution. Moreover, we firstly present a closed-form definition to the support vector (SV) of $L_{0/1}$-KSVM. Theoretically, we prove that all SVs of $L_{0/1}$-KSVM are only located on the parallel decision surfaces. The experiment part also shows that $L_{0/1}$-KSVM has much fewer SVs, simultaneously with a decent predicting accuracy, when comparing to its linear peer $L_{0/1}$-SVM and the other six nonlinear benchmark SVM classifiers.

公制学习旨在学习一个距离度量，以便在将不同的实例推开时将语义上相似的实例放在一起。许多现有方法考虑在特征空间中最大化或至少限制距离距离的距离，以分离相似和不同的实例对以保证其概括能力。在本文中，我们主张在输入空间中施加对抗边缘，以改善公制学习算法的概括和稳健性。我们首先表明，对抗边缘定义为训练实例与其最接近的对手示例之间的距离，它既考虑了特征空间中的距离差距以及指标和三重限制之间的相关性。接下来，为了增强实例扰动的鲁棒性，我们建议通过最大程度地减少称为扰动损失的新型损失函数来扩大对抗缘。提出的损失可以看作是数据依赖性的正规器，并轻松地插入任何现有的度量学习方法中。最后，我们表明扩大边缘通过使用算法鲁棒性的理论技术对概括能力有益。 16个数据集的实验结果证明了所提出的方法比现有的最新方法具有歧视精度和鲁棒性，以抵抗可能的噪声。

In modern face recognition, the conventional pipeline consists of four stages: detect ⇒ align ⇒ represent ⇒ classify. We revisit both the alignment step and the representation step by employing explicit 3D face modeling in order to apply a piecewise affine transformation, and derive a face representation from a nine-layer deep neural network. This deep network involves more than 120 million parameters using several locally connected layers without weight sharing, rather than the standard convolutional layers. Thus we trained it on the largest facial dataset to-date, an identity labeled dataset of four million facial images belonging to more than 4,000 identities. The learned representations coupling the accurate model-based alignment with the large facial database generalize remarkably well to faces in unconstrained environments, even with a simple classifier. Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance.

帕金森病（PD）的语音识别是其诊断的有效途径，近年来已成为一个炎热和困难的研究区。众所周知，一个主题中有大型语料库（段）。但是，太大的段会增加分类模型的复杂性。此外，临床医生有兴趣找到反映整个主题病理的诊断语音标记。由于每个语音样本段的最佳相关特征是不同的，因此难以找到均匀的诊断标记。因此，有必要将一个受试者内的现有的大段重构为几个段中的几个段，其可以促进相关语音特征的提取，以表征整个主题的诊断标记。为了解决这个问题，本文提出了一种基于多层模糊C均值（MLFCM）聚类和层间一致性保存的帕金森科目的封闭深音样本学习算法。该算法可用于实现帕金森病（PD）的对象内部样品重建，以获得少量的高质量原型样品段。在纸张结束时，分别选择了几个代表性的PD语音数据集，并将其与最先进的相关方法进行比较。实验结果表明，该算法有效地意识到。

少量学习仍然是一个具有挑战性的问题，对于大多数现实世界数据来说，令人不满意的1次射击准确性。在这里，我们在深网络的特征空间中提出了不同的透视数据分布，并展示如何利用它以用于几次拍摄学习。首先，我们观察到特征空间中的最近邻居具有相同类的高概率成员，而来自一个类的通常两个随机点并不多于来自来自不同类别的点。此观察结果表明，特征空间中的类别稀疏，松散连接的图形而不是密集的簇。要利用此属性，我们建议使用少量标签传播到未标记的空间，然后使用内核PCA重建错误作为每个类的特征空间数据分布的决策边界。使用这种方法，我们称之为“k-prop”，我们展示了很大程度上改善了几秒钟学习表演（例如，在Resisc45卫星图像数据集上的1-Shot 5路分类的83％的准确性）用于骨干网的数据集网络可以培训高级最近邻近常数概率。我们使用六个不同的数据集展示这种关系。