人脸识别是模式识别区域中非常重要的领域。它在军事和金融中有多种申请，名称为几个。在本文中，将提出与最近邻的方法的稀疏PCA的组合（以及与内核脊回归方法），并将应用于解决面部识别问题。实验结果表明，稀疏PCA方法的组合（使用近端梯度法和FISTA方法）和一个特定分类系统的准确性可能低于PCA方法和一个特定分类系统的组合的精度，但有时稀疏PCA方法的组合（使用近端梯度法或Fista方法）和一个特定的分类系统导致更好的准确性。此外，我们认识到，使用Fista方法计算稀疏PCA算法的过程总比使用近端梯度方法计算稀疏PCA算法的过程。

本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集）中，以便将所有文本转换为数字向量。然后，图形卷积神经网络将应用于这些数字向量，以将这些文本分类为其AP的兴趣类/标签。实验表明，图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。

为了处理不规则的数据结构，许多数据科学家已经开发了图形卷积神经网络。但是，数据科学家只是主要集中于开发未指导图的深神网络方法。在本文中，我们将介绍用于定向超图的新型神经网络方法。换句话说，我们不仅将开发新型的定向超图神经网络方法，而且还将开发基于新颖的指导性超图的半监督学习方法。这些方法用于解决节点分类任务。实验中使用的两个数据集是Cora和Citeseer数据集。在经典的基于图形的半监督学习方法中，新颖的基于HyperGraph的半监督学习方法，用于解决此节点分类任务的新颖的定向超图神经网络方法，我们认识到新颖的定向HyperGraph神经网络成就最高精度。

本文构成了新型的HyperGraph卷积神经网络基于聚类技术。该技术用于解决Citeseer数据集和CORA数据集的聚类问题。每个数据集都包含特征矩阵和HyperGraph的发射矩阵（即，由特征矩阵构造）。这种新颖的聚类方法利用了两个矩阵。最初，使用HyperGraph自动编码器将入射矩阵和特征矩阵从高维空间转换为低维空间。最后，我们将K-均值聚类技术应用于转换的矩阵。与其他经典聚类技术相比，基于Hypergraph卷积神经网络（CNN）的聚类技术在实验过程中的性能取得了更好的结果。

本文介绍了HyperGraph神经网络方法的新颖版本。该方法用于解决嘈杂的标签学习问题。首先，我们将PCA尺寸还原技术应用于图像数据集的特征矩阵，以减少图像数据集的特征矩阵中的“噪声”和冗余功能方法。然后，基于经典的半监督学习方法，经典的基于超毛图的半手法学习方法，图形神经网络，HyperGraph神经网络和我们提出的HyperGraph神经网络用于解决嘈杂的标签学习问题。评估和比较这五种方法的精度。实验结果表明，当噪声水平提高时，超图神经网络方法达到了最佳性能。此外，高图神经网络方法至少与图神经网络一样好。

在过去的二十年中，我们看到万维网的链接结构被建模为有向图。在本文中，我们将将万维网的链接结构建模为定向超图。此外，我们将为该定向超图开发Pagerank算法。由于缺乏万维网定向HyperGraph数据集，我们将将Pagerank算法应用于代谢网络，该网络是定向的HyperGraph本身。实验表明，我们的新型Pagerank算法成功地应用于该代谢网络。

Pareto Front Learning (PFL) was recently introduced as an effective approach to obtain a mapping function from a given trade-off vector to a solution on the Pareto front, which solves the multi-objective optimization (MOO) problem. Due to the inherent trade-off between conflicting objectives, PFL offers a flexible approach in many scenarios in which the decision makers can not specify the preference of one Pareto solution over another, and must switch between them depending on the situation. However, existing PFL methods ignore the relationship between the solutions during the optimization process, which hinders the quality of the obtained front. To overcome this issue, we propose a novel PFL framework namely \ourmodel, which employs a hypernetwork to generate multiple solutions from a set of diverse trade-off preferences and enhance the quality of the Pareto front by maximizing the Hypervolume indicator defined by these solutions. The experimental results on several MOO machine learning tasks show that the proposed framework significantly outperforms the baselines in producing the trade-off Pareto front.

Online Class Incremental learning (CIL) is a challenging setting in Continual Learning (CL), wherein data of new tasks arrive in incoming streams and online learning models need to handle incoming data streams without revisiting previous ones. Existing works used a single centroid adapted with incoming data streams to characterize a class. This approach possibly exposes limitations when the incoming data stream of a class is naturally multimodal. To address this issue, in this work, we first propose an online mixture model learning approach based on nice properties of the mature optimal transport theory (OT-MM). Specifically, the centroids and covariance matrices of the mixture model are adapted incrementally according to incoming data streams. The advantages are two-fold: (i) we can characterize more accurately complex data streams and (ii) by using centroids for each class produced by OT-MM, we can estimate the similarity of an unseen example to each class more reasonably when doing inference. Moreover, to combat the catastrophic forgetting in the CIL scenario, we further propose Dynamic Preservation. Particularly, after performing the dynamic preservation technique across data streams, the latent representations of the classes in the old and new tasks become more condensed themselves and more separate from each other. Together with a contraction feature extractor, this technique facilitates the model in mitigating the catastrophic forgetting. The experimental results on real-world datasets show that our proposed method can significantly outperform the current state-of-the-art baselines.

Sockeye 3是神经机器翻译（NMT）的Mockeye工具包的最新版本。现在，基于Pytorch，Sockeye 3提供了更快的模型实现和更高级的功能，并具有进一步的简化代码库。这可以通过更快的迭代，对更强大，更快的模型进行有效的培训以及快速从研究转移到生产的新想法的灵活性，从而实现更广泛的实验。当运行可比较的型号时，Sockeye 3的速度比GPU上的其他Pytorch实现快126％，在CPU上的实现速度高达292％。Sockeye 3是根据Apache 2.0许可发布的开源软件。

从非规范目标分布中抽样是概率推断中许多应用的基本问题。 Stein变异梯度下降（SVGD）已被证明是一种强大的方法，它迭代地更新一组粒子以近似关注的分布。此外，在分析其渐近性特性时，SVGD会准确地减少到单目标优化问题，并可以看作是此单目标优化问题的概率版本。然后出现一个自然的问题：“我们可以得出多目标优化的概率版本吗？”。为了回答这个问题，我们提出了随机多重目标采样梯度下降（MT-SGD），从而使我们能够从多个非差异目标分布中采样。具体而言，我们的MT-SGD进行了中间分布的流动，逐渐取向多个目标分布，这使采样颗粒可以移动到目标分布的关节高样区域。有趣的是，渐近分析表明，正如预期的那样，我们的方法准确地减少了多级下降算法以进行多目标优化。最后，我们进行全面的实验，以证明我们进行多任务学习方法的优点。