本文构成了新型的HyperGraph卷积神经网络基于聚类技术。该技术用于解决Citeseer数据集和CORA数据集的聚类问题。每个数据集都包含特征矩阵和HyperGraph的发射矩阵(即,由特征矩阵构造)。这种新颖的聚类方法利用了两个矩阵。最初,使用HyperGraph自动编码器将入射矩阵和特征矩阵从高维空间转换为低维空间。最后,我们将K-均值聚类技术应用于转换的矩阵。与其他经典聚类技术相比,基于Hypergraph卷积神经网络(CNN)的聚类技术在实验过程中的性能取得了更好的结果。
translated by 谷歌翻译
人脸识别是模式识别区域中非常重要的领域。它在军事和金融中有多种申请,名称为几个。在本文中,将提出与最近邻的方法的稀疏PCA的组合(以及与内核脊回归方法),并将应用于解决面部识别问题。实验结果表明,稀疏PCA方法的组合(使用近端梯度法和FISTA方法)和一个特定分类系统的准确性可能低于PCA方法和一个特定分类系统的组合的精度,但有时稀疏PCA方法的组合(使用近端梯度法或Fista方法)和一个特定的分类系统导致更好的准确性。此外,我们认识到,使用Fista方法计算稀疏PCA算法的过程总比使用近端梯度方法计算稀疏PCA算法的过程。
translated by 谷歌翻译
本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初,我们将BERT嵌入方法应用于文本(在BBC新闻数据集和IMDB电影评论数据集)中,以便将所有文本转换为数字向量。然后,图形卷积神经网络将应用于这些数字向量,以将这些文本分类为其AP的兴趣类/标签。实验表明,图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。
translated by 谷歌翻译
本文介绍了HyperGraph神经网络方法的新颖版本。该方法用于解决嘈杂的标签学习问题。首先,我们将PCA尺寸还原技术应用于图像数据集的特征矩阵,以减少图像数据集的特征矩阵中的“噪声”和冗余功能方法。然后,基于经典的半监督学习方法,经典的基于超毛图的半手法学习方法,图形神经网络,HyperGraph神经网络和我们提出的HyperGraph神经网络用于解决嘈杂的标签学习问题。评估和比较这五种方法的精度。实验结果表明,当噪声水平提高时,超图神经网络方法达到了最佳性能。此外,高图神经网络方法至少与图神经网络一样好。
translated by 谷歌翻译
为了处理不规则的数据结构,许多数据科学家已经开发了图形卷积神经网络。但是,数据科学家只是主要集中于开发未指导图的深神网络方法。在本文中,我们将介绍用于定向超图的新型神经网络方法。换句话说,我们不仅将开发新型的定向超图神经网络方法,而且还将开发基于新颖的指导性超图的半监督学习方法。这些方法用于解决节点分类任务。实验中使用的两个数据集是Cora和Citeseer数据集。在经典的基于图形的半监督学习方法中,新颖的基于HyperGraph的半监督学习方法,用于解决此节点分类任务的新颖的定向超图神经网络方法,我们认识到新颖的定向HyperGraph神经网络成就最高精度。
translated by 谷歌翻译
在过去的二十年中,我们看到万维网的链接结构被建模为有向图。在本文中,我们将将万维网的链接结构建模为定向超图。此外,我们将为该定向超图开发Pagerank算法。由于缺乏万维网定向HyperGraph数据集,我们将将Pagerank算法应用于代谢网络,该网络是定向的HyperGraph本身。实验表明,我们的新型Pagerank算法成功地应用于该代谢网络。
translated by 谷歌翻译
In the era of Internet of Things (IoT), network-wide anomaly detection is a crucial part of monitoring IoT networks due to the inherent security vulnerabilities of most IoT devices. Principal Components Analysis (PCA) has been proposed to separate network traffics into two disjoint subspaces corresponding to normal and malicious behaviors for anomaly detection. However, the privacy concerns and limitations of devices' computing resources compromise the practical effectiveness of PCA. We propose a federated PCA-based Grassmannian optimization framework that coordinates IoT devices to aggregate a joint profile of normal network behaviors for anomaly detection. First, we introduce a privacy-preserving federated PCA framework to simultaneously capture the profile of various IoT devices' traffic. Then, we investigate the alternating direction method of multipliers gradient-based learning on the Grassmann manifold to guarantee fast training and the absence of detecting latency using limited computational resources. Empirical results on the NSL-KDD dataset demonstrate that our method outperforms baseline approaches. Finally, we show that the Grassmann manifold algorithm is highly adapted for IoT anomaly detection, which permits drastically reducing the analysis time of the system. To the best of our knowledge, this is the first federated PCA algorithm for anomaly detection meeting the requirements of IoT networks.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
排队系统出现在许多重要的现实生活应用中,包括通信网络,运输和制造系统。加固学习(RL)框架是排队控制问题的合适模型,在该问题中,基础动力通常未知,并且代理几乎没有从环境中接收到导航的信息。在这项工作中,我们将排队模型作为RL环境的优化方面进行了研究,并提供了有效学习最佳政策的见解。我们通过使用排队网络系统的固有属性来提出策略的新参数化。实验显示了我们的方法的良好性能,从轻度到繁忙的交通状况各种负载条件。
translated by 谷歌翻译
随机梯度下降(SGD)算法是许多机器学习任务中选择的方法,这要归功于其在处理大规模问题方面的可扩展性和效率。在本文中,我们专注于与主流实践启发式符合SGD的改组版。我们将收敛性与过度参数化设置下的一类非凸功率函数的全局解决方案展示为全局解决方案。与以前的文献相比,我们的分析采用更轻松的非凸假设。然而,我们保持了所需的计算复杂性,因为改组SGD在一般凸设置中已实现。
translated by 谷歌翻译