Machine Learning (ML) approaches have been used to enhance the detection capabilities of Network Intrusion Detection Systems (NIDSs). Recent work has achieved near-perfect performance by following binary- and multi-class network anomaly detection tasks. Such systems depend on the availability of both (benign and malicious) network data classes during the training phase. However, attack data samples are often challenging to collect in most organisations due to security controls preventing the penetration of known malicious traffic to their networks. Therefore, this paper proposes a Deep One-Class (DOC) classifier for network intrusion detection by only training on benign network data samples. The novel one-class classification architecture consists of a histogram-based deep feed-forward classifier to extract useful network data features and use efficient outlier detection. The DOC classifier has been extensively evaluated using two benchmark NIDS datasets. The results demonstrate its superiority over current state-of-the-art one-class classifiers in terms of detection and false positive rates.

在单个组织中设计和评估时，机器学习（ML）在检测网络攻击中的用途是有效的。然而，通过利用源自若干来源的异构网络数据样本来设计基于ML的检测系统非常具有挑战性。这主要是由于隐私问题和缺乏数据集的普遍格式。在本文中，我们提出了协同联合学习计划来解决这些问题。拟议的框架允许多个组织在设计，培训和评估中加入强大的ML的网络入侵检测系统的武力。威胁情报方案利用其应用的两个关键方面;以通用格式提供网络数据流量的可用性，以允许在数据源上提取有意义的模式。其次，采用联合学习机制来避免在组织之间共享敏感用户信息的必要性。因此，每个组织都与其他组织网络威胁智能受益，同时在内部保持其数据的隐私。该模型在本地培训，只有更新的权重与剩余的参与者共享联合平均过程。通过使用称为NF-UNSW-NB15-V2和NF-BOT-IOT-V2的NETFOL格式的两个密钥数据集，在本文中设计和评估了该框架。在评估过程中考虑了另外两种常见情景;一种集中式培训方法，其中与其他组织共享本地数据样本和本地化培训方法，没有共享威胁情报。结果证明了通过设计通用ML模型的建议框架的效率和有效性，这些框架模型有效地分类源自多个组织的良性和侵入性流量，而无需当地数据交换。

A large number of network security breaches in IoT networks have demonstrated the unreliability of current Network Intrusion Detection Systems (NIDSs). Consequently, network interruptions and loss of sensitive data have occurred, which led to an active research area for improving NIDS technologies. In an analysis of related works, it was observed that most researchers aim to obtain better classification results by using a set of untried combinations of Feature Reduction (FR) and Machine Learning (ML) techniques on NIDS datasets. However, these datasets are different in feature sets, attack types, and network design. Therefore, this paper aims to discover whether these techniques can be generalised across various datasets. Six ML models are utilised: a Deep Feed Forward (DFF), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Decision Tree (DT), Logistic Regression (LR), and Naive Bayes (NB). The accuracy of three Feature Extraction (FE) algorithms; Principal Component Analysis (PCA), Auto-encoder (AE), and Linear Discriminant Analysis (LDA), are evaluated using three benchmark datasets: UNSW-NB15, ToN-IoT and CSE-CIC-IDS2018. Although PCA and AE algorithms have been widely used, the determination of their optimal number of extracted dimensions has been overlooked. The results indicate that no clear FE method or ML model can achieve the best scores for all datasets. The optimal number of extracted dimensions has been identified for each dataset, and LDA degrades the performance of the ML models on two datasets. The variance is used to analyse the extracted dimensions of LDA and PCA. Finally, this paper concludes that the choice of datasets significantly alters the performance of the applied techniques. We believe that a universal (benchmark) feature set is needed to facilitate further advancement and progress of research in this field.

连接设备的快速增长导致了新型网络安全威胁的扩散，称为零日攻击。传统的基于行为的ID依靠DNN来检测这些攻击。用于训练DNN的数据集的质量在检测性能中起着至关重要的作用，而代表性不足的样品导致性能不佳。在本文中，我们开发和评估DBN在连接设备网络中检测网络攻击方面的性能。CICIDS2017数据集用于训练和评估我们提出的DBN方法的性能。应用和评估了几种类平衡技术。最后，我们将方法与常规的MLP模型和现有的最新方法进行比较。我们提出的DBN方法显示出竞争性和有希望的结果，并且在培训数据集中攻击不足的攻击中的检测方面有显着改善。

本文研究了图形神经网络（GNNS）应用程序，以进行自我监督的网络入侵和异常检测。 GNN是一种基于图的数据的深度学习方法，它将图形结构纳入学习以概括图表和输出嵌入。由于网络流量自然基于图，因此GNN非常适合分析和学习网络行为。基于GNN的网络入侵检测系统（NIDSS）的最新实现很大程度上依赖于标记的网络流量，这不仅可以限制输入流量的数量和结构，还可以限制NIDSS的潜力来适应看不见的攻击。为了克服这些限制，我们提出了异常-E，这是GNN的入侵和异常检测方法，该方法在自我监督过程中利用边缘特征和图形拓扑结构。据我们所知，这种方法是第一种成功且实用的方法来进行网络入侵检测，该方法利用网络流动在自我监督，边缘利用GNN中。两个现代基准NIDS数据集的实验结果不仅清楚地显示了使用Anomal-E嵌入而不是原始功能的改进，而且还显示了对野生网络流量检测的潜在异常-E具有的潜在异常功能。

The Internet of Things (IoT) is a system that connects physical computing devices, sensors, software, and other technologies. Data can be collected, transferred, and exchanged with other devices over the network without requiring human interactions. One challenge the development of IoT faces is the existence of anomaly data in the network. Therefore, research on anomaly detection in the IoT environment has become popular and necessary in recent years. This survey provides an overview to understand the current progress of the different anomaly detection algorithms and how they can be applied in the context of the Internet of Things. In this survey, we categorize the widely used anomaly detection machine learning and deep learning techniques in IoT into three types: clustering-based, classification-based, and deep learning based. For each category, we introduce some state-of-the-art anomaly detection methods and evaluate the advantages and limitations of each technique.

本文介绍了基于图形神经网络（GNN）的新的网络入侵检测系统（NID）。 GNN是深度神经网络的一个相对较新的子领域，可以利用基于图形数据的固有结构。 NIDS的培训和评估数据通常表示为流记录，其可以自然地以图形格式表示。这建立了探索网络入侵检测GNN的潜在和动力，这是本文的重点。基于机器的基于机器的NIDS的目前的研究只考虑网络流动，而不是考虑其互连的模式。这是检测复杂的物联网网络攻击的关键限制，例如IOT设备推出的DDOS和分布式端口扫描攻击。在本文中，我们提出了一种克服了这种限制的GNN方法，并允许捕获图形的边缘特征以及IOT网络中网络异常检测的拓扑信息。据我们所知，我们的方法是第一次成功，实用，广泛地评估应用图形神经网络对使用流基于流的数据的网络入侵检测问题的方法。我们在最近的四个NIDS基准数据集上进行了广泛的实验评估，表明我们的方法在关键分类指标方面占据了最先进的，这证明了网络入侵检测中GNN的潜力，并提供了进一步研究的动机。

互联的战地信息共享设备的扩散，称为战场互联网（Iobt），介绍了几个安全挑战。 Iobt运营环境所固有的是对抗机器学习的实践，试图规避机器学习模型。这项工作探讨了在网络入侵检测系统设置中对异常检测的成本效益无监督学习和基于图形的方法的可行性，并利用了集合方法来监督异常检测问题的学习。我们在培训监督模型时纳入了一个现实的对抗性培训机制，以实现对抗性环境的强大分类性能。结果表明，无监督和基于图形的方法在通过两个级别的监督堆叠集合方法检测异常（恶意活动）时表现优于检测异常（恶意活动）。该模型由第一级别的三个不同的分类器组成，然后是第二级的天真贝叶斯或决策树分类器。对于所有测试水平的两个分类器，该模型将在0.97高于0.97以上的F1分数。值得注意的是，天真贝叶斯是最快的两个分类器平均1.12秒，而决策树保持最高的AUC评分为0.98。

这项工作提供了可靠的nids（R-nids），一种新的机器学习方法（ML）的网络入侵检测系统（NIDS），允许ML模型在集成数据集上工作，从不同数据集中具有不同信息的学习过程。因此，R-NIDS针对更强大的模型的设计，比传统方法更好地概括。我们还提出了一个名为UNK21的新数据集。它是由三个最着名的网络数据集（UGR'16，USNW-NB15和NLS-KDD）构建，每个网络环境收集，使用不同的特征和类，通过使用数据聚合方法R-nids。在r-nids之后，在这项工作中，我们建议基于文献中的三个最常见的数据集的信息来构建两个着名的ML模型（一个线性和非线性的一个），用于NIDS评估中的三个，集成在UNK21中的那些。所提出的方法优惠展示了作为NIDS解决方案训练的两种ML模型的结果可以从这种方法中受益，在新提议的UNK21数据集上培训时能够更好地概括。此外，这些结果用统计工具仔细分析了对我们的结论提供了高度信心的统计工具。

网络流量数据是不同网络协议下不同数据字节数据包的组合。这些流量数据包具有复杂的时变非线性关系。现有的最先进的方法通过基于相关性和使用提取空间和时间特征的混合分类技术将特征融合到多个子集中，通过将特征融合到多个子集中来提高这一挑战。这通常需要高计算成本和手动支持，这限制了它们的网络流量的实时处理。为了解决这个问题，我们提出了一种基于协方差矩阵的新型新颖特征提取方法，提取网络流量数据的空间时间特征来检测恶意网络流量行为。我们所提出的方法中的协方差矩阵不仅自然地对不同网络流量值之间的相互关系进行了编码，而且还具有落在riemannian歧管中的明确的几何形状。利莫曼歧管嵌入距离度量，便于提取用于检测恶意网络流量的判别特征。我们在NSL-KDD和UNSW-NB15数据集上进行了评估模型，并显示了我们提出的方法显着优于与数据集上的传统方法和其他现有研究。

Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.

随着网络攻击和网络间谍活动的增长，如今需要更好，更强大的入侵检测系统（IDS）的需求更加有必要。 ID的基本任务是在检测Internet的攻击方面充当第一道防线。随着入侵者的入侵策略变得越来越复杂且难以检测，研究人员已经开始应用新颖的机器学习（ML）技术来有效地检测入侵者，从而保留互联网用户对整个互联网网络安全的信息和整体信任。在过去的十年中，基于ML和深度学习（DL）架构的侵入检测技术的爆炸激增，这些架构在各种基于网络安全的数据集上，例如DARPA，KDDCUP'99，NSL-KDD，CAIDA，CAIDA，CTU--- 13，UNSW-NB15。在这项研究中，我们回顾了当代文献，并提供了对不同类型的入侵检测技术的全面调查，该技术将支持向量机（SVMS）算法作为分类器。我们仅专注于在网络安全中对两个最广泛使用的数据集进行评估的研究，即KDDCUP'99和NSL-KDD数据集。我们提供了每种方法的摘要，确定了SVMS分类器的作用以及研究中涉及的所有其他算法。此外，我们以表格形式对每种方法进行了批判性综述，突出了所调查的每种方法的性能指标，优势和局限性。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

Cyber intrusion attacks that compromise the users' critical and sensitive data are escalating in volume and intensity, especially with the growing connections between our daily life and the Internet. The large volume and high complexity of such intrusion attacks have impeded the effectiveness of most traditional defence techniques. While at the same time, the remarkable performance of the machine learning methods, especially deep learning, in computer vision, had garnered research interests from the cyber security community to further enhance and automate intrusion detections. However, the expensive data labeling and limitation of anomalous data make it challenging to train an intrusion detector in a fully supervised manner. Therefore, intrusion detection based on unsupervised anomaly detection is an important feature too. In this paper, we propose a three-stage deep learning anomaly detection based network intrusion attack detection framework. The framework comprises an integration of unsupervised (K-means clustering), semi-supervised (GANomaly) and supervised learning (CNN) algorithms. We then evaluated and showed the performance of our implemented framework on three benchmark datasets: NSL-KDD, CIC-IDS2018, and TON_IoT.

由于它们在各个域中的大量成功，深入的学习技术越来越多地用于设计网络入侵检测解决方案，该解决方案检测和减轻具有高精度检测速率和最小特征工程的未知和已知的攻击。但是，已经发现，深度学习模型容易受到可以误导模型的数据实例，以使所谓的分类决策不正确（对抗示例）。此类漏洞允许攻击者通过向恶意流量添加小的狡猾扰动来逃避检测并扰乱系统的关键功能。在计算机视觉域中广泛研究了深度对抗学习的问题;但是，它仍然是网络安全应用中的开放研究领域。因此，本调查探讨了在网络入侵检测领域采用对抗机器学习的不同方面的研究，以便为潜在解决方案提供方向。首先，调查研究基于它们对产生对抗性实例的贡献来分类，评估ML的NID对逆势示例的鲁棒性，并捍卫这些模型的这种攻击。其次，我们突出了调查研究中确定的特征。此外，我们讨论了现有的通用对抗攻击对NIDS领域的适用性，启动拟议攻击在现实世界方案中的可行性以及现有缓解解决方案的局限性。

医学事物互联网（IOMT）允许使用传感器收集生理数据，然后将其传输到远程服务器，这使医生和卫生专业人员可以连续，永久地分析这些数据，并在早期阶段检测疾病。但是，使用无线通信传输数据将其暴露于网络攻击中，并且该数据的敏感和私人性质可能代表了攻击者的主要兴趣。在存储和计算能力有限的设备上使用传统的安全方法无效。另一方面，使用机器学习进行入侵检测可以对IOMT系统的要求提供适应性的安全响应。在这种情况下，对基于机器学习（ML）的入侵检测系统如何解决IOMT系统中的安全性和隐私问题的全面调查。为此，提供了IOMT的通用三层体系结构以及IOMT系统的安全要求。然后，出现了可能影响IOMT安全性的各种威胁，并确定基于ML的每个解决方案中使用的优势，缺点，方法和数据集。最后，讨论了在IOMT的每一层中应用ML的一些挑战和局限性，这些挑战和局限性可以用作未来的研究方向。

内幕威胁是昂贵的，难以检测，不幸的是发生在发生。寻求改善检测此类威胁，我们开发了新颖的技术，使我们能够提取强大的特征，产生高质量的图像编码，以及增加攻击向量，以获得更大的分类功率。结合，它们形成计算机视觉用户和实体行为分析，一种从地上设计的检测系统，以提高学术界的进步，并减轻防止工业先进模型的问题。该拟议的系统击败了学术界和工业中使用的最先进方法。

As the number of heterogenous IP-connected devices and traffic volume increase, so does the potential for security breaches. The undetected exploitation of these breaches can bring severe cybersecurity and privacy risks. Anomaly-based \acp{IDS} play an essential role in network security. In this paper, we present a practical unsupervised anomaly-based deep learning detection system called ARCADE (Adversarially Regularized Convolutional Autoencoder for unsupervised network anomaly DEtection). With a convolutional \ac{AE}, ARCADE automatically builds a profile of the normal traffic using a subset of raw bytes of a few initial packets of network flows so that potential network anomalies and intrusions can be efficiently detected before they cause more damage to the network. ARCADE is trained exclusively on normal traffic. An adversarial training strategy is proposed to regularize and decrease the \ac{AE}'s capabilities to reconstruct network flows that are out-of-the-normal distribution, thereby improving its anomaly detection capabilities. The proposed approach is more effective than state-of-the-art deep learning approaches for network anomaly detection. Even when examining only two initial packets of a network flow, ARCADE can effectively detect malware infection and network attacks. ARCADE presents 20 times fewer parameters than baselines, achieving significantly faster detection speed and reaction time.

机器学习算法已被广泛用于入侵检测系统，包括多层感知器（MLP）。在这项研究中，我们提出了一个两阶段模型，该模型结合了桦木聚类算法和MLP分类器，以提高网络异常多分类的性能。在我们提出的方法中，我们首先将桦木或kmeans作为无监督的聚类算法应用于CICIDS-2017数据集，以预先分组数据。然后，将生成的伪标签作为基于MLP分类器的训练的附加功能添加。实验结果表明，使用桦木和K-均值聚类进行数据预组化可以改善入侵检测系统的性能。我们的方法可以使用桦木聚类实现多分类的99.73％的精度，这比使用独立的MLP模型的类似研究要好。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。