随着信息技术在所有生命领域中的日益增长的使用，黑客攻击变得比以往任何时候都变得更加有效。同样，随着技术的发展，攻击数字每隔几个月就会成倍增长，并变得更加复杂，因此传统ID效率低下。本文提出了一种解决方案，不仅检测具有更高检测率的新威胁和比已经使用的ID更低的假阳性，而且还可以检测集体和上下文安全攻击。我们通过使用网络聊天机器人（一个深度的复发神经网络：apache Spark框架上的长期短期内存（LSTM））来实现这些结果异常。我们建议合并语言处理，上下文分析，分布式深度学习，大数据，流量分析的异常检测的概念。我们提出了一个模型，该模型描述了网络在其上下文中从数百万数据包中的序列中抽象正常行为，并将它们实时分析以检测点，集体和上下文异常。实验是在MAWI数据集上进行的，它显示出比签名ID的检测率更好，而且比传统异常ID更好。该实验显示较低的假阳性，较高的检测率和更好的点异常检测。至于有上下文和集体异常检测的证明，我们讨论了我们的主张和假设背后的原因。但是，由于硬件限制，该实验是在数据集的随机小子集上进行的，因此我们分享了实验和未来的愿景思想，因为我们希望将来的其他感兴趣的研究人员将来能够充分证明，这些研究人员拥有比我们的硬件基础架构更好的研究人员。

基于异常的入侵检测系统（IDS）一直是一个热门研究主题，因为它具有检测新威胁的能力，而不仅仅是记忆的签名威胁基于签名的ID的威胁。尤其是在增加了增加黑客工具数量并增加攻击影响的高级技术之后。任何基于异常的模型的问题是其高阳性率。高阳性速率是为什么在实践中通常不使用异常ID的原因。因为基于异常的模型将看不见的模式分类为一种正常但不包括在培训数据集中的威胁。这种类型的问题称为模型无法概括的过度拟合。通过拥有包括所有可能正常情况的大型培训数据集来优化基于异常的模型可能是一个最佳解决方案，但不能在实践中应用。尽管我们可以增加培训样本的数量以包括更多正常情况，但我们仍然需要一个具有更多概括能力的模型。在本研究论文中，我们建议应用深层模型，而不是传统模型，因为它具有更大的概括能力。因此，我们将通过使用大数据和深层模型获得较少的假阳性。我们通过降低假阳性速率在优化基于异常ID的ID中进行了机器学习和深度学习算法进行比较。我们在NSL-KDD基准测试中进行了一个实验，并将我们的结果与IDS优化中传统学习中使用最佳的分类器之一进行了比较。该实验显示，通过使用深度学习而不是传统学习，假阳性降低了10％。

攻击者每天都在越来越多地使用新的攻击，但其中许多攻击并未被入侵检测系统检测到，因为大多数ID忽略了原始数据包信息，并且仅关心从PCAP文件中提取的一些基本统计信息。使用网络程序从数据包中提取固定的统计功能是不错的，但可能不足以检测到当今的挑战。我们认为现在是时候利用大数据和深度学习来从数据包中提取自动动态功能。现在是时候受到计算机视觉和自然语言处理的深度学习预训练模型的启发了，因此安全深度学习解决方案将在大型数据集上使用其预先培训的模型，以在未来的研究中使用。在本文中，我们提出了一种基于字符级嵌入的数据包的新方法，灵感来自文本数据上的FastText成功。我们称这种方法fastpacket。结果是在CIC-IDS-2017数据集的子集上测量的，但我们希望大数据预训练的模型有希望的结果。我们建议在Mawi Big Dataset上构建预先训练的FastPacket，并将其提供给社区，类似于FastText。为了能够胜过当前使用的NID，开始了可以更好地检测复杂攻击的数据包级NID的新时代。

The Internet of Things (IoT) is a system that connects physical computing devices, sensors, software, and other technologies. Data can be collected, transferred, and exchanged with other devices over the network without requiring human interactions. One challenge the development of IoT faces is the existence of anomaly data in the network. Therefore, research on anomaly detection in the IoT environment has become popular and necessary in recent years. This survey provides an overview to understand the current progress of the different anomaly detection algorithms and how they can be applied in the context of the Internet of Things. In this survey, we categorize the widely used anomaly detection machine learning and deep learning techniques in IoT into three types: clustering-based, classification-based, and deep learning based. For each category, we introduce some state-of-the-art anomaly detection methods and evaluate the advantages and limitations of each technique.

医学事物互联网（IOMT）允许使用传感器收集生理数据，然后将其传输到远程服务器，这使医生和卫生专业人员可以连续，永久地分析这些数据，并在早期阶段检测疾病。但是，使用无线通信传输数据将其暴露于网络攻击中，并且该数据的敏感和私人性质可能代表了攻击者的主要兴趣。在存储和计算能力有限的设备上使用传统的安全方法无效。另一方面，使用机器学习进行入侵检测可以对IOMT系统的要求提供适应性的安全响应。在这种情况下，对基于机器学习（ML）的入侵检测系统如何解决IOMT系统中的安全性和隐私问题的全面调查。为此，提供了IOMT的通用三层体系结构以及IOMT系统的安全要求。然后，出现了可能影响IOMT安全性的各种威胁，并确定基于ML的每个解决方案中使用的优势，缺点，方法和数据集。最后，讨论了在IOMT的每一层中应用ML的一些挑战和局限性，这些挑战和局限性可以用作未来的研究方向。

作为在Internet交换路由到达性信息的默认协议，边界网关协议（BGP）的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征，同时忽略特征之间的关系和特征中的精确时间相关（无论是长期还是短期依赖性）。在本文中，我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型，其中使用黄土（STL）方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声（GAT）用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法，平均F1分别在平衡和不平衡数据集上得分高达96.3％和93.2％。同时，我们的模型可以扩展以对多个异常进行分类并检测未知事件。

检测零日（新颖）攻击的能力在网络安全行业中变得至关重要。由于不断发展的攻击签名，现有的网络入侵检测系统通常无法检测到这些威胁。该项目旨在通过利用进入私人网络之前捕获的网络流量来解决检测零日DDO（分布式拒绝服务）攻击的任务。现代特征提取技术与神经网络结合使用，以确定网络数据包是良性还是恶意。

自动日志文件分析可以尽早发现相关事件，例如系统故障。特别是，自我学习的异常检测技术在日志数据中捕获模式，随后向系统操作员报告意外的日志事件事件，而无需提前提供或手动对异常情况进行建模。最近，已经提出了越来越多的方法来利用深度学习神经网络为此目的。与传统的机器学习技术相比，这些方法证明了出色的检测性能，并同时解决了不稳定数据格式的问题。但是，有许多不同的深度学习体系结构，并且编码由神经网络分析的原始和非结构化日志数据是不平凡的。因此，我们进行了系统的文献综述，概述了部署的模型，数据预处理机制，异常检测技术和评估。该调查没有定量比较现有方法，而是旨在帮助读者了解不同模型体系结构的相关方面，并强调未来工作的开放问题。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

对于由硬件和软件组件组成的复杂分布式系统而言，异常检测是一个重要的问题。对此类系统的异常检测的要求和挑战的透彻理解对于系统的安全性至关重要，尤其是对于现实世界的部署。尽管有许多解决问题的研究领域和应用领域，但很少有人试图对这种系统进行深入研究。大多数异常检测技术是针对某些应用域的专门开发的，而其他检测技术则更为通用。在这项调查中，我们探讨了基于图的算法在复杂分布式异质系统中识别和减轻不同类型异常的重要潜力。我们的主要重点是在分布在复杂分布式系统上的异质计算设备上应用时，可深入了解图。这项研究分析，比较和对比该领域的最新研究文章。首先，我们描述了现实世界分布式系统的特征及其在复杂网络中的异常检测的特定挑战，例如数据和评估，异常的性质以及现实世界的要求。稍后，我们讨论了为什么可以在此类系统中利用图形以及使用图的好处。然后，我们将恰当地深入研究最先进的方法，并突出它们的优势和劣势。最后，我们评估和比较这些方法，并指出可能改进的领域。

As the number of heterogenous IP-connected devices and traffic volume increase, so does the potential for security breaches. The undetected exploitation of these breaches can bring severe cybersecurity and privacy risks. Anomaly-based \acp{IDS} play an essential role in network security. In this paper, we present a practical unsupervised anomaly-based deep learning detection system called ARCADE (Adversarially Regularized Convolutional Autoencoder for unsupervised network anomaly DEtection). With a convolutional \ac{AE}, ARCADE automatically builds a profile of the normal traffic using a subset of raw bytes of a few initial packets of network flows so that potential network anomalies and intrusions can be efficiently detected before they cause more damage to the network. ARCADE is trained exclusively on normal traffic. An adversarial training strategy is proposed to regularize and decrease the \ac{AE}'s capabilities to reconstruct network flows that are out-of-the-normal distribution, thereby improving its anomaly detection capabilities. The proposed approach is more effective than state-of-the-art deep learning approaches for network anomaly detection. Even when examining only two initial packets of a network flow, ARCADE can effectively detect malware infection and network attacks. ARCADE presents 20 times fewer parameters than baselines, achieving significantly faster detection speed and reaction time.

在当前的Internet-Internet-More（IoT）部署中，依赖于TCP协议的传统IP网络和IOT特定协议的组合可用于将数据从源传输到目标。因此，使用TCP SYN攻击的TCP特定攻击，例如使用TCP SYN攻击的分布式拒绝服务（DDOS）是攻击者可以在网络物理系统（CPS）上使用的最合理的工具之一。这可以通过从其IOT子系统启动攻击来完成，这里被称为“CPS-IOT”，其潜在的传播到位于雾中的不同服务器和CP的云基础架构。该研究比较了监督，无监督和半监控机器学习算法的有效性，用于检测CPS-IOT中的DDOS攻击，特别是在通过因特网到网络空间到网络空间的数据传输期间。所考虑的算法广泛地分为二：i）检测算法，其包括逻辑回归（LGR），K型和人工神经网络（ANN）。我们还研究了半监督混合学习模型的有效性，它使用无监督的K-means来标记数据，然后将输出馈送到攻击检测的监督学习模型。 II。）预测算法 - LGR，内核RIDGE回归（KRR）和支持向量回归（SVR），用于预测即将发生的攻击。进行实验试验并获得结果表明，杂交模型能够达到100％的精度，零误报;虽然所有预测模型都能够实现超过94％的攻击预测准确性。

随着网络攻击和网络间谍活动的增长，如今需要更好，更强大的入侵检测系统（IDS）的需求更加有必要。 ID的基本任务是在检测Internet的攻击方面充当第一道防线。随着入侵者的入侵策略变得越来越复杂且难以检测，研究人员已经开始应用新颖的机器学习（ML）技术来有效地检测入侵者，从而保留互联网用户对整个互联网网络安全的信息和整体信任。在过去的十年中，基于ML和深度学习（DL）架构的侵入检测技术的爆炸激增，这些架构在各种基于网络安全的数据集上，例如DARPA，KDDCUP'99，NSL-KDD，CAIDA，CAIDA，CTU--- 13，UNSW-NB15。在这项研究中，我们回顾了当代文献，并提供了对不同类型的入侵检测技术的全面调查，该技术将支持向量机（SVMS）算法作为分类器。我们仅专注于在网络安全中对两个最广泛使用的数据集进行评估的研究，即KDDCUP'99和NSL-KDD数据集。我们提供了每种方法的摘要，确定了SVMS分类器的作用以及研究中涉及的所有其他算法。此外，我们以表格形式对每种方法进行了批判性综述，突出了所调查的每种方法的性能指标，优势和局限性。

自2009年比特币成立以来，随着日常交易超过100亿美元，加密货币的市场已经超出了初始预期。随着行业的自动化，自动欺诈探测器的需求变得非常明显。实时检测异常会阻止潜在的事故和经济损失。多元时间序列数据中的异常检测提出了一个特定的挑战，因为它需要同时考虑时间依赖性和变量之间的关系。实时识别异常并不是一项容易的任务，特别是因为他们观察到的确切的异常行为。有些要点可能会呈现全球或局部异常行为，而其他点由于其频率或季节性行为或趋势的变化，可能是异常的。在本文中，我们建议从特定帐户进行以太坊的实时交易，并调查了各种各样的传统和新算法。我们根据他们搜索的策略和异常行为对它们进行分类，并表明当它们将它们捆绑在一起时，它们可以证明是一个很好的实时探测器，警报时间不超过几秒钟，并且非常有高信心。

入侵检测是汽车通信安全的重要防御措施。准确的框架检测模型有助于车辆避免恶意攻击。攻击方法的不确定性和多样性使此任务具有挑战性。但是，现有作品仅考虑本地功能或多功能的弱特征映射的限制。为了解决这些局限性，我们提出了一个新型的模型，用于通过车载通信流量（STC-IDS）的时空相关特征（STC-IDS）进行汽车入侵检测。具体而言，提出的模型利用编码检测体系结构。在编码器部分中，空间关系和时间关系是同时编码的。为了加强特征之间的关系，基于注意力的卷积网络仍然捕获空间和频道特征以增加接受场，而注意力LSTM则建立了以前的时间序列或关键字节的有意义的关系。然后将编码的信息传递给检测器，以产生有力的时空注意力特征并实现异常分类。特别是，构建了单帧和多帧模型，分别呈现不同的优势。在基于贝叶斯优化的自动超参数选择下，该模型经过培训以达到最佳性能。基于现实世界中车辆攻击数据集的广泛实证研究表明，STC-IDS优于基线方法，并且在保持效率的同时获得了较少的假警报率。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

网络流量数据是不同网络协议下不同数据字节数据包的组合。这些流量数据包具有复杂的时变非线性关系。现有的最先进的方法通过基于相关性和使用提取空间和时间特征的混合分类技术将特征融合到多个子集中，通过将特征融合到多个子集中来提高这一挑战。这通常需要高计算成本和手动支持，这限制了它们的网络流量的实时处理。为了解决这个问题，我们提出了一种基于协方差矩阵的新型新颖特征提取方法，提取网络流量数据的空间时间特征来检测恶意网络流量行为。我们所提出的方法中的协方差矩阵不仅自然地对不同网络流量值之间的相互关系进行了编码，而且还具有落在riemannian歧管中的明确的几何形状。利莫曼歧管嵌入距离度量，便于提取用于检测恶意网络流量的判别特征。我们在NSL-KDD和UNSW-NB15数据集上进行了评估模型，并显示了我们提出的方法显着优于与数据集上的传统方法和其他现有研究。

技术快速发展。低成本和即可连接的设备旨在提供新的服务和应用。智能电网或智能医疗保健系统是这些应用的一些示例，所有这些应用程序都在智能城市的背景下。在该总连接方案中，出现了一些安全问题，因为连接设备的数量越大，表面攻击尺寸越大。通过这种方式，需要用于监视和检测安全事件的新解决方案来解决这种情况所带来的新挑战，其中包括监控的大量设备，管理大量数据以及提供的实时要求快速安全事件检测，从而快速响应攻击。在这项工作中，开发并介绍了在这些环境中监视和检测安全事件的实用和即用的工具。该工具基于多元统计网络监测（MSNM）方法，用于监测和异常检测，并将其称为MSNM-Sensor。虽然它是早期的发展阶段，但基于检测分层网络系统中众所周知的攻击的实验结果证明了该工具的适用性，以获得更复杂的情景，例如在智能城市或物联网生态系统中发现的那些。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

存在几种数据驱动方法，使我们的模型时间序列数据能够包括传统的基于回归的建模方法（即，Arima）。最近，在时间序列分析和预测的背景下介绍和探索了深度学习技术。询问的主要研究问题是在预测时间序列数据中的深度学习技术中的这些变化的性能。本文比较了两个突出的深度学习建模技术。比较了经常性的神经网络（RNN）长的短期记忆（LSTM）和卷积神经网络（CNN）基于基于TCN的时间卷积网络（TCN），并报告了它们的性能和训练时间。根据我们的实验结果，两个建模技术都表现了相当具有基于TCN的模型优于LSTM略微。此外，基于CNN的TCN模型比基于RNN的LSTM模型更快地构建了稳定的模型。