日志异常检测是IT操作(AIOPs)的人工智能领域的关键组成部分。考虑到变量域的日志数据,Retring为未知域的整个网络效率低于实际工业场景,特别是对于低资源域。但是,之前的深层模型仅仅集中在同一域中提取日志序列的语义,导致多域日志的概括。因此,我们提出了一种统一的基于变换器的日志异常检测框架(\ OurMethod {}),其包括预先曝光和基于适配器的调谐阶段。我们的模型首先在源域上留下来验证以获取日志数据的共享语义知识。然后,我们通过基于适配器的调谐将预磨模的模型传送到目标域。所提出的方法在包括一个源域和两个目标域的三个公共数据集上进行评估。实验结果表明,我们的简单且有效的方法,具有较少的可训练参数和较低的目标领域的培训成本,在三个基准上实现了最先进的性能。
translated by 谷歌翻译
日志是确保许多软件系统的可靠性和连续性,尤其是大规模分布式系统的命令。他们忠实地录制运行时信息,以便于系统故障排除和行为理解。由于现代软件系统的大规模和复杂性,日志量已达到前所未有的水平。因此,对于基于逻究的异常检测,常规的手动检查方法甚至传统的基于机器学习的方法变得不切实际,这是一种不切实际的是,作为基于深度学习的解决方案的快速发展的催化剂。然而,目前在诉诸神经网络的代表性日志的异常探测器之间缺乏严格的比较。此外,重新实现过程需要不琐碎的努力,并且可以轻易引入偏差。为了更好地了解不同异常探测器的特性,在本文中,我们提供了六种最先进的方法使用的五种流行神经网络的全面审查和评估。特别是,4种所选方法是无监督的,并且剩下的两个是监督的。这些方法是用两个公开的日志数据集进行评估,其中包含近1600万日志消息和总共有04万个异常实例。我们相信我们的工作可以作为这一领域的基础,为未来的学术研究和工业应用做出贡献。
translated by 谷歌翻译
Unilog:部署一个模型并专门为所有日志分析任务专门
translated by 谷歌翻译
日志分析是工程师用来解决大规模软件系统故障的主要技术之一。在过去的几十年中,已经提出了许多日志分析方法来检测日志反映的系统异常。他们通常将日志事件计数或顺序日志事件作为输入,并利用机器学习算法,包括深度学习模型来检测系统异常。这些异常通常被确定为对数序列中对数事件的定量关系模式或顺序模式的违反。但是,现有方法无法利用日志事件之间的空间结构关系,从而导致潜在的错误警报和不稳定的性能。在这项研究中,我们提出了一种新型的基于图的对数异常检测方法loggd,以通过将日志序列转换为图来有效解决问题。我们利用了图形变压器神经网络的强大功能,该网络结合了图结构和基于日志异常检测的节点语义。我们在四个广泛使用的公共日志数据集上评估了建议的方法。实验结果表明,Loggd可以胜过最先进的基于定量和基于序列的方法,并在不同的窗口大小设置下实现稳定的性能。结果证实LOGGD在基于对数的异常检测中有效。
translated by 谷歌翻译
在计算机系统中生成的系统日志是指同时收集的大规模数据,并用作确定简单错误和检测外部对抗侵入或内部人士异常行为的基本数据。系统日志异常检测的目的是迅速识别异常,同时最大限度地减少人为干预,这是行业的一个关键问题。先前的研究通过解析器将各种形式的日志数据转换为标准化模板后,通过算法进行异常检测。这些方法涉及生成模板,用于精制日志键。特别地,应该预先定义对应于特定事件的模板,以便对日志密钥中的信息可能会丢失的所有日志数据来预先定义。在本研究中,我们提出Lanobert,一个使用的解析器免费系统日志异常检测方法BERT模型,表现出出色的自然语言处理性能。所提出的方法Lanobert通过屏蔽语言建模来学习模型,这是一种基于BERT的预训练方法,并在推断过程中使用屏蔽语言建模丢失功能进行无监督的基于学习的异常检测。与先前的方法在使用基准日志数据集,HDF和BGL进行的实验中相比,Lanobert实现了更好的性能,并且还与某些受监督的学习的模型相比。
translated by 谷歌翻译
IT操作的人工智能(AIOPS)描述了使用各种AI-AI-ai-ai-a-ables方法和工具维护和操作大型IT系统的过程稳定IT活动。任何AIOPS工作流程的核心步骤是异常检测,通常在高量异质数据上执行,例如日志消息(日志),指标(例如CPU利用率)和分布式痕迹。在本文中,我们提出了一种从系统日志中可靠和实用异常检测的方法。它通过构建使用1000+ github项目源代码的日志指令来构建一个异常检测模型来克服相关工作的常见缺点,即需要大量手动标记的培训数据。来自不同系统的说明包含有关许多不同正常和异常IT事件的丰富和异体信息,并作为异常检测的基础。所提出的名为Adlilog的方法结合了日志指令和来自感兴趣系统(目标系统)的数据,以通过两阶段的学习过程来学习深度神经网络模型。实验结果表明,ADLILOG的表现优于相关方法的F1分数高达60%,同时满足工业部署的核心非功能性要求,例如无监督设计,有效的模型更新和小型模型尺寸。
translated by 谷歌翻译
大多数NER方法都依赖于广泛的标记数据进行模型培训,这些数据在低资源场景中挣扎,培训数据有限。与资源丰富的源域相比,现有的主要方法通常会遇到目标域具有不同标签集的挑战,该标签集可以作为类传输和域转移得出的结论。在本文中,我们通过可拔出的提示(Lightner)提出了一个轻巧的调整范式,用于低资源。具体而言,我们构建了实体类别的统一可学习的语言器,以生成实体跨度序列和实体类别,而无需任何标签特定的分类器,从而解决了类转移问题。我们通过将可学习的参数纳入自我发言层作为指导,进一步提出了一个可插入的指导模块,该参数可以重新调节注意力并调整预训练的权重。请注意,我们仅通过修复了预训练的语言模型的整个参数来调整那些插入的模块,从而使我们的方法轻巧且灵活地适合低资源场景,并且可以更好地跨域传输知识。实验结果表明,Lightner可以在标准监督环境中获得可比的性能,并且在低资源设置中优于强大基线。代码在https://github.com/zjunlp/deepke/tree/main/main/example/ner/few-shot中。
translated by 谷歌翻译
自动日志文件分析可以尽早发现相关事件,例如系统故障。特别是,自我学习的异常检测技术在日志数据中捕获模式,随后向系统操作员报告意外的日志事件事件,而无需提前提供或手动对异常情况进行建模。最近,已经提出了越来越多的方法来利用深度学习神经网络为此目的。与传统的机器学习技术相比,这些方法证明了出色的检测性能,并同时解决了不稳定数据格式的问题。但是,有许多不同的深度学习体系结构,并且编码由神经网络分析的原始和非结构化日志数据是不平凡的。因此,我们进行了系统的文献综述,概述了部署的模型,数据预处理机制,异常检测技术和评估。该调查没有定量比较现有方法,而是旨在帮助读者了解不同模型体系结构的相关方面,并强调未来工作的开放问题。
translated by 谷歌翻译
转移学习已通过深度审慎的语言模型广泛用于自然语言处理,例如来自变形金刚和通用句子编码器的双向编码器表示。尽管取得了巨大的成功,但语言模型应用于小型数据集时会过多地适合,并且很容易忘记与分类器进行微调时。为了解决这个忘记将深入的语言模型从一个域转移到另一个领域的问题,现有的努力探索了微调方法,以减少忘记。我们建议DeepeMotex是一种有效的顺序转移学习方法,以检测文本中的情绪。为了避免忘记问题,通过从Twitter收集的大量情绪标记的数据来仪器进行微调步骤。我们使用策划的Twitter数据集和基准数据集进行了一项实验研究。 DeepeMotex模型在测试数据集上实现多级情绪分类的精度超过91%。我们评估了微调DeepeMotex模型在分类Emoint和刺激基准数据集中的情绪时的性能。这些模型在基准数据集中的73%的实例中正确分类了情绪。所提出的DeepeMotex-Bert模型优于BI-LSTM在基准数据集上的BI-LSTM增长23%。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明,通过大量情绪标记的数据进行微调提高了最终目标任务模型的鲁棒性和有效性。
translated by 谷歌翻译
日志数据异常检测是IT操作的人工智能区域中的核心组件。但是,大量现有方法使其难以为特定系统选择正确的方法。更好地了解不同种类的异常,以及哪些算法适合检测它们,将支持研究人员和IT运营商。虽然已经存在的异常分类常见的分类,但尚未专门应用于记录数据,指出该域中的特征和特点。在本文中,我们为不同种类的日志数据异常提供了一种分类,并介绍了一种分析标记数据集中的这种异常的方法。我们将我们的分类系统应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并培训了五种最先进的无监督异常检测算法,以评估它们在检测不同种类的异常中的性能。我们的结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中占据了基于数据的方法,但特别是当涉及到检测语境异常时。
translated by 谷歌翻译
Fine-tuning large pre-trained models is an effective transfer mechanism in NLP. However, in the presence of many downstream tasks, fine-tuning is parameter inefficient: an entire new model is required for every task. As an alternative, we propose transfer with adapter modules. Adapter modules yield a compact and extensible model; they add only a few trainable parameters per task, and new tasks can be added without revisiting previous ones. The parameters of the original network remain fixed, yielding a high degree of parameter sharing. To demonstrate adapter's effectiveness, we transfer the recently proposed BERT Transformer model to 26 diverse text classification tasks, including the GLUE benchmark. Adapters attain near state-of-the-art performance, whilst adding only a few parameters per task. On GLUE, we attain within 0.4% of the performance of full fine-tuning, adding only 3.6% parameters per task. By contrast, fine-tuning trains 100% of the parameters per task.
translated by 谷歌翻译
随着云操作的规模和复杂性,监测数据等监视数据中的异常检测将是管理未来IT基础架构的重要组成部分。然而,基于人工智能的许多方法,例如监督的深度学习模型,需要大量标记的训练数据来表现良好。在实践中,这种数据很少可用,因为标签日志数据昂贵,耗时,并且需要深入了解底层系统。我们呈现Loglab,一种用于自动标记日志消息的新型建模方法,而无需专家手动工作。我们的方法依赖于监视系统提供的估计失败时间窗口,以重新检测到产生精确标记的数据集。它基于注意机制,并使用定制目标函数,以便对不平衡数据进行削弱的监督深度学习技术。我们的评估表明,Loglab始终如一地优于三个不同的数据集中的九个基准方法,即使在大故障时间窗口即使在大故障时间窗口也会保持超过0.98的F1分数。
translated by 谷歌翻译
In this paper we explore the task of modeling (semi) structured object sequences; in particular we focus our attention on the problem of developing a structure-aware input representation for such sequences. In such sequences, we assume that each structured object is represented by a set of key-value pairs which encode the attributes of the structured object. Given a universe of keys, a sequence of structured objects can then be viewed as an evolution of the values for each key, over time. We encode and construct a sequential representation using the values for a particular key (Temporal Value Modeling - TVM) and then self-attend over the set of key-conditioned value sequences to a create a representation of the structured object sequence (Key Aggregation - KA). We pre-train and fine-tune the two components independently and present an innovative training schedule that interleaves the training of both modules with shared attention heads. We find that this iterative two part-training results in better performance than a unified network with hierarchical encoding as well as over, other methods that use a {\em record-view} representation of the sequence \cite{de2021transformers4rec} or a simple {\em flattened} representation of the sequence. We conduct experiments using real-world data to demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed ablation studies motivating our modeling choices. We find that our approach performs better than flattening sequence objects and also allows us to operate on significantly larger sequences than existing methods.
translated by 谷歌翻译
通过微调将大规模的预训练语言模型适应下游任务是实现NLP基准测试最先进性能的标准方法。然而,微调具有数百万或数十亿个参数的所有重量模型是对低资源设置中不稳定的采样低效,并且浪费,因为它需要为每个任务存储模型的单独副本。最近的工作已经开发了参数高效的微调方法,但这些方法仍然需要相对大量的参数或表现不足标准微调。在这项工作中,我们提出了一种特殊调整大型语言模型的方法,其在任务性能和比率参数之间具有更好的权衡的方法,而不是比上事先工作。 Compacter通过构建适配器,低级优化和参数化超复分乘法层的思想之上来实现这一目标。具体地,Compacter将特定于特定的权重矩阵插入到预估计模型的权重中,这些权重被有效地计算为共享的“慢速”权重和“快速”等级 - 每个Compacter层定义的矩阵之间的矩阵产品的总和。仅通过培训0.047%的预磨料模型的参数,Compacter会在胶水上标准微调和胜过标准微调的标准微调和低资源设置。我们的代码在〜\ url {https://github.com/rabeehk/compacter}上公开使用。
translated by 谷歌翻译
Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1
translated by 谷歌翻译
作为在Internet交换路由到达性信息的默认协议,边界网关协议(BGP)的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征,同时忽略特征之间的关系和特征中的精确时间相关(无论是长期还是短期依赖性)。在本文中,我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型,其中使用黄土(STL)方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声(GAT)用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法,平均F1分别在平衡和不平衡数据集上得分高达96.3%和93.2%。同时,我们的模型可以扩展以对多个异常进行分类并检测未知事件。
translated by 谷歌翻译
来自文本的采矿因果关系是一种复杂的和至关重要的自然语言理解任务,对应于人类认知。其解决方案的现有研究可以分为两种主要类别:基于特征工程和基于神经模型的方法。在本文中,我们发现前者具有不完整的覆盖范围和固有的错误,但提供了先验知识;虽然后者利用上下文信息,但其因果推断不足。为了处理限制,我们提出了一个名为MCDN的新型因果关系检测模型,明确地模拟因果关系,而且,利用两种方法的优势。具体而言,我们采用多头自我关注在Word级别获得语义特征,并在段级别推断出来的SCRN。据我们所知,关于因果关系任务,这是第一次应用关系网络。实验结果表明:1)该方法对因果区检测进行了突出的性能; 2)进一步分析表现出MCDN的有效性和稳健性。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
视频异常检测旨在识别视频中发生的异常事件。由于异常事件相对较少,收集平衡数据集并培训二进制分类器以解决任务是不可行的。因此,最先前的方法只使用无监督或半监督方法从正常视频中学到。显然,它们是有限的捕获和利用鉴别异常特征,这导致受损的异常检测性能。在本文中,为了解决这个问题,我们通过充分利用用于视频异常检测的正常和异常视频来提出新的学习范式。特别是,我们制定了一个新的学习任务:跨域几次射击异常检测,可以从源域中的众多视频中学习知识,以帮助解决目标域中的几次异常检测。具体而言,我们利用目标普通视频的自我监督培训来减少域间隙,并设计一个Meta Context Cenception模块,以探索几次拍摄设置中的事件的视频上下文。我们的实验表明,我们的方法显着优于DotA和UCF犯罪数据集的基线方法,新任务有助于更实用的异常检测范例。
translated by 谷歌翻译
在本文中,我们解决了深入学习的软件漏洞自动修复问题。数据驱动漏洞修复的主要问题是已知确认漏洞的少数现有数据集仅由几千例组成。然而,培训深度学习模型通常需要数十万例的例子。在这项工作中,我们利用了错误修复任务和漏洞修复任务的直觉相关,并且可以传输来自错误修复的知识可以传输到修复漏洞。在机器学习界中,这种技术称为转移学习。在本文中,我们提出了一种修复名为Vreepair的安全漏洞的方法,该方法是基于转移学习。 vreepair首先在大型错误修复语料库上培训,然后在漏洞修复数据集上调整,这是一个较小的数量级。在我们的实验中,我们表明,仅在错误修复语料库上培训的模型可能已经修复了一些漏洞。然后,我们证明转移学习改善了修复易受攻击的C功能的能力。我们还表明,转移学习模型比具有去噪任务训练的模型更好,并在漏洞固定任务上进行微调。总而言之,本文表明,与在小型数据集上的学习相比,转移学习适用于修复C中的安全漏洞。
translated by 谷歌翻译