社交媒体,职业运动和视频游戏正在推动实时视频流的快速增长,在抽搐和YouTube Live等平台上。自动流媒体经验非常易于短时间级网络拥塞,因为客户端播放缓冲区通常不超过几秒钟。不幸的是,识别这些流和测量他们的QoE进行网络管理是具有挑战性的,因为内容提供商在很大程度上使用相同的交付基础设施来用于实时和视频点播(VOD)流,并且不能提供数据包检查技术(包括SNI / DNS查询监控)始终区分两者。在本文中,我们设计,构建和部署康复:基于网络级行为特征的实时视频检测和QoE测量的机器学习方法。我们的贡献是四倍:(1)我们从抽搐和YouTube分析约23,000个视频流,并在其流量配置文件中识别区分实时和按需流的关键功能。我们将我们的交通迹线释放为公众的开放数据; (2)我们开发基于LSTM的二进制分类器模型,该模型将Live从按需流实时区分,在提供商的高度超过95%的准确度; (3)我们开发了一种方法,估计实时流动流动的QoE度量,分辨率和缓冲率分别分别为93%和90%的总体精度; (4)最后,我们将我们的解决方案原型,将其培训在实验室中,并在服务于7,000多名订阅者的Live ISP网络中部署它。我们的方法提供了ISP,具有细粒度的可视性,进入实时视频流,使它们能够测量和改善用户体验。
translated by 谷歌翻译
互联网流量分类在网络可见性,服务质量(QoS),入侵检测,经验质量(QOE)和交通趋势分析中起关键作用。为了提高隐私,完整性,机密性和协议混淆,当前的流量基于加密协议,例如SSL/TLS。随着文献中机器学习(ML)和深度学习(DL)模型的使用增加,由于缺乏标准化的框架,不同模型和方法之间的比较变得繁琐且困难。在本文中,我们提出了一个名为OSF-EIMTC的开源框架,该框架可以提供学习过程的完整管道。从著名的数据集到提取新的和知名的功能,它提供了著名的ML和DL模型(来自交通分类文献)的实现以及评估。这样的框架可以促进交通分类域的研究,从而使其更可重复,可重复,更易于执行,并可以更准确地比较知名和新颖的功能和新颖的功能和模型。作为框架评估的一部分,我们演示了可以使用多个数据集,模型和功能集的各种情况。我们展示了公开可用数据集的分析,并邀请社区使用OSF-EIMTC参与我们的公开挑战。
translated by 谷歌翻译
Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.
translated by 谷歌翻译
The recent success and proliferation of machine learning and deep learning have provided powerful tools, which are also utilized for encrypted traffic analysis, classification, and threat detection in computer networks. These methods, neural networks in particular, are often complex and require a huge corpus of training data. Therefore, this paper focuses on collecting a large up-to-date dataset with almost 200 fine-grained service labels and 140 million network flows extended with packet-level metadata. The number of flows is three orders of magnitude higher than in other existing public labeled datasets of encrypted traffic. The number of service labels, which is important to make the problem hard and realistic, is four times higher than in the public dataset with the most class labels. The published dataset is intended as a benchmark for identifying services in encrypted traffic. Service identification can be further extended with the task of "rejecting" unknown services, i.e., the traffic not seen during the training phase. Neural networks offer superior performance for tackling this more challenging problem. To showcase the dataset's usefulness, we implemented a neural network with a multi-modal architecture, which is the state-of-the-art approach, and achieved 97.04% classification accuracy and detected 91.94% of unknown services with 5% false positive rate.
translated by 谷歌翻译
评估网络协议的真实表现是具有挑战性的。随机控制试验(RCT)对大多数研究人员来说是昂贵的并且无法进入,而专业设计的模拟器则无法捕获真实网络中的复杂行为。我们呈现MaunAlim,一种数据驱动的模拟器,用于解决这一挑战的网络协议。由于数据收集期间使用的协议引入的偏差,从观察数据中学习网络行为是复杂的。 MakAlAIM在一组协议下使用来自初始RCT的迹线来学习因果网络模型,有效地去除数据中存在的偏差。然后,使用此模型,可以在同一迹线上模拟任何协议(即,用于反事实预测)。因果的关键是对来自来自RCT的训练数据引起的分布修正因的对抗性神经网络培训进行了新的使用。我们对实际和合成数据集的MAURALAIM的广泛评估以及来自河豚视频流系统的两种用例,包括来自河豚视频流系统的超过九个月的实际数据,表明它提供了准确的反事预测,将预测误差降低了44%和53%平均值与专家设计和标准的监督学习基线相比。
translated by 谷歌翻译
信息安全团队通常会使用网络蜜饯来测量威胁格局以确保其网络。随着Honeypot开发的发展,当今的中型相互作用的蜜罐为安全团队和研究人员提供了一种部署这些主动防御工具的方式,这些工具几乎不需要维护各种协议。在这项工作中,我们在公共Internet上的五个不同协议上部署了此类蜜罐,并研究了我们观察到的攻击的意图和复杂性。然后,我们使用获得的信息来开发一种聚类方法,该方法可以识别攻击者行为中的相关性,以发现很可能由单个操作员控制的IP,这说明了将这些蜜罐用于数据收集的优势。
translated by 谷歌翻译
我们提出了一种新的四管齐下的方法,在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架,彼此之叠,以提高消防员在紧急首次响应设置中进行的救援任务的安全性,效率和成功完成。首先,我们使用深度卷积神经网络(CNN)系统,以实时地分类和识别来自热图像的感兴趣对象。接下来,我们将此CNN框架扩展了对象检测,跟踪,分割与掩码RCNN框架,以及具有多模级自然语言处理(NLP)框架的场景描述。第三,我们建立了一个深入的Q学习的代理,免受压力引起的迷失方向和焦虑,能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后,我们使用了一种低计算无监督的学习技术,称为张量分解,在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构,我们建立了人工智能系统的骨干,用于消防员的情境意识。要将设计的系统带入消防员的使用,我们设计了一种物理结构,其中处理后的结果被用作创建增强现实的投入,这是一个能够建议他们所在地的消防员和周围的关键特征,这对救援操作至关重要在手头,以及路径规划功能,充当虚拟指南,以帮助迷彩的第一个响应者恢复安全。当组合时,这四种方法呈现了一种新颖的信息理解,转移和综合方法,这可能会大大提高消防员响应和功效,并降低寿命损失。
translated by 谷歌翻译
在过去的几十年里,互联网用户在网上举办了实时事件并与现场,互动受众分享经历的日益增长的需求。像抽搐一样的在线流媒体服务吸引了数百万用户来流并窥视。关于抽搐对流动性普及的预测有很少的研究。在本文中,我们看起来可能有助于娱乐的潜在因素。在4周时段期间,通过使用Twitch的API一致的跟踪收集娱乐数据。收集每个用户的流信息,例如当前观看者和追随者的数量,流类型等。从结果中,我们发现流媒体会话的频率,内容的类型和流的长度是确定在会话期间可以获得多少观众和订户的垃圾媒体。
translated by 谷歌翻译
检测零日(新颖)攻击的能力在网络安全行业中变得至关重要。由于不断发展的攻击签名,现有的网络入侵检测系统通常无法检测到这些威胁。该项目旨在通过利用进入私人网络之前捕获的网络流量来解决检测零日DDO(分布式拒绝服务)攻击的任务。现代特征提取技术与神经网络结合使用,以确定网络数据包是良性还是恶意。
translated by 谷歌翻译
由于照顾不断增长的老年人口的医疗和财务需求,对跌倒的及时可靠发现是一个大型且快速增长的研究领域。在过去的20年中,高质量硬件(高质量传感器和AI微芯片)和软件(机器学习算法)技术的可用性通过为开发人员提供开发此类系统的功能,从而成为这项研究的催化剂。这项研究开发了多个应用组件,以研究秋季检测系统的发展挑战和选择,并为未来的研究提供材料。使用此方法开发的智能应用程序通过秋季检测模型实验和模型移动部署的结果验证。总体上表现最好的模型是标准化的RESNET152,并带有2S窗口尺寸的调整数据集,可实现92.8%的AUC,7.28%的灵敏度和98.33%的特异性。鉴于这些结果很明显,加速度计和心电图传感器对秋季检测有益,并允许跌倒和其他活动之间的歧视。由于所得数据集中确定的弱点,这项研究为改进的空间留下了很大的改进空间。这些改进包括在跌落的临界阶段使用标签协议,增加数据集样品的数量,改善测试主题表示形式,并通过频域预处理进行实验。
translated by 谷歌翻译
在当前的Internet-Internet-More(IoT)部署中,依赖于TCP协议的传统IP网络和IOT特定协议的组合可用于将数据从源传输到目标。因此,使用TCP SYN攻击的TCP特定攻击,例如使用TCP SYN攻击的分布式拒绝服务(DDOS)是攻击者可以在网络物理系统(CPS)上使用的最合理的工具之一。这可以通过从其IOT子系统启动攻击来完成,这里被称为“CPS-IOT”,其潜在的传播到位于雾中的不同服务器和CP的云基础架构。该研究比较了监督,无监督和半监控机器学习算法的有效性,用于检测CPS-IOT中的DDOS攻击,特别是在通过因特网到网络空间到网络空间的数据传输期间。所考虑的算法广泛地分为二:i)检测算法,其包括逻辑回归(LGR),K型和人工神经网络(ANN)。我们还研究了半监督混合学习模型的有效性,它使用无监督的K-means来标记数据,然后将输出馈送到攻击检测的监督学习模型。 II。)预测算法 - LGR,内核RIDGE回归(KRR)和支持向量回归(SVR),用于预测即将发生的攻击。进行实验试验并获得结果表明,杂交模型能够达到100%的精度,零误报;虽然所有预测模型都能够实现超过94%的攻击预测准确性。
translated by 谷歌翻译
研究过程自动化 - 对科学仪器,计算机,数据存储和其他资源的可靠,高效和可重复执行的可靠,高效和可重复执行,这是现代科学的基本要素。我们在此处报告Globus研究数据管理平台内的新服务,该服务可以将各种研究过程的规范作为可重复使用的动作集,流量以及在异质研究环境中执行此类流动的集合。为了以广泛的空间范围(例如,从科学仪器到远程数据中心)和时间范围(从几秒钟到几周),这些Globus自动化服务功能:1)云托管以可靠地执行长期持久的流量,尽管零星的失败,但这些Globus自动化服务功能:1) ; 2)声明性符号和可扩展的异步行动提供商API,用于定义和执行涉及任意资源的各种行动和流动规范; 3)授权授权机制,用于安全调用动作。这些服务允许研究人员将广泛的研究任务的管理外包和自动化为可靠,可扩展和安全的云平台。我们向Globus自动化服务提供用例
translated by 谷歌翻译
本文介绍了FLSYS的设计,实施和评估,一种支持移动应用的深度学习模型的移动云联合学习(FL)系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据,平衡模型性能,在手机上使用资源消耗,容忍手机通信故障,并在云中实现可扩展性。在FLSYS中,可以通过不同的应用程序培训云中具有不同流量的不同DL模型,并通过不同的应用程序同时访问和访问。此外,Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别(HAR)共同设计了FLSYS。在五个月的时间内,在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild,一种针对移动设备定制的CNN模型,具有数据增强机制,以减轻非独立和相同分布的(非IID)数据的问题,这些数据影响野外的流动模型训练。情绪分析(SA)模型用于演示FLSYS如何有效地支持并发模型,并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验,表明Flsys实现了良好的模型实用性和实际系统性能。
translated by 谷歌翻译
机器学习(ML)代表了当前和未来信息系统的关键技术,许多域已经利用了ML的功能。但是,网络安全中ML的部署仍处于早期阶段,揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因,该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊,否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势,以及ML在网络安全方面可以解决的其他任务。此外,我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后,我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献,这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究,这些案例研究描述了ML作为对网络威胁的辩护的工业应用。
translated by 谷歌翻译
预测网络链路上的带宽利用率对于检测拥塞是非常有用的,以便在发生之前校正它们。在本文中,我们提出了一种解决方案来预测不同网络链路之间的带宽利用,具有非常高的精度。创建模拟网络以收集与每个接口上的网络链路性能相关的数据。使用功能工程处理和扩展这些数据,以便创建培训集。我们评估并比较三种类型的机器学习算法,即Arima(自回归积分移动平均线),MLP(多层Perceptron)和LSTM(长短期存储器),以预测未来的带宽消耗。 LSTM以非常精确的预测表达ARIMA和MLP,很少超过3 \%误差(ARIMA的40 \%,对于MLP为20 \%)。然后,我们表明所提出的解决方案可以实时使用,并通过软件定义的网络(SDN)平台管理的反应实时使用。
translated by 谷歌翻译
Concept drift primarily refers to an online supervised learning scenario when the relation between the input data and the target variable changes over time. Assuming a general knowledge of supervised learning in this paper we characterize adaptive learning process, categorize existing strategies for handling concept drift, overview the most representative, distinct and popular techniques and algorithms, discuss evaluation methodology of adaptive algorithms, and present a set of illustrative applications. The survey covers the different facets of concept drift in an integrated way to reflect on the existing scattered state-of-the-art. Thus, it aims at providing a comprehensive introduction to the concept drift adaptation for researchers, industry analysts and practitioners.
translated by 谷歌翻译
网络钓鱼袭击在互联网上继续成为一个重大威胁。先前的研究表明,可以确定网站是否是网络钓鱼,也可以更仔细地分析其URL。基于URL的方法的一个主要优点是它即使在浏览器中呈现网页之前,它也可以识别网络钓鱼网站,从而避免了其他潜在问题,例如加密和驾驶下载。但是,传统的基于URL的方法有它们的局限性。基于黑名单的方法容易出现零小时网络钓鱼攻击,基于先进的机器学习方法消耗高资源,而其他方法将URL发送到远程服务器,损害用户的隐私。在本文中,我们提出了一个分层的防护防御,PhishMatch,这是强大,准确,廉价和客户端的。我们设计一种节省空间高效的AHO-Corasick算法,用于精确串联匹配和基于N-GRAM的索引技术,用于匹配的近似字符串,以检测网络钓鱼URL中的各种弧度标准技术。为了减少误报,我们使用全球白名单和个性化用户白名单。我们还确定访问URL的上下文并使用该信息更准确地对输入URL进行分类。 PhishMatch的最后一个组成部分涉及机器学习模型和受控搜索引擎查询以对URL进行分类。发现针对Chrome浏览器开发的PhishMatch的原型插件,是快速轻便的。我们的评价表明,PhishMatch既有效又有效。
translated by 谷歌翻译
User equipment is one of the main bottlenecks facing the gaming industry nowadays. The extremely realistic games which are currently available trigger high computational requirements of the user devices to run games. As a consequence, the game industry has proposed the concept of Cloud Gaming, a paradigm that improves gaming experience in reduced hardware devices. To this end, games are hosted on remote servers, relegating users' devices to play only the role of a peripheral for interacting with the game. However, this paradigm overloads the communication links connecting the users with the cloud. Therefore, service experience becomes highly dependent on network connectivity. To overcome this, Cloud Gaming will be boosted by the promised performance of 5G and future 6G networks, together with the flexibility provided by mobility in multi-RAT scenarios, such as WiFi. In this scope, the present work proposes a framework for measuring and estimating the main E2E metrics of the Cloud Gaming service, namely KQIs. In addition, different machine learning techniques are assessed for predicting KQIs related to Cloud Gaming user's experience. To this end, the main key quality indicators (KQIs) of the service such as input lag, freeze percent or perceived video frame rate are collected in a real environment. Based on these, results show that machine learning techniques provide a good estimation of these indicators solely from network-based metrics. This is considered a valuable asset to guide the delivery of Cloud Gaming services through cellular communications networks even without access to the user's device, as it is expected for telecom operators.
translated by 谷歌翻译
Darknets的匿名性质通常用于非法活动。先前的研究已经采用了机器学习和深度学习技术来自动对暗网流量的检测,以阻止这些犯罪活动。这项研究旨在通过评估支持向量机(SVM),随机森林(RF),卷积神经网络(CNN)和辅助分类器生成对抗网络(AC-GAN)来改善暗网流量检测申请类型。我们发现,我们的RF模型优于与CIC-Darknet2020数据集的先前工作中使用的最新机器学习技术。为了评估RF分类器的鲁棒性,我们混淆选择应用程序类型类,以模拟现实的对抗攻击方案。我们证明,我们表现最好的分类器可能会被这种攻击击败,我们考虑处理这种对抗性攻击的方法。
translated by 谷歌翻译
包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加,因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况,需要进行高效且准确的视频质量工具,以监视和感知优化通过Zoom,Webex,Meet等进行了优化的远程息息流量,因此,全球视频会议的全球互联网流量已大大增加,因此,现有模型在Multi上的预测能力受到限制。 - 模式,实时流媒体介绍内容。在这里,我们通过多种方式解决了远程敏感视频质量评估(TVQA)的重大挑战。首先,我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏,我们挤在了〜80k的主观质量标签上。使用此新资源,我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架,用于实时流媒体,以计算视觉和音频质量预测。我们的多合一模型能够在贴片,框架,剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能,计算费用降低,使其成为移动和嵌入式系统的有吸引力的解决方案。
translated by 谷歌翻译