合作的感知在将车辆的感知范围扩展到超出其视线之外至关重要。然而,在有限的通信资源下交换原始感官数据是不可行的。为了实现有效的合作感知,车辆需要解决以下基本问题:需要共享哪些感官数据?,在哪个分辨率?,以及哪个车辆?为了回答这个问题,在本文中,提出了一种新颖的框架来允许加强学习(RL)基于车辆关联,资源块(RB)分配和通过利用基于四叉的点的协作感知消息(CPM)的内容选择云压缩机制。此外,引入了联合的RL方法,以便在跨车辆上加速训练过程。仿真结果表明,RL代理能够有效地学习车辆关联,RB分配和消息内容选择,同时在接收的感官信息方面最大化车辆的满足。结果还表明,与非联邦方法相比,联邦RL改善了培训过程,可以在与非联邦方法相同的时间内实现更好的政策。
translated by 谷歌翻译
互联网连接系统的规模大大增加,这些系统比以往任何时候都更接触到网络攻击。网络攻击的复杂性和动态需要保护机制响应,自适应和可扩展。机器学习,或更具体地说,深度增强学习(DRL),方法已经广泛提出以解决这些问题。通过将深入学习纳入传统的RL,DRL能够解决复杂,动态,特别是高维的网络防御问题。本文提出了对为网络安全开发的DRL方法进行了调查。我们触及不同的重要方面,包括基于DRL的网络 - 物理系统的安全方法,自主入侵检测技术和基于多元的DRL的游戏理论模拟,用于防范策略对网络攻击。还给出了对基于DRL的网络安全的广泛讨论和未来的研究方向。我们预计这一全面审查提供了基础,并促进了未来的研究,探讨了越来越复杂的网络安全问题。
translated by 谷歌翻译
未来几年物联网设备计数的预期增加促使有效算法的开发,可以帮助其有效管理,同时保持功耗低。在本文中,我们提出了一种智能多通道资源分配算法,用于Loradrl的密集Lora网络,并提供详细的性能评估。我们的结果表明,所提出的算法不仅显着提高了Lorawan的分组传递比(PDR),而且还能够支持移动终端设备(EDS),同时确保较低的功耗,因此增加了网络的寿命和容量。}大多数之前作品侧重于提出改进网络容量的不同MAC协议,即Lorawan,传输前的延迟等。我们展示通过使用Loradrl,我们可以通过Aloha \ TextColor {Black}与Lorasim相比,我们可以实现相同的效率LORA-MAB在将复杂性从EDS移动到网关的同时,因此使EDS更简单和更便宜。此外,我们在大规模的频率干扰攻击下测试Loradrl的性能,并显示其对环境变化的适应性。我们表明,与基于学习的技术相比,Loradrl的输出改善了最先进的技术的性能,从而提高了PR的500多种\%。
translated by 谷歌翻译
新一代网络威胁的兴起要求更复杂和智能的网络防御解决方案,配备了能够学习在没有人力专家知识的情况下做出决策的自治代理。近年来提出了用于自动网络入侵任务的几种强化学习方法(例如,马尔可夫)。在本文中,我们介绍了一种新一代的网络入侵检测方法,将基于Q学习的增强学习与用于网络入侵检测的深馈前神经网络方法相结合。我们提出的深度Q-Learning(DQL)模型为网络环境提供了正在进行的自动学习能力,该网络环境可以使用自动试验误差方法检测不同类型的网络入侵,并连续增强其检测能力。我们提供涉及DQL模型的微调不同的超参数的细节,以获得更有效的自学。根据我们基于NSL-KDD数据集的广泛实验结果,我们确认折扣因子在250次训练中设定为0.001,产生了最佳的性能结果。我们的实验结果还表明,我们所提出的DQL在检测不同的入侵课程和优于其他类似的机器学习方法方面的高度有效。
translated by 谷歌翻译
使用人工智能(AI)赋予无线网络中数据量的前所未有的数据量激增,为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习(ML)基础的服务。然而,这种传统的训练技术包括两个挑战:(i)由于数据通信增加而导致的高通信和能源成本,(ii)通过允许不受信任的各方利用这些信息来威胁数据隐私。最近,鉴于这些限制,一种新兴的新兴技术,包括联合学习(FL),以使ML带到无线网络的边缘。通过以分布式方式培训全局模型,可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源,在不影响数据隐私的情况下开发广义ML模型。在本文中,我们介绍了对FL的基本面和能够实现技术的全面调查。此外,提出了一个广泛的研究,详细说明了无线网络中的流体的各种应用,并突出了他们的挑战和局限性。进一步探索了FL的疗效,其新兴的前瞻性超出了第五代(B5G)和第六代(6G)通信系统。本调查的目的是在关键的无线技术中概述了流动的技术,这些技术将作为建立对该主题的坚定了解的基础。最后,我们向未来的研究方向提供前进的道路。
translated by 谷歌翻译
同时传输和反射可重新配置的可重新配置智能表面(Star-Riss)被认为是有希望的辅助设备,以增强无线网络的性能,其中位于表面的不同侧的用户可以同时由发送和反射信号同时服务。本文研究了非正交多通道(NOMA)辅助星级下行链路网络的能效(EE)最大化问题。由于EE的分数形式,通过传统的凸优化解决方案解决EE最大化问题是挑战性的。在这项工作中,提出了一种深度确定的政策梯度(DDPG)基于算法,以通过共同优化基站的传输波束成形矢量和Star-RIS的系数矩阵来最大化EE。仿真结果表明,考虑时变通道,所提出的算法可以有效地最大化系统EE。
translated by 谷歌翻译
交通优化挑战,如负载平衡,流量调度和提高数据包交付时间,是广域网(WAN)中困难的在线决策问题。例如,需要复杂的启发式方法,以找到改善分组输送时间并最小化可能由链接故障或拥塞引起的中断的最佳路径。最近的加强学习(RL)算法的成功可以提供有用的解决方案,以建立更好的鲁棒系统,这些系统从无模式设置中学习。在这项工作中,我们考虑了一条路径优化问题,专门针对数据包路由,在大型复杂网络中。我们开发和评估一种无模型方法,应用多代理元增强学习(MAMRL),可以确定每个数据包的下一跳,以便将其传递到其目的地,最短的时间整体。具体地,我们建议利用和比较深度策略优化RL算法,以便在通信网络中启用分布式无模型控制,并呈现基于新的Meta学习的框架Mamrl,以便快速适应拓扑变化。为了评估所提出的框架,我们用各种WAN拓扑模拟。我们广泛的数据包级仿真结果表明,与古典最短路径和传统的加强学习方法相比,Mamrl即使网络需求增加也显着降低了平均分组交付时间;与非元深策略优化算法相比,我们的结果显示在连杆故障发生的同时出现相当的平均数据包交付时间时减少较少的剧集中的数据包丢失。
translated by 谷歌翻译
Microgrids(MGS)是未来的缩小能量系统的重要参与者,其中许多智能的东西(物联网)设备在智能电网中的能量管理中相互作用。虽然MG能源管理有许多作品,但大多数研究都假设了一个完美的通信环境,其中不考虑通信故障。在本文中,我们将MG视为具有IOT设备的多智能传播环境,其中AI代理与其同行交换信息以进行协作。但是,由于通信故障或分组丢失,协作信息可能会丢失。这些事件可能会影响整个MG的操作。为此,我们提出了一种多种子体贝叶斯深增强学习(BA-DRL)方法,用于MG能量管理下的通信故障。我们首先定义多个代理部分观察到的马尔可夫决策过程(MA-POMDP)来描述在通信失败下的代理商,其中每个代理人可以更新其对同龄人的行动的信念。然后,我们在BA-DRL中应用用于Q值估计的双深度Q学习(DDQN)架构,并提出了基于信念的相关性平衡,用于多助剂BA-DRL的关节动作选择。最后,仿真结果表明,BA-DRL对供电不确定度和通信故障不确定性强大。 BA-DRL的奖励比NASH Deep Q-Learning(NASH-DQN)和乘法器(ADMM)的交替方向方法分别在1%的通信失效概率下进行4.1%和10.3%。
translated by 谷歌翻译
联合学习(FL)能够通过定期聚合培训的本地参数来在多个边缘用户执行大的分布式机器学习任务。为了解决在无线迷雾云系统上实现支持的关键挑战(例如,非IID数据,用户异质性),我们首先基于联合平均(称为FedFog)的高效流行算法来执行梯度参数的本地聚合在云端的FOG服务器和全球培训更新。接下来,我们通过调查新的网络知识的流动系统,在无线雾云系统中雇用FEDFog,这促使了全局损失和完成时间之间的平衡。然后开发了一种迭代算法以获得系统性能的精确测量,这有助于设计有效的停止标准以输出适当数量的全局轮次。为了缓解级体效果,我们提出了一种灵活的用户聚合策略,可以先培训快速用户在允许慢速用户加入全局培训更新之前获得一定程度的准确性。提供了使用若干现实世界流行任务的广泛数值结果来验证FEDFOG的理论融合。我们还表明,拟议的FL和通信的共同设计对于在实现学习模型的可比准确性的同时,基本上提高资源利用是必要的。
translated by 谷歌翻译
联邦学习(FL)变得流行,并在训练大型机器学习(ML)模型的情况下表现出很大的潜力,而不会使所有者的原始数据曝光。在FL中,数据所有者可以根据其本地数据培训ML模型,并且仅将模型更新发送到模型更新,而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效,招募足够的参与者至关重要。同时,数据所有者是理性的,可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题,最近有各种作品旨在激励数据业主贡献其资源。在本文中,我们为文献中提出的经济和游戏理论方法提供了全面的审查,以设计刺激数据业主参加流程培训过程的各种计划。特别是,我们首先在激励机制设计中常用的佛罗里达州的基础和背景,经济理论。然后,我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后,我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。
translated by 谷歌翻译
事物互联网(物联网)和人工智能(AI)的快速进步催化了智能城市的自适应交通信号控制系统(ATCS)的开发。特别是,深度增强学习(DRL)方法产生最先进的性能,并且具有很大的实际应用潜力。在现有的基于DRL的ATC中,受控信号从附近车辆收集交通状态信息,然后可以基于收集的信息确定最佳动作(例如,切换阶段)。 DRL模型完全“信任”该车辆正在向信号发送真实信息,使ATC易受伪造信息的对抗攻击。鉴于此,本文首次制定了一种新颖的任务,其中一组车辆可以协同地发送伪造的信息,以“欺骗”基于DRL的ATC,以节省他们的总旅行时间。为了解决拟议的任务,我们开发了由道路状语编码器,车辆解释器和通信机制组成的通用和有效的车辆斗争框架。我们采用我们的方法来攻击建立的基于DRL的ATC,并证明拼拼载的总行程时间可以通过合理数量的学习剧集显着减少,并且如果拼的车辆的数量增加,勾结效果将减小。此外,还提供了对基于DRL的ATC的实际部署的见解和建议。研究结果可以帮助提高ATC的可靠性和鲁棒性,并更好地保护智能移动系统。
translated by 谷歌翻译
小型无人驾驶飞机的障碍避免对于未来城市空袭(UAM)和无人机系统(UAS)交通管理(UTM)的安全性至关重要。有许多技术用于实时强大的无人机指导,但其中许多在离散的空域和控制中解决,这将需要额外的路径平滑步骤来为UA提供灵活的命令。为提供无人驾驶飞机的操作安全有效的计算指导,我们探讨了基于近端政策优化(PPO)的深增强学习算法的使用,以指导自主UA到其目的地,同时通过连续控制避免障碍物。所提出的场景状态表示和奖励功能可以将连续状态空间映射到连续控制,以便进行标题角度和速度。为了验证所提出的学习框架的性能,我们用静态和移动障碍进行了数值实验。详细研究了与环境和安全操作界限的不确定性。结果表明,该拟议的模型可以提供准确且强大的指导,并解决了99%以上的成功率的冲突。
translated by 谷歌翻译
移动边缘计算(MEC)是一个突出的计算范例,它扩展了无线通信的应用领域。由于用户设备和MEC服务器的能力的限制,边缘缓存(EC)优化对于有效利用启用MEC的无线网络中的高速利用。然而,内容普及空间和时间的动态和复杂性以及用户的隐私保护对EC优化构成了重大挑战。在本文中,提出了一种隐私保留的分布式深度确定性政策梯度(P2D3PG)算法,以最大化MEC网络中设备的高速缓存命中率。具体而言,我们认为内容流行度是动态,复杂和不可观察的事实,并制定了在隐私保存的限制下作为分布式问题的设备的高速缓存命中速率的最大化。特别是,我们将分布式优化转换为分布式的无模型马尔可夫决策过程问题,然后介绍一种隐私保留的联合学习方法,用于普及预测。随后,基于分布式增强学学习开发了P2D3PG算法以解决分布式问题。仿真结果表明,在保护用户隐私的同时通过基线方法提高EC击中率的提出方法的优越性。
translated by 谷歌翻译
经验重放机制允许代理多次使用经验。在以前的作品中,过渡的抽样概率根据其重要性进行调整。重新分配采样概率在每次迭代后的重传缓冲器的每个过渡是非常低效的。因此,经验重播优先算法重新计算时,相应的过渡进行采样,以获得计算效率转变的意义。然而,过渡的重要性水平动态变化的政策和代理人的价值函数被更新。此外,经验回放存储转换由可显著从代理的最新货币政策偏离剂的以前的政策产生。从代理引线的最新货币政策更关闭策略更新,这是有害的代理高偏差。在本文中,我们开发了一种新的算法,通过KL散度批次优先化体验重播(KLPER),其优先批次转换的,而不是直接优先每个过渡。此外,为了减少更新的截止policyness,我们的算法选择一个批次中的某一批次的数量和力量的通过很有可能是代理的最新货币政策所产生的一批学习代理。我们结合与深确定性政策渐变和Twin算法延迟深确定性政策渐变,并评估它在不同的连续控制任务。 KLPER提供培训期间的抽样效率,最终表现和政策的稳定性方面有前途的深确定性的连续控制算法的改进。
translated by 谷歌翻译
高度动态的移动ad-hoc网络(MANET)仍然是开发和部署强大,高效和可扩展的路由协议的最具挑战性环境之一。在本文中,我们提出了DeepCQ +路由协议,以一种新颖的方式将新兴的多代理深度增强学习(Madrl)技术集成到现有的基于Q学习的路由协议及其变体中,并在各种拓扑结构中实现了持续更高的性能和移动配置。在保持基于Q学习的路由协议的整体协议结构的同时,DeepCQ +通过精心设计的Madrl代理替换静态配置的参数化阈值和手写规则,使得不需要这些参数的配置。广泛的模拟表明,与其基于Q学习的对应物相比,DeptCQ +产生的端到端吞吐量显着增加了端到端延迟(跳数)的明显劣化。在定性方面,也许更重要的是,Deepcq +在许多情况下维持了非常相似的性能提升,即在网络尺寸,移动条件和交通动态方面没有接受过培训。据我们所知,这是Madrl框架的第一次成功应用MANET路由问题,即使在训练有素的场景范围之外的环境中,即使在训练范围之外的环境中也能够高度的可扩展性和鲁棒性。这意味着我们的基于Marl的DeepCQ +设计解决方案显着提高了基于Q学习的CQ +基线方法的性能,以进行比较,并提高其实用性和解释性,因为现实世界的MANET环境可能会在训练范围的MANET场景之外变化。讨论了进一步提高性能和可扩展性的增益的额外技术。
translated by 谷歌翻译
政策梯度方法在多智能体增强学习中变得流行,但由于存在环境随机性和探索代理(即非公平性​​),它们遭受了高度的差异,这可能因信用分配难度而受到困扰。结果,需要一种方法,该方法不仅能够有效地解决上述两个问题,而且需要足够强大地解决各种任务。为此,我们提出了一种新的多代理政策梯度方法,称为强大的本地优势(ROLA)演员 - 评论家。 Rola允许每个代理人将个人动作值函数作为当地评论家,以及通过基于集中评论家的新型集中培训方法来改善环境不良。通过使用此本地批评,每个代理都计算基准,以减少对其策略梯度估计的差异,这导致含有其他代理的预期优势动作值,这些选项可以隐式提高信用分配。我们在各种基准测试中评估ROLA,并在许多最先进的多代理政策梯度算法上显示其鲁棒性和有效性。
translated by 谷歌翻译
语义通信将在实现下一代无线系统中实现目标面向服务的关键作用。然而,该域中的大多数现有技术仅限于特定应用程序(例如,文本或图像),并且它不能够实现所定向的通信,其中必须与语义一起考虑发送信息的有效性,以便执行a某些任务。在本文中,提出了一种综合语义通信框架,以实现面向目标的任务执行。为了捕获扬声器和侦听器之间的语义,使用信仰的概念来定义一个通用语言,以使扬声器向听众描述环境观察。然后,提出了优化问题以选择完美描述了观察的最小信念集,同时最小化任务执行时间和传输成本。建议将课程学习(CL)和强化学习(RL)结合的新型自上而下框架来解决这个问题。仿真结果表明,在训练期间,所提出的CL方法在收敛时间,任务执行时间和传输成本方面优于传统的RL。
translated by 谷歌翻译
自动驾驶在过去二十年中吸引了重要的研究兴趣,因为它提供了许多潜在的好处,包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途,但车道变化仍然是自治车辆(AV)的巨大挑战,特别是在混合和动态的交通方案中。最近,强化学习(RL)是一种强大的数据驱动控制方法,已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而,这些研究的大多数研究专注于单车展,并且在多个AVS与人类驱动车辆(HDV)共存的情况下,道路变化已经受到稀缺的关注。在本文中,我们在混合交通公路环境中制定了多个AVS的车道改变决策,作为多功能增强学习(Marl)问题,其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地,使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络(MA2C)。特别是,提出了一种多目标奖励功能来纳入燃油效率,驾驶舒适度和自主驾驶的安全性。综合实验结果,在三种不同的交通密度和各级人类司机侵略性下进行,表明我们所提出的Marl框架在效率,安全和驾驶员舒适方面始终如一地优于几个最先进的基准。
translated by 谷歌翻译
随着移动网络的增殖,我们正在遇到强大的服务多样化,这需要从现有网络的更大灵活性。建议网络切片作为5G和未来网络的资源利用解决方案,以解决这种可怕需求。在网络切片中,动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是,由于缺乏准确的模型和动态隐藏结构,这种过程对于传统方法来说太复杂。在不知道模型和隐藏结构的情况下,我们将问题作为受约束的马尔可夫决策过程(CMDP)制定。此外,我们建议使用Clara解决问题,这是一种基于钢筋的基于资源分配算法。特别是,我们分别使用自适应内部点策略优化和投影层分析累积和瞬时约束。评估表明,Clara明显优于资源配置的基线,通过服务需求保证。
translated by 谷歌翻译
由于其在分布式机器学习中的隐私保护,联邦学习引起了很多研究。然而,联合学习的现有工作主要侧重于卷积神经网络(CNN),其无法有效处理在许多应用中流行的图形数据。图表卷积网络(GCN)已被提出为图表学习最有前途的技术之一,但其联邦设置很少探索。在本文中,我们提出了在多个计算客户端之间的联合图学习的FedRogk,每个Chouble Graph学习,其中每个计算包括子图。 Fed FredGraph通过解决两个独特的挑战来提供强大的图形学习能力。首先,传统的GCN培训需要客户之间的数据共享,导致隐私泄漏的风险。 Fed FedGraph使用新的跨客户端卷积操作来解决此问题。第二个挑战是高GCN训练开销,由大图尺寸发生。我们提出了一种基于深度加强学习的智能图形采样算法,可以自动收敛到平衡训练速度和准确性的最佳采样策略。我们基于Pytorch实现FedFraph,并在测试平台上部署绩效评估。四个流行数据集的实验结果表明,Fed FedGraph通过使更高的准确性更快地融合来显着优于现有的工作。
translated by 谷歌翻译