Recent advances in distributed artificial intelligence (AI) have led to tremendous breakthroughs in various communication services, from fault-tolerant factory automation to smart cities. When distributed learning is run over a set of wirelessly connected devices, random channel fluctuations and the incumbent services running on the same network impact the performance of both distributed learning and the coexisting service. In this paper, we investigate a mixed service scenario where distributed AI workflow and ultra-reliable low latency communication (URLLC) services run concurrently over a network. Consequently, we propose a risk sensitivity-based formulation for device selection to minimize the AI training delays during its convergence period while ensuring that the operational requirements of the URLLC service are met. To address this challenging coexistence problem, we transform it into a deep reinforcement learning problem and address it via a framework based on soft actor-critic algorithm. We evaluate our solution with a realistic and 3GPP-compliant simulator for factory automation use cases. Our simulation results confirm that our solution can significantly decrease the training delay of the distributed AI service while keeping the URLLC availability above its required threshold and close to the scenario where URLLC solely consumes all network resources.
translated by 谷歌翻译
Federated learning (FL) is a promising approach to enable the future Internet of vehicles consisting of intelligent connected vehicles (ICVs) with powerful sensing, computing and communication capabilities. We consider a base station (BS) coordinating nearby ICVs to train a neural network in a collaborative yet distributed manner, in order to limit data traffic and privacy leakage. However, due to the mobility of vehicles, the connections between the BS and ICVs are short-lived, which affects the resource utilization of ICVs, and thus, the convergence speed of the training process. In this paper, we propose an accelerated FL-ICV framework, by optimizing the duration of each training round and the number of local iterations, for better convergence performance of FL. We propose a mobility-aware optimization algorithm called MOB-FL, which aims at maximizing the resource utilization of ICVs under short-lived wireless connections, so as to increase the convergence speed. Simulation results based on the beam selection and the trajectory prediction tasks verify the effectiveness of the proposed solution.
translated by 谷歌翻译
我们检查了通过直播(OTA)聚合的联合学习(FL),移动用户(MUS)旨在借助聚合本地梯度的参数服务器(PS)在全球模型上达成共识。在OTA FL中,MUS在每个训练回合中使用本地数据训练他们的模型,并以未编码的方式使用相同的频带同时传输其梯度。根据超级梯度的接收信号,PS执行全局模型更新。尽管OTA FL的通信成本显着降低,但它容易受到不利的通道影响和噪声的影响。在接收器侧采用多个天线可以减少这些效果,但是对于远离PS的用户来说,路径损失仍然是一个限制因素。为了改善此问题,在本文中,我们提出了一种基于无线的层次FL方案,该方案使用中间服务器(ISS)在MUS更密集的区域形成簇。我们的计划利用OTA群集聚合与MUS与其相应的IS进行交流,而OTA全球聚合从ISS到PS。我们提出了针对所提出算法的收敛分析,并通过对使用ISS的衍生分析表达式和实验结果的数值评估显示,与单独使用较少的传输功率相比,利用ISS的结果比单独的OTA FL具有更快的收敛性和更好的性能。我们还使用不同数量的群集迭代以及不同数据集和数据分布来验证性能的结果。我们得出的结论是,群集聚集的最佳选择取决于MUS和集群之间的数据分布。
translated by 谷歌翻译
6G无线网络可以预见,以加快物理和网络世界的融合,并以我们部署和利用通信网络的方式实现范式换档。机器学习,尤其是深度学习(DL),将通过提供具有高水平智能的网络的新范式来成为6G的关键技术推动力之一。在本文中,我们介绍了一种新兴的DL体系结构,称为Transformer,并讨论了其对6G网络设计的潜在影响。我们首先讨论变压器和经典DL体系结构之间的差异,并强调变压器的自我发挥机制和强大的代表能力,这使其在应对无线网络设计的各种挑战方面特别有吸引力。具体而言,我们提出了基于变压器的解决方案,用于大规模多输入多输出(MIMO)系统和6G网络中的各种语义通信问题。最后,我们讨论了基于变压器的解决方案中的关键挑战和开放问题,并确定未来在智能6G网络中部署的研究方向。
translated by 谷歌翻译
随着无线标准的发展,引入了更复杂的功能,以解决吞吐量,延迟,安全性和效率方面的增加。为了释放此类新功能的潜力,目前正在利用人工智能(AI)和机器学习(ML)(ML)来从数据中得出模型和协议,而不是通过手工编程。在本文中,我们探讨了将ML应用于下一代无线局域网(WLAN)的可行性。更具体地说,我们专注于IEEE 802.11AX空间重用(SR)问题,并通过联合学习(FL)模型来预测其性能。在这项工作中概述的FL解决方案集是2021年国际电信联盟(ITU)AI的5G挑战赛的一部分。
translated by 谷歌翻译
我们考虑分布式SGD问题,其中主节点在$ n $工人之间分配梯度计算。通过将任务分配给所有工人,只等待$ k $最快的工人,主节点可以随着算法的发展而逐渐增加$ k $,可以权衡算法的错误。但是,这种策略被称为自适应$ k $ -sync,忽略了未使用的计算的成本和向揭示出散布行为的工人进行交流模型的成本。我们提出了一个成本效益的计划,将任务仅分配给$ k $工人,并逐渐增加$ k $。我们介绍了组合多臂匪徒模型的使用来了解哪些工人在分配梯度计算时最快。假设具有指数分布的响应时间以不同方式参数的工人,我们会以我们的策略的遗憾(即学习工人的平均响应时间花费的额外时间)提供经验和理论保证。此外,我们提出和分析适用于大量响应时间分布的策略。与自适应$ k $ -sync相比,我们的计划通过相同的计算工作和较小的下行链路通信在速度较低的情况下,误差大大降低。
translated by 谷歌翻译
通过无线通信信道联合学习(FL),具体地,考虑过空中(OTA)模型聚合框架。在OTA无线设置中,通过增加参数服务器(PS)的接收天线的数量来缓解不利的通道效果,该参数服务器(PS)执行模型聚合。然而,OTA FL的性能受到远离PS远离PS的移动用户(MU)的存在限制。在本文中,为了减轻这种限制,我们提出了分层的超空气联合学习(HotaF1),它利用中介服务器(是)在Mus附近形成集群。我们为建议的设置提供了收敛性分析,并通过理论和实验结果证明了在全局聚集之前每个群集的局部聚合导致更好的性能和更快的收敛性比OTA FL更快。
translated by 谷歌翻译
最近的作品表明,可以通过使用机器学习技术来学习图像的无线传输的任务。已经通过训练了自动化器,非常有前沿图像质量,优于利用源和信道编码分离的流行数字方案,以具有中间的不可培训的沟道层,优于利用源和信道编码分离。然而,这些方法假设可以通过信道传输任何复数,这可以防止硬件或协议只能承认某些信道输入的场景中的算法,例如使用数字星座的使用。这里,我们提出了DeepJSCC-Q,用于无线图像传输的端到端优化的联合源信道编码方案,其能够用固定信道输入字母操作。我们表明DeepJSCC-Q可以对使用连续值通道输入的模型来实现类似的性能。重要的是,在信道条件恶化的情况下,保留在现有工作中观察到的图像质量的正常劣化,使DeepJSCC-Q在实际系统中部署更具吸引力。
translated by 谷歌翻译
我们呈现深度,第一端到端联合源通道编码(JSCC)视频传输方案,其利用深神经网络(DNN)的力量直接将视频信号映射到信道符号,组合视频压缩,信道编码并且调制步骤进入单个神经变换。我们的DNN解码器预测无失真反馈的残差,这通过占闭塞/脱离和相机运动来提高视频质量。我们同时培训不同的带宽分配网络,以允许变量带宽传输。然后,我们使用强化学习(RL)训练带宽分配网络,该钢筋学习(RL)优化视频帧之间的有限可用信道带宽的分配,以最大限度地提高整体视觉质量。我们的研究结果表明,深度可以克服悬崖效应,这在传统的分离的数字通信方案中普遍存在,并在估计和实际信道质量之间取得不匹配来实现优雅的降级。 DeepWive优于H.264视频压缩,然后在所有信道条件下的低密度奇偶校验(LDPC)代码在多尺度结构相似性指数(MS-SSIM)方面平均达到0.0462,同时跳动H.265 + LDPC平均高达0.0058。我们还说明了通过显示我们的最佳带宽分配策略优于NA \“IVE统一分配来优化JSCC视频传输中的带宽分配的重要性。我们相信这是实现端到端潜力的重要一步优化的JSCC无线视频传输系统优于当前的基于分离的设计。
translated by 谷歌翻译
This study focuses on improving the optical character recognition (OCR) data for panels in the COMICS dataset, the largest dataset containing text and images from comic books. To do this, we developed a pipeline for OCR processing and labeling of comic books and created the first text detection and recognition datasets for western comics, called "COMICS Text+: Detection" and "COMICS Text+: Recognition". We evaluated the performance of state-of-the-art text detection and recognition models on these datasets and found significant improvement in word accuracy and normalized edit distance compared to the text in COMICS. We also created a new dataset called "COMICS Text+", which contains the extracted text from the textboxes in the COMICS dataset. Using the improved text data of COMICS Text+ in the comics processing model from resulted in state-of-the-art performance on cloze-style tasks without changing the model architecture. The COMICS Text+ dataset can be a valuable resource for researchers working on tasks including text detection, recognition, and high-level processing of comics, such as narrative understanding, character relations, and story generation. All the data and inference instructions can be accessed in https://github.com/gsoykan/comics_text_plus.
translated by 谷歌翻译