深度无形的神经网络（NNS）受到了极大的关注，因为它们的复杂性相对较低。通常，这些深度折​​叠的NN仅限于所有输入的固定深度。但是，收敛所需的最佳层随着不同的输入而变化。在本文中，我们首先开发了一个深层确定性策略梯度（DDPG）驱动的深度无折叠的框架，并针对不同输入进行自适应深度，在该框架中，DDPG学习了可训练的深度NN的可训练参数，而不是由随机梯度更新下降算法直接。具体而言，DDPG的状态，动作和状态过渡分别将优化变量，可训练的参数和架构分别设计为DDPG的状态，动作和状态过渡。然后，使用此框架来处理大量多输入多输出系统中的通道估计问题。具体而言，首先，我们通过离网基准制定了通道估计问题，并开发了稀疏的贝叶斯学习（SBL）基于基于的算法来解决它。其次，将基于SBL的算法展开为一组带有一组可训练参数的层结构。第三，采用了提出的DDPG驱动的深度解释框架来基于基于SBL的算法的展开结构来解决此通道估计问题。为了实现自适应深度，我们设计了停止分数以指示何时停止，这是通道重建误差的函数。此外，提出的框架被扩展到实现一般深度神经网络（DNNS）的适应性深度。仿真结果表明，所提出的算法的表现优于固定深度的常规优化算法和DNN，层数量大多。

在带有频划分双链体（FDD）的常规多用户多用户多输入多输出（MU-MIMO）系统中，尽管高度耦合，但已单独设计了通道采集和预编码器优化过程。本文研究了下行链路MU-MIMO系统的端到端设计，其中包括试点序列，有限的反馈和预编码。为了解决这个问题，我们提出了一个新颖的深度学习（DL）框架，该框架共同优化了用户的反馈信息生成和基础站（BS）的预编码器设计。 MU-MIMO系统中的每个过程都被智能设计的多个深神经网络（DNN）单元所取代。在BS上，神经网络生成试验序列，并帮助用户获得准确的频道状态信息。在每个用户中，频道反馈操作是由单个用户DNN以分布方式进行的。然后，另一个BS DNN从用户那里收集反馈信息，并确定MIMO预编码矩阵。提出了联合培训算法以端到端的方式优化所有DNN单元。此外，还提出了一种可以避免针对可扩展设计的不同网络大小进行重新训练的培训策略。数值结果证明了与经典优化技术和其他常规DNN方案相比，提出的DL框架的有效性。

Terahertz频段（0.1---10 THZ）中的无线通信被视为未来第六代（6G）无线通信系统的关键促进技术之一，超出了大量多重输入多重输出（大量MIMO）技术。但是，THZ频率的非常高的传播衰减和分子吸收通常限制了信号传输距离和覆盖范围。从最近在可重构智能表面（RIS）上实现智能无线电传播环境的突破，我们为多跳RIS RIS辅助通信网络提供了一种新型的混合波束形成方案，以改善THZ波段频率的覆盖范围。特别是，部署了多个被动和可控的RIS，以协助基站（BS）和多个单人体用户之间的传输。我们通过利用最新的深钢筋学习（DRL）来应对传播损失的最新进展，研究了BS在BS和RISS上的模拟光束矩阵的联合设计。为了改善拟议的基于DRL的算法的收敛性，然后设计了两种算法，以初始化数字波束形成和使用交替优化技术的模拟波束形成矩阵。仿真结果表明，与基准相比，我们提出的方案能够改善50 \％的THZ通信范围。此外，还表明，我们提出的基于DRL的方法是解决NP-固定光束形成问题的最先进方法，尤其是当RIS辅助THZ通信网络的信号经历多个啤酒花时。

由于处理非covex公式的能力，深入研究深度学习（DL）技术以优化多用户多输入单输出（MU-MISO）下行链接系统。但是，现有的深神经网络（DNN）的固定计算结构在系统大小（即天线或用户的数量）方面缺乏灵活性。本文开发了一个双方图神经网络（BGNN）框架，这是一种可扩展的DL溶液，旨在多端纳纳波束形成优化。首先，MU-MISO系统以两分图为特征，其中两个不相交的顶点集（由传输天线和用户组成）通过成对边缘连接。这些顶点互连状态是通过通道褪色系数建模的。因此，将通用的光束优化过程解释为重量双分图上的计算任务。这种方法将波束成型的优化过程分为多个用于单个天线顶点和用户顶点的子操作。分离的顶点操作导致可扩展的光束成型计算，这些计算不变到系统大小。顶点操作是由一组DNN模块实现的，这些DNN模块共同构成了BGNN体系结构。在所有天线和用户中都重复使用相同的DNN，以使所得的学习结构变得灵活地适合网络大小。 BGNN的组件DNN在许多具有随机变化的网络尺寸的MU-MISO配置上进行了训练。结果，训练有素的BGNN可以普遍应用于任意的MU-MISO系统。数值结果验证了BGNN框架比常规方法的优势。

In this paper, we investigate the joint device activity and data detection in massive machine-type communications (mMTC) with a one-phase non-coherent scheme, where data bits are embedded in the pilot sequences and the base station simultaneously detects active devices and their embedded data bits without explicit channel estimation. Due to the correlated sparsity pattern introduced by the non-coherent transmission scheme, the traditional approximate message passing (AMP) algorithm cannot achieve satisfactory performance. Therefore, we propose a deep learning (DL) modified AMP network (DL-mAMPnet) that enhances the detection performance by effectively exploiting the pilot activity correlation. The DL-mAMPnet is constructed by unfolding the AMP algorithm into a feedforward neural network, which combines the principled mathematical model of the AMP algorithm with the powerful learning capability, thereby benefiting from the advantages of both techniques. Trainable parameters are introduced in the DL-mAMPnet to approximate the correlated sparsity pattern and the large-scale fading coefficient. Moreover, a refinement module is designed to further advance the performance by utilizing the spatial feature caused by the correlated sparsity pattern. Simulation results demonstrate that the proposed DL-mAMPnet can significantly outperform traditional algorithms in terms of the symbol error rate performance.

本文提出了一种对无线通信中的一类主动感测问题的深度学习方法，其中代理在预定数量的时间帧上与环境顺序地交互以收集信息，以便为最大化一些实用程序函数来执行感测或致动任务。在这样的主动学习设置中，代理需要根据到目前为止所做的观察结果来依次设计自适应感测策略。为了解决如此挑战的问题，其中历史观察的维度随着时间的推移而增加，我们建议使用长期短期记忆（LSTM）网络来利用观察序列中的时间相关性，并将每个观察映射到固定的尺寸状态信息矢量。然后，我们使用深神经网络（DNN）将LSTM状态映射到每个时间帧到下一个测量步骤的设计。最后，我们采用另一个DNN将最终的LSTM状态映射到所需的解决方案。我们调查了无线通信中建议框架的性能框架的性能。特别地，我们考虑用于MMWAVE光束对准的自适应波束形成问题和反射对准的自适应可重构智能表面感测问题。数值结果表明，所提出的深度主动传感策略优于现有的自适应或非一种非应用感测方案。

为了减轻阴影衰落和障碍物阻塞的影响，可重新配置的智能表面（RIS）已经成为一种有前途的技术，通过控制具有较少硬件成本和更低的功耗来改善无线通信的信号传输质量。然而，由于大量的RIS被动元件，准确，低延迟和低导频和低导架频道状态信息（CSI）采集仍然是RIS辅助系统的相当大挑战。在本文中，我们提出了一个三阶段的关节通道分解和预测框架来要求CSI。所提出的框架利用了基站（BS）-RIS通道是准静态的两次时间段属性，并且RIS用户设备（UE）通道快速时变。具体而言，在第一阶段，我们使用全双工技术来估计BS的特定天线和RIS之间的信道，解决信道分解中的关键缩放模糊问题。然后，我们设计了一种新型的深度神经网络，即稀疏连接的长短期存储器（SCLSTM），并分别在第二和第三阶段提出基于SCLSTM的算法。该算法可以从级联信道同时分解BS-RIS信道和RIS-UE信道，并捕获RIS-UE信道的时间关系以进行预测。仿真结果表明，我们所提出的框架具有比传统信道估计算法更低的导频开销，并且所提出的基于SCLSTM的算法也可以鲁棒地和有效地实现更准确的CSI采集。

可重新配置的智能表面（RIS）可以显着增强TERA-HERTZ大量多输入多输出（MIMO）通信系统的服务覆盖范围。但是，获得有限的飞行员和反馈信号开销的准确高维通道状态信息（CSI）具有挑战性，从而严重降低了常规空间分裂多次访问的性能。为了提高针对CSI缺陷的鲁棒性，本文提出了针对RIS辅助TERA-HERTZ多用户MIMO系统的基于深度学习的（DL）基于速率的多访问（RSMA）方案。具体而言，我们首先提出了基于DL的混合数据模型驱动的RSMA预编码方案，包括RIS的被动预编码以及模拟主动编码和基本站（BS）的RSMA数字活动预码。为了实现RIS的被动预码，我们提出了一个基于变压器的数据驱动的RIS反射网络（RRN）。至于BS的模拟主动编码，我们提出了一个基于匹配器的模拟预编码方案，因为BS和RIS采用了Los-Mimo天线阵列结构。至于BS的RSMA数字活动预码，我们提出了一个低复杂性近似加权的最小均方误差（AWMMSE）数字编码方案。此外，为了更好地编码性能以及较低的计算复杂性，模型驱动的深层展开的主动编码网络（DFAPN）也是通过将所提出的AWMMSE方案与DL相结合的。然后，为了在BS处获得准确的CSI，以实现提高光谱效率的RSMA预编码方案，我们提出了一个CSI采集网络（CAN），具有低飞行员和反馈信号开销，下行链接飞行员的传输，CSI在此处使用CSI的CSI反馈。 （UES）和BS处的CSI重建被建模为基于变压器的端到端神经网络。

Learning precoding policies with neural networks enables low complexity online implementation, robustness to channel impairments, and joint optimization with channel acquisition. However, existing neural networks suffer from high training complexity and poor generalization ability when they are used to learn to optimize precoding for mitigating multi-user interference. This impedes their use in practical systems where the number of users is time-varying. In this paper, we propose a graph neural network (GNN) to learn precoding policies by harnessing both the mathematical model and the property of the policies. We first show that a vanilla GNN cannot well-learn pseudo-inverse of channel matrix when the numbers of antennas and users are large, and is not generalizable to unseen numbers of users. Then, we design a GNN by resorting to the Taylor's expansion of matrix pseudo-inverse, which allows for capturing the importance of the neighbored edges to be aggregated that is crucial for learning precoding policies efficiently. Simulation results show that the proposed GNN can well learn spectral efficient and energy efficient precoding policies in single- and multi-cell multi-user multi-antenna systems with low training complexity, and can be well generalized to the numbers of users.

Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.

尽管语义通信对大量任务表现出令人满意的性能，但语义噪声和系统的鲁棒性的影响尚未得到很好的研究。语义噪声是指预期的语义符号和接收到的语义符号之间的误导性，从而导致任务失败。在本文中，我们首先提出了一个框架，用于稳健的端到端语义通信系统来对抗语义噪声。特别是，我们分析了样品依赖性和样本无关的语义噪声。为了打击语义噪声，开发了具有重量扰动的对抗训练，以在训练数据集中纳入带有语义噪声的样品。然后，我们建议掩盖一部分输入，在该输入中，语义噪声经常出现，并通过噪声相关的掩蔽策略设计蒙版vector量化量化的量化自动编码器（VQ-VAE）。我们使用发射器共享的离​​散代码簿和接收器用于编码功能表示。为了进一步提高系统鲁棒性，我们开发了一个功能重要性模块（FIM），以抑制与噪声相关和任务无关的功能。因此，发射器只需要在代码簿中传输这些重要的任务相关功能的索引即可。仿真结果表明，所提出的方法可以应用于许多下游任务，并显着提高针对语义噪声的鲁棒性，并显着减少了传输开销。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

Recent advances in distributed artificial intelligence (AI) have led to tremendous breakthroughs in various communication services, from fault-tolerant factory automation to smart cities. When distributed learning is run over a set of wirelessly connected devices, random channel fluctuations and the incumbent services running on the same network impact the performance of both distributed learning and the coexisting service. In this paper, we investigate a mixed service scenario where distributed AI workflow and ultra-reliable low latency communication (URLLC) services run concurrently over a network. Consequently, we propose a risk sensitivity-based formulation for device selection to minimize the AI training delays during its convergence period while ensuring that the operational requirements of the URLLC service are met. To address this challenging coexistence problem, we transform it into a deep reinforcement learning problem and address it via a framework based on soft actor-critic algorithm. We evaluate our solution with a realistic and 3GPP-compliant simulator for factory automation use cases. Our simulation results confirm that our solution can significantly decrease the training delay of the distributed AI service while keeping the URLLC availability above its required threshold and close to the scenario where URLLC solely consumes all network resources.

同时传输和反射可重构的智能表面（星际摩托车）是一种有前途的被动装置，通过同时传输和反映入射信号，从而有助于全空间覆盖。作为无线通信的新范式，如何分析星际轮胎的覆盖范围和能力性能变得至关重要，但具有挑战性。为了解决星际辅助网络中的覆盖范围和容量优化（CCO）问题，提出了多目标近端策略优化（MO-PPO）算法来处理长期利益，而不是传统优化算法。为了在每个目标之间取得平衡，MO-PPO算法提供了一组最佳解决方案，以形成Pareto前部（PF），其中PF上的任何解决方案都被视为最佳结果。此外，研究了为了提高MO-PPO算法的性能，两种更新策略，即基于动作值的更新策略（AVU）和基于损失功能的更新策略（LFUS）。对于AVU，改进的点是整合覆盖范围和容量的动作值，然后更新损失函数。对于LFU，改进的点仅是为覆盖范围和容量损失函数分配动态权重，而权重在每个更新时由最小值求解器计算出来。数值结果表明，调查的更新策略在不同情况下的固定权重优化算法优于MO优化算法，其中包括不同数量的样品网格，星轮的数量，星轮中的元素数量和大小星际船。此外，星际辅助网络比没有星际轮胎的传统无线网络获得更好的性能。此外，具有相同的带宽，毫米波能够提供比低6 GHz更高的容量，但覆盖率较小。

In heterogeneous networks (HetNets), the overlap of small cells and the macro cell causes severe cross-tier interference. Although there exist some approaches to address this problem, they usually require global channel state information, which is hard to obtain in practice, and get the sub-optimal power allocation policy with high computational complexity. To overcome these limitations, we propose a multi-agent deep reinforcement learning (MADRL) based power control scheme for the HetNet, where each access point makes power control decisions independently based on local information. To promote cooperation among agents, we develop a penalty-based Q learning (PQL) algorithm for MADRL systems. By introducing regularization terms in the loss function, each agent tends to choose an experienced action with high reward when revisiting a state, and thus the policy updating speed slows down. In this way, an agent's policy can be learned by other agents more easily, resulting in a more efficient collaboration process. We then implement the proposed PQL in the considered HetNet and compare it with other distributed-training-and-execution (DTE) algorithms. Simulation results show that our proposed PQL can learn the desired power control policy from a dynamic environment where the locations of users change episodically and outperform existing DTE MADRL algorithms.

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

在空中杂种大规模多输入多输出（MIMO）和正交频施加多路复用（OFDM）系统中，如何设计具有有限的飞行员和反馈开销的光谱效率宽带多用户混合波束，这是具有挑战性的。为此，通过将关键传输模块建模为端到端（E2E）神经网络，本文提出了一个数据驱动的深度学习（DL）基于时间划分双工（TDD）的基于数据驱动的深度学习（DL）的统一混合边际框架和具有隐式通道状态信息（CSI）的频分隔双链（FDD）系统。对于TDD系统，提出的基于DL的方法共同对上行链路飞行员组合和下行链路混合光束模块作为E2E神经网络。在FDD系统中，我们将下行链路飞行员传输，上行链路CSI反馈和下行链路混合光束形成模块作为E2E神经网络建模。与分别处理不同模块的常规方法不同，提出的解决方案同时以总和速率作为优化对象优化了所有模块。因此，通过感知空对地面大规模MIMO-OFDM通道样本的固有属性，基于DL的E2E神经网络可以建立从通道到波束形式的映射函数，以便可以避免使用显式通道重建，以减少飞行员和反馈开销。此外，实用的低分辨率相变（PSS）引入了量化约束，从而导致训练神经网络时棘手的梯度反向传播。为了减轻阶段量化误差引起的性能损失，我们采用转移学习策略，以基于假定理想的无限分辨率PSS的预训练网络来进一步调整E2E神经网络。数值结果表明，我们的基于DL的方案比最先进的方案具有相当大的优势。

可重新配置的智能表面（RIS）已成为近年来改善无线通信的有希望的技术。它通过控制具有较少硬件成本和较低功耗来控制可重新配置的被动元件来引导入射信号来创建有利的传播环境。在本文中，我们考虑了一个RIS辅助多用户多输入单输出下行链路通信系统。我们的目标是通过在接入点和RIS元件的被动波束形成向量中优化主动波束形成来最大化所有用户的加权和速率。与大多数现有的作品不同，我们考虑使用离散相移和不完美的信道状态信息（CSI）更实际的情况。具体而言，对于考虑离散相移和完美CSI的情况，我们首先开发一个深量化的神经网络（DQNN），同时设计主动和被动波束形成，而大多数报道的作品可选地设计。然后，我们基于DQNN提出改进的结构（I-DQNN），以简化参数决策过程，当每个RIS元素的控制位大于1位时。最后，我们将两种基于DQNN的算法扩展到同时考虑离散相移和不完全CSI的情况。我们的仿真结果表明，基于DQNN的两种算法比完美CSI案例中的传统算法更好，并且在不完美的CSI案例中也是更强大的。

我们考虑无上行赠款非正交多访问（NOMA）中的多用户检测（MUD）问题，其中访问点必须确定活动互联网（IoT）设备的总数和正确的身份他们传输的数据。我们假设IoT设备使用复杂的扩散序列并以随机访问的方式传输信息，按照爆发 - 距离模型，其中一些物联网设备以高概率在多个相邻的时间插槽中传输其数据，而另一些物联网设备在帧中仅传输一次。利用时间相关性，我们提出了一个基于注意力的双向长期记忆（BILSTM）网络来解决泥浆问题。 Bilstm网络使用前向和反向通过LSTM创建设备激活历史记录的模式，而注意机制为设备激活点提供了基本背景。通过这样做，遵循了层次途径，以在无拨款方案中检测主动设备。然后，通过利用复杂的扩散序列，对估计的活动设备进行了盲数据检测。所提出的框架不需要对设备稀疏水平和执行泥浆的通道的先验知识。结果表明，与现有的基准方案相比，提议的网络的性能更好。

最近，基于深层神经网络（DNN）的物理层通信技术引起了极大的兴趣。尽管模拟实验已经验证了它们增强通信系统和出色性能的潜力，但对理论分析的关注很少。具体而言，物理层中的大多数研究都倾向于专注于DNN模型在无线通信问题上的应用，但理论上不了解DNN在通信系统中的工作方式。在本文中，我们旨在定量分析为什么DNN可以在物理层中与传统技术相比，并在计算复杂性方面提高其成本。为了实现这一目标，我们首先分析基于DNN的发射器的编码性能，并将其与传统发射器进行比较。然后，我们理论上分析了基于DNN的估计器的性能，并将其与传统估计器进行比较。第三，我们调查并验证在信息理论概念下基于DNN的通信系统中如何播放信息。我们的分析开发了一种简洁的方式，可以在物理层通信中打开DNN的“黑匣子”，可用于支持基于DNN的智能通信技术的设计，并有助于提供可解释的性能评估。