We consider a radio resource management (RRM) problem in a multi-user wireless network, where the goal is to optimize a network-wide utility function subject to constraints on the ergodic average performance of users. We propose a state-augmented parameterization for the RRM policy, where alongside the instantaneous network states, the RRM policy takes as input the set of dual variables corresponding to the constraints. We provide theoretical justification for the feasibility and near-optimality of the RRM decisions generated by the proposed state-augmented algorithm. Focusing on the power allocation problem with RRM policies parameterized by a graph neural network (GNN) and dual variables sampled from the dual descent dynamics, we numerically demonstrate that the proposed approach achieves a superior trade-off between mean, minimum, and 5th percentile rates than baseline methods.

我们考虑多用户无线网络中的资源管理问题，可以将其视为优化网络范围的公用事业功能，这受到整个网络用户长期平均性能的限制。我们提出了一种以国家功能为算法来解决上述无线电资源管理（RRM）问题的算法，在此问题中，与瞬时网络状态相同，RRM策略将其作为输入的双重变量集，这些变量对应于约束，这些变量取决于多少，这些变量取决于多少，这些变量取决于多少。执行过程中违反约束。从理论上讲，我们表明，拟议的国有算法会导致可行且近乎最佳的RRM决策。此外，着重于使用图神经网络（GNN）参数化的无线功率控制问题，我们证明了所提出的RRM算法优于基线方法的优越性，跨基线方法。

我们提出了一种数据驱动的电力分配方法，在联邦学习（FL）上的受干扰有限的无线网络中的电力分配。功率策略旨在在通信约束下的流行过程中最大化传输的信息，具有提高全局流动模型的训练精度和效率的最终目标。所提出的功率分配策略使用图形卷积网络进行参数化，并且通过引流 - 双算法解决了相关的约束优化问题。数值实验表明，所提出的方法在传输成功率和流动性能方面优于三种基线方法。

由于处理非covex公式的能力，深入研究深度学习（DL）技术以优化多用户多输入单输出（MU-MISO）下行链接系统。但是，现有的深神经网络（DNN）的固定计算结构在系统大小（即天线或用户的数量）方面缺乏灵活性。本文开发了一个双方图神经网络（BGNN）框架，这是一种可扩展的DL溶液，旨在多端纳纳波束形成优化。首先，MU-MISO系统以两分图为特征，其中两个不相交的顶点集（由传输天线和用户组成）通过成对边缘连接。这些顶点互连状态是通过通道褪色系数建模的。因此，将通用的光束优化过程解释为重量双分图上的计算任务。这种方法将波束成型的优化过程分为多个用于单个天线顶点和用户顶点的子操作。分离的顶点操作导致可扩展的光束成型计算，这些计算不变到系统大小。顶点操作是由一组DNN模块实现的，这些DNN模块共同构成了BGNN体系结构。在所有天线和用户中都重复使用相同的DNN，以使所得的学习结构变得灵活地适合网络大小。 BGNN的组件DNN在许多具有随机变化的网络尺寸的MU-MISO配置上进行了训练。结果，训练有素的BGNN可以普遍应用于任意的MU-MISO系统。数值结果验证了BGNN框架比常规方法的优势。

Deep learning-based approaches have been developed to solve challenging problems in wireless communications, leading to promising results. Early attempts adopted neural network architectures inherited from applications such as computer vision. They often yield poor performance in large scale networks (i.e., poor scalability) and unseen network settings (i.e., poor generalization). To resolve these issues, graph neural networks (GNNs) have been recently adopted, as they can effectively exploit the domain knowledge, i.e., the graph topology in wireless communications problems. GNN-based methods can achieve near-optimal performance in large-scale networks and generalize well under different system settings, but the theoretical underpinnings and design guidelines remain elusive, which may hinder their practical implementations. This paper endeavors to fill both the theoretical and practical gaps. For theoretical guarantees, we prove that GNNs achieve near-optimal performance in wireless networks with much fewer training samples than traditional neural architectures. Specifically, to solve an optimization problem on an $n$-node graph (where the nodes may represent users, base stations, or antennas), GNNs' generalization error and required number of training samples are $\mathcal{O}(n)$ and $\mathcal{O}(n^2)$ times lower than the unstructured multi-layer perceptrons. For design guidelines, we propose a unified framework that is applicable to general design problems in wireless networks, which includes graph modeling, neural architecture design, and theory-guided performance enhancement. Extensive simulations, which cover a variety of important problems and network settings, verify our theory and the effectiveness of the proposed design framework.

在本文中，我们旨在改善干扰限制的无线网络中超级可靠性和低延迟通信（URLLC）的服务质量（QoS）。为了在通道连贯性时间内获得时间多样性，我们首先提出了一个随机重复方案，该方案随机将干扰能力随机。然后，我们优化了每个数据包的保留插槽数量和重复数量，以最大程度地减少QoS违规概率，该概率定义为无法实现URLLC的用户百分比。我们构建了一个级联的随机边缘图神经网络（REGNN），以表示重复方案并开发一种无模型的无监督学习方法来训练它。我们在对称场景中使用随机几何形状分析了QoS违规概率，并应用基于模型的详尽搜索（ES）方法来找到最佳解决方案。仿真结果表明，在对称方案中，通过模型学习方法和基于模型的ES方法实现的QoS违规概率几乎相同。在更一般的情况下，级联的Regnn在具有不同尺度，网络拓扑，细胞密度和频率重复使用因子的无线网络中很好地概括了。在模型不匹配的情况下，它的表现优于基于模型的ES方法。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

该工作研究限制了随机函数是凸的，并表示为随机函数的组成。问题是在公平分类，公平回归和排队系统设计的背景下出现的。特别令人感兴趣的是甲骨文提供组成函数的随机梯度的大规模设置，目标是用最小对Oracle的调用来解决问题。由于组成形式，Oracle提供的随机梯度不会产生目标或约束梯度的无偏估计。取而代之的是，我们通过跟踪内部函数评估来构建近似梯度，从而导致准差鞍点算法。我们证明，所提出的算法几乎可以肯定地找到最佳和可行的解决方案。我们进一步确定所提出的算法需要$ \ MATHCAL {O}（1/\ EPSILON^4）$数据样本，以便获得$ \ epsilon $ -Approximate-approximate-apptroximate Pointal点，同时也确保零约束违反。该结果与无约束问题的随机成分梯度下降方法的样品复杂性相匹配，并改善了受约束设置的最著名样品复杂性结果。在公平分类和公平回归问题上测试了所提出的算法的功效。数值结果表明，根据收敛速率，所提出的算法优于最新算法。

我们考虑一个多代理网络，其中每个节点具有随机（本地）成本函数，这取决于该节点的决策变量和随机变量，并且进一步的相邻节点的判定变量是成对受约束的。网络具有总体目标函数，其在节点处的本地成本函数的预期值ack，以及网络的总体目标是将该聚合目标函数的最小化解决方案最小化为所有成对约束。这将在节点级别使用分散的信息和本地计算来实现，其中仅具有相邻节点允许的压缩信息的交换。该文件开发算法，并在节点上获得两个不同型号的本地信息可用性模型的性能界限：（i）样本反馈，其中每个节点可以直接访问局部随机变量的样本，以评估其本地成本，（ii）babrit反馈，其中无随机变量的样本不可用，但只有每个节点可用的两个随机点处的本地成本函数的值可用。对于两种模型，具有邻居之间的压缩通信，我们开发了分散的骑马点算法，从没有通信压缩的那些没有不同（符号意义）的表现;具体而言，我们表明，与全局最小值和违反约束的偏差是由$ \ mathcal {o}的大约限制（t ^ { - \ frac {1} {2}}）$和$ \ mathcal {o} （t ^ { - \ frac {1} {4}}）分别为$ t $是迭代次数。本文中提供的数值例子证实了这些界限并证明了所提出的方法的通信效率。

Online optimization with multiple budget constraints is challenging since the online decisions over a short time horizon are coupled together by strict inventory constraints. The existing manually-designed algorithms cannot achieve satisfactory average performance for this setting because they often need a large number of time steps for convergence and/or may violate the inventory constraints. In this paper, we propose a new machine learning (ML) assisted unrolling approach, called LAAU (Learning-Assisted Algorithm Unrolling), which unrolls the online decision pipeline and leverages an ML model for updating the Lagrangian multiplier online. For efficient training via backpropagation, we derive gradients of the decision pipeline over time. We also provide the average cost bounds for two cases when training data is available offline and collected online, respectively. Finally, we present numerical results to highlight that LAAU can outperform the existing baselines.

安全的加强学习（RL）旨在学习在将其部署到关键安全应用程序中之前满足某些约束的政策。以前的原始双重风格方法遭受了不稳定性问题的困扰，并且缺乏最佳保证。本文从概率推断的角度克服了问题。我们在政策学习过程中介绍了一种新颖的期望最大化方法来自然纳入约束：1）在凸优化（E-step）后，可以以封闭形式计算可证明的最佳非参数变异分布； 2）基于最佳变异分布（M-step），在信任区域内改进了策略参数。提出的算法将安全的RL问题分解为凸优化阶段和监督学习阶段，从而产生了更稳定的培训性能。对连续机器人任务进行的广泛实验表明，所提出的方法比基线获得了更好的约束满意度和更好的样品效率。该代码可在https://github.com/liuzuxin/cvpo-safe-rl上找到。

我们研究具有多个奖励价值函数的马尔可夫决策过程（MDP）的政策优化，应根据给定的标准共同优化，例如比例公平（平滑凹面标量），硬约束（约束MDP）和Max-Min Trade-离开。我们提出了一个改变锚定的正规自然政策梯度（ARNPG）框架，该框架可以系统地将良好表现的一阶方法中的思想纳入多目标MDP问题的策略优化算法的设计。从理论上讲，基于ARNPG框架的设计算法实现了$ \ tilde {o}（1/t）$全局收敛，并具有精确的梯度。从经验上讲，与某些现有的基于策略梯度的方法相比，ARNPG引导的算法在精确梯度和基于样本的场景中也表现出卓越的性能。

在Fisher市场中，代理商（用户）花费（人造）货币预算来购买最大化其公用事业的商品，而中央规划师则将其设定为容量约束的商品，以便市场清算。但是，定价方案在Fisher市场实现平衡结果方面的功效通常取决于用户的预算和公用事业的完全了解，并且要求交易在同时存在所有用户的静态市场中发生。结果，我们研究了Fisher市场的在线变体，其中有私人公用事业和预算参数的预算受限用户，绘制了I.I.D.从分配$ \ Mathcal {d} $，顺序输入市场。在这种情况下，我们开发了一种仅根据用户消费的观察结果来调整价格的算法用户数量和良好的能力量表为$ O（n）$。在这里，我们的遗憾措施是在线算法和离线甲骨文之间的艾森伯格 - 盖尔计划目标的最佳差距，并提供有关用户预算和公用事业的完整信息。为了确定我们方法的功效，我们证明了任何统一（静态）定价算法，包括设定预期平衡价格并完全了解分销$ \ MATHCAL {D} $的算法，既无法实现遗憾和限制的违反比$ \ omega（\ sqrt {n}）$。虽然我们揭示的偏好算法不需要对分布$ \ MATHCAL {d} $不了解，但我们表明，如果$ \ Mathcal {d} $是已知的，则是预期的平衡定价Achieves $ O（\ log（\ log（n））的自适应变体）$遗憾和离散分发的恒定容量违反。最后，我们提出了数值实验，以证明相对于几个基准测试的揭示偏好算法的性能。

随机图神经网络（SGNN）是信息处理体系结构，可从随机图中学习表示表示。 SGNN受到预期性能的培训，这不能保证围绕最佳期望的特定输出实现的偏差。为了克服这个问题，我们为SGNN提出了一个方差约束优化问题，平衡了预期的性能和随机偏差。通过使用梯度下降和梯度上升的双变量更新SGNN参数，进行了交替的原始双偶学习过程，该过程通过更新SGNN参数来解决问题。为了表征方差约束学习的明确效应，我们对SGNN输出方差进行理论分析，并确定随机鲁棒性和歧视能力之间的权衡。我们进一步分析了方差约束优化问题的二元性差距以及原始双重学习过程的融合行为。前者表示双重变换引起的最优性损失，后者是迭代算法的限制误差，这两者都保证了方差约束学习的性能。通过数值模拟，我们证实了我们的理论发现，并观察到具有可控标准偏差的强劲预期性能。

功率分配是无线网络中的基本问题之一，并且各种算法从不同的角度来解决这个问题。这些算法中的一个共同元素是它们依赖于信道状态的估计，这可能因硬件缺陷，嘈杂的反馈系统和环境和对抗性障碍而不准确。因此，对于输入扰动，这些算法的输出功率分配至关重要，在输入扰动的范围内是界限的界限的界限的程度。在本文中，我们专注于UWMMSE - 一种利用图形神经网络的现代算法 - 并通过理论分析和经验验证说明了界限能量添加输入扰动的稳定性。

本文解决了当参与需求响应（DR）时优化电动汽车（EV）的充电/排放时间表的问题。由于电动汽车的剩余能量，到达和出发时间以及未来的电价中存在不确定性，因此很难做出充电决定以最大程度地减少充电成本，同时保证电动汽车的电池最先进（SOC）在内某些范围。为了解决这一难题，本文将EV充电调度问题制定为Markov决策过程（CMDP）。通过协同结合增强的Lagrangian方法和软演员评论家算法，本文提出了一种新型安全的非政策钢筋学习方法（RL）方法来解决CMDP。通过Lagrangian值函数以策略梯度方式更新Actor网络。采用双重危机网络来同步估计动作值函数，以避免高估偏差。所提出的算法不需要强烈的凸度保证，可以保证被检查的问题，并且是有效的样本。现实世界中电价的全面数值实验表明，我们提出的算法可以实现高解决方案最佳性和约束依从性。

随机双动态编程（SDDP）是一种用于解决多级随机优化的最新方法，广泛用于建模现实世界流程优化任务。不幸的是，SDDP具有最糟糕的复杂性，其在决策变量的数量中呈指数级级别，这严重限制了仅限于低维度问题的适用性。为了克服这一限制，我们通过引入培训神经模型来扩展SDDP，该培训神经模型将在内部低维空间内将问题实例映射到内在的低维空间内的分型线性值函数，该尺寸低维空间是专门用于与基础SDDP求解器进行交互的架构成型，因此可以在新实例上加速优化性能。通过解决连续问题，提出的神经随机双动态编程（$ \ nu $ -sddp）不断自我提高。实证调查表明，$ \ nu $ -sddp可以显着降低解决问题的问题，而不会在一系列合成和实际过程优化问题上牺牲竞争对手的解决方案质量。

我们研究了在线上下文决策问题，并具有资源约束。在每个时间段，决策者首先根据给定上下文向量预测奖励向量和资源消耗矩阵，然后解决下游优化问题以做出决策。决策者的最终目标是最大程度地利用资源消耗的奖励和效用总结，同时满足资源限制。我们提出了一种算法，该算法将基于“智能预测 - 优化（SPO）”方法的预测步骤与基于镜像下降的双重更新步骤。我们证明了遗憾的界限，并证明了我们方法的总体收敛率取决于$ \ Mathcal {o}（t^{ - 1/2}）$在线镜面下降的收敛性以及使用的替代损失功能的风险范围学习预测模型。我们的算法和后悔界限适用于资源约束的一般凸的可行区域，包括硬和软资源约束案例，它们适用于广泛的预测模型，与线性上下文模型或有限策略空间的传统设置相比。我们还进行数值实验，以与传统的仅限预测方法相比，在多维背包和最长的路径实例上，与传统的仅预测方法相比，我们提出的SPO型方法的强度。

电动汽车快速采用（EVS）要求广泛安装EV充电站。为了最大限度地提高充电站的盈利能力，提供充电和电网服务的智能控制器实际上很需要。然而，由于不确定的到达时间和EVS的充电需求，确定最佳充电时间表具有挑战性。在本文中，我们提出了一种新的集中分配和分散执行（CADE）强化学习（RL）框架，以最大限度地提高收费站的利润。在集中分配过程中，EVS被分配给等待或充电点。在分散的执行过程中，每个充电器都在学习来自共享重放内存的动作值函数的同时使其自己的充电/放电决定。该CADE框架显着提高了RL算法的可扩展性和采样效率。数值结果表明，所提出的CADE框架既有计算高效且可扩展，显着优于基线模型预测控制（MPC）。我们还提供了对学习的动作值的深入分析，以解释加强学习代理的内部工作。

我们解决了加固学习的安全问题。我们在折扣无限地平线受限的Markov决策过程框架中提出了问题。现有结果表明，基于梯度的方法能够实现$ \ mathcal {o}（1 / \ sqrt {t}）$全球收敛速度，用于最优差距和约束违规。我们展示了一种基于自然的基于政策梯度的算法，该算法具有更快的收敛速度$ \ mathcal {o}（\ log（t）/ t）$的最优性差距和约束违规。当满足Slater的条件并已知先验时，可以进一步保证足够大的$ T $的零限制违规，同时保持相同的收敛速度。