这项工作为无线干扰网络中的能效最大化开发了深度学习功率控制框架。深度神经网络的训练不是依赖于次优的功率分配策略,而是基于全局最优功率分配规则,利用新提出的分支定界过程,其具有可用于大型训练集的离线生成的复杂性。此外,不需要初始功率矢量作为所提出的神经网络架构的输入,这进一步降低了整体复杂性。作为基准,我们还开发了一阶优化功率分配算法。数值结果表明神经网络解决方案几乎是最优的,优于更复杂的一阶优化方法,同时需要极小的在线复杂性。
translated by 谷歌翻译
在本文中,研究了在总传输功率和最小所需视频质量约束下向多个用户进行无线视频传输。为了在最终用户的实时视频传输中提供所需的性能水平,同时有效地使用能源资源,我们假设该功率采用控制。由于存在干扰,确定最优功率控制是非凸问题,但可以通过单调优化框架来解决。然而,单调优化是一种迭代算法,并且通常需要相当大的计算复杂度,使其不适合于实时应用。为了解决这个问题,我们提出了一种基于学习的方法,将资源分配算法的输入和输出视为未知非线性映射,并使用深度神经网络(DNN)来学习该映射。通过DNN学习的映射可以在给定的信道条件下快速提供最佳功率电平。
translated by 谷歌翻译
这项工作主张使用深度学习在Massive MIMO网络的下行链路中执行max-min和max-prodpower分配。更确切地说,训练陡峭的神经网络以学习使用设备(UE)的位置与最佳功率分配策略之间的映射,然后使用预测新的UE组的位置的功率分配简档。与传统的面向优化的方法相比,深度学习的使用显着提高了功率分配的复杂性 - 性能权衡。特别是,所提出的方法不需要计算任何统计平均值,这是使用标准方法所必需的,并且能够保证接近最佳的性能。
translated by 谷歌翻译
在具有完全频率重用的密集无线网络中干扰链路的最优调度是一项具有挑战性的任务。传统方法涉及首先估计所有干扰信道强度,然后基于该模型优化调度。然而,这种基于模型的方法是资源和计算密集型的,因为密集网络中的信道估计是昂贵的;此外,甚至找到所得到的优化问题的局部最优解可能在计算上是复杂的。本文表明,通过使用深度学习方法,可以仅基于发射器和接收器的地理位置来绕过信道估计并有效地调度链路。这是通过使用分数编程方法为随机部署的设备到设备网络生成的局部最优计划作为训练数据,并通过使用新的神经网络架构来实现的,该架构将干扰源的地理空间卷积干扰相邻节点作为多个反馈阶段的输入了解最佳解决方案。由此产生的神经网络为和速率最大化提供了近乎最佳的性能,并且能够推广到更大的部署区域和不同链路密度的部署。最后,本文提出了一种新颖的调度方法,该方法利用和速率最优调度启发法对明智选择的链路子集进行整个网络的通信调度。
translated by 谷歌翻译
由于最近在处理速度和数据采集和存储方面的进步,机器学习(ML)正在渗透我们生活的方方面面,并从根本上改变了许多领域的研究。无线通信是另一个成功的故事 - 在我们的生活中无处不在,从手持设备到可穿戴设备,智能家居和汽车。虽然近年来在为各种无线通信问题利用ML工具方面看到了一系列研究活动,但这些技术对实际通信系统和标准的影响还有待观察。在本文中,我们回顾了无线通信系统中ML的主要承诺和挑战,主要关注物理层。我们提出了ML技术在经典方法方面取得的一些最令人瞩目的近期成就,并指出了有希望的研究方向,其中ML可能在不久的将来产生最大的影响。我们还强调了在无线网络边缘设计物理层技术以实现分布式ML的重要问题,这进一步强调了理解和连接ML与无线通信中的基本概念的需要。
translated by 谷歌翻译
对高可靠性和超高容量无线通信的新需求导致了对5G通信的广泛研究。然而,目前的通信系统是在传统通信理论的基础上设计的,显着地限制了进一步的性能改进并导致严重的局限性。最近,新兴的深度学习技术已经被认为是处理复杂通信系统的有前途的工具,并且已经证明了它们优化无线通信的潜力。在本文中,我们首先回顾了5G通信深度学习解决方案的发展,然后提出了基于深度学习的5G场景的有效方案。具体而言,提出了几种重要的基于深度学习的交流方法的关键,以及研究机会和挑战。具体地,研究了非正交多址(NOMA),大规模多输入多输出(MIMO)和毫米波(mmWave)的新型通信框架,并且证明了它们的优越性能。我们认为,吸引人的基于深度学习的无线物理层框架将为通信理论带来新的方向,并且这项工作将沿着这条道路前进。
translated by 谷歌翻译
这项工作研究了深度学习的使用,以便在Massive MIMO网络中进行用户cellassociation的和速率最大化。结果表明,如何利用更加有限的计算复杂度训练深度神经网络以接近最优关联规则,从而能够在用户的移动模式的基础上实时更新关联规则。特别是,提出的神经网络网络设计只需要输入用户的地理位置。数值结果表明,它保证了传统优化导向方法的相同性能。
translated by 谷歌翻译
We consider allocating the transmit powers for a wireless multi-link (N-link) system, in order to maximize the total system throughput under interference and noise impairments, and short term power constraints. Employing dynamic spectral reuse, we allow for centralized control. In the two-link case, the optimal power allocation then has a remarkably simple nature termed binary power control: Depending on the noise and channel gains, assign full power to one link and minimum to the other, or full power on both. Binary power control (BPC) has the advantage of leading towards simpler or even distributed power control algorithms. For N > 2 we propose a strategy based on checking the corners of the domain resulting from the power constraints to perform BPC. We identify scenarios in which binary power allocation can be proven optimal also for arbitrary N. Furthermore, in the general setting for N > 2, simulations demonstrate that a throughput performance with negligible loss, compared to the best non-binary scheme found by geometric programming, can be obtained by BPC. Finally, to reduce the complexity of optimal binary power allocation for large networks, we provide simple algorithms achieving 99% of the capacity promised by exhaustive binary search.
translated by 谷歌翻译
This paper provides a review and commentary on the past, present, and future of numerical optimization algorithms in the context of machine learning applications. Through case studies on text classification and the training of deep neural networks, we discuss how optimization problems arise in machine learning and what makes them challenging. A major theme of our study is that large-scale machine learning represents a distinctive setting in which the stochastic gradient (SG) method has traditionally played a central role while conventional gradient-based nonlinear optimization techniques typically falter. Based on this viewpoint, we present a comprehensive theory of a straightforward, yet versatile SG algorithm, discuss its practical behavior, and highlight opportunities for designing algorithms with improved performance. This leads to a discussion about the next generation of optimization methods for large-scale machine learning, including an investigation of two main streams of research on techniques that diminish noise in the stochastic directions and methods that make use of second-order derivative approximations.
translated by 谷歌翻译
最小 - 最大问题,也称为鞍点问题,是一类优化问题,其中我们同时最小化和最大化两个变量子集。这类问题可用于制定广泛的信号处理和通信(SPCOM)问题。尽管它具有普遍性,但该类的现有理论主要是针对具有一定特殊凸凹结构的问题而开发的。因此,它不能用于指导SPCOM中许多有趣问题的算法设计,其中经常会出现某种非凸性。在这项工作中,我们考虑一般的块式单边非凸最小 - 最大问题,其中最小化问题由多个块组成并且是非凸的,而最大化问题是(强)凹的。我们提出了一类简单算法,称为混合块逐次逼近(HiBSA),它为最小化块交替执行梯度下降型步骤,并为最大化问题交替执行一个梯度上升型步骤。该算法的一个关键要素是引入了一些适当设计的正则化和惩罚项,用于稳定算法并确保收敛。我们首次证明了这种简单的交替最小 - 最大算法收敛于一阶固定解,具有可量化的全局速率。为了验证所提算法的效率,我们对许多信息处理和无线通信问题进行了数值测试,包括鲁棒学习问题,凸 - 最小 - 效用最大化问题,以及干扰信道中出现的某些无线干扰问题。
translated by 谷歌翻译
正交频分复用(OFDM)是当前通信系统中广泛应用的关键技术之一。近年来,人工智能(AI)辅助OFDM接收机已成为打破传统OFDM系统瓶颈的最前沿。在本文中,我们分别研究了两个AI辅助OFDM接收器,数据驱动的全连接深度神经网络(FC-DNN)接收器和模型驱动的ComNet接收器。我们首先通过仿真研究它们在不同信道模型下的性能,然后使用5G快速原型(RaPro)系统进行空中(OTA)测试,建立实时视频传输系统。为了解决由于在线训练的信道模型与真实环境之间的差异而导致的模拟和OTA测试之间的性能差距,我们开发了一种新的在线训练策略,称为SwitchNet接收器。 SwitchNet接收器具有灵活且可扩展的架构,可通过在线培训一个参数来适应实际频道。 OTA测试验证了其对环境的可行性和稳健性,并指出了其未来通信系统的潜力。在本文的最后,我们讨论了激发未来研究的一些挑战。
translated by 谷歌翻译
深度神经网络(DNN)比浅网络生成更丰富的功能空间。由于浅网络引起的函数空间具有几个近似的理论缺陷,但这解释了不一定是深度网络的成功。在本文中,我们通过将DNN的表达能力与ReLU激活函数与分段线性射线方法进行比较来采取另一种途径。我们证明了MARS(多元自适应回归样条)是DNNs可以学习的,因为对于任何给定的函数,可以在MARS中用$ M $参数表示函数,存在一个多元神经网络,其中$ O(M \ log(M / m) \ varepsilon))近似于函数的$参数,直到误差$ \ varepsilon。$我们显示了与Faber-Schauder系统相似的结果。在此基础上,我们推导出比较不等式,它们通过基于样条方法的统计风险来约束拟合神经网络的统计风险。这表明深度网络比所考虑的样条方法表现更好或稍差。我们为函数近似提供了建设性的证明。
translated by 谷歌翻译
随着5G中基站(BS)和网络密集化的增加,使用链路调度和功率控制的干扰管理对于更好地利用无线电资源是至关重要的。然而,解决链路调度和功率控制问题的复杂性随着BS的数量呈指数增长。由于计算时间长,以前的方法对于研究目的是有用的,但对于实时使用是不实际的。在本文中,我们建议使用深度神经网络(DNN)来近似最优链路调度和功率控制,用于具有多个小小区的情况。深度Q网络(DQN)估计合适的调度,然后DNN为相应的调度分配功率。仿真结果表明,该方法实现了超过五级的加速,性能损失小于9%,使实时使用成为可能。
translated by 谷歌翻译
实现大规模多输入多输出(MIMO)通信的基本挑战之一是为基站处的多个用户准确获取信道状态信息。这通常在从时分复用模式获利的UpLink(UL)方向上完成。在实际的基站收发信机中,不可避免地存在非线性硬件组件,如信号放大器和各种模拟滤波器,这使校准任务复杂化。为了应对这一挑战,我们设计了一个深度神经网络,用于UL和下行链路(DL)方向之间的信道校准。在初始训练阶段,深度神经网络从UL和DL信道测量中进行训练。然后,我们利用瞬时估计的UL信道来训练深度神经网络,以校准DL信道,这在UL传输阶段期间是不可观察的。我们的数值结果证实了所提方法的优点,并且表明它可以实现与传统方法相当的性能,例如Agros方法和基于最小二乘法的方法,但是假设线性硬件行为模型。更重要的是,考虑到UL和DL通道之间的通用非线性关系,证明了即使当训练序列的数量有限时,深度神经网络方法也表现出强大的性能。
translated by 谷歌翻译
通过基于神经网络的自动编码器对通信系统进行端到端学习的想法存在缺点,即它需要可区分的信道模型。我们在本文中提出了一种新颖的学习算法来缓解这个问题。该算法使得能够使用未知信道模型或使用不可微分的组件来训练通信系统。它在使用真实梯度的接收器训练和使用渐变的近似训练发射器之间进行迭代。我们表明,这种方法与各种渠道和任务的基于模型的培训一样有效。此外,我们通过软件定义无线电上的硬件实现证明了算法的实用可行性,它通过同轴电缆和无线信道实现了最先进的性能。
translated by 谷歌翻译
Deep learning has arguably achieved tremendous success in recent years. In simple words, deep learning uses the composition of many nonlinear functions to model the complex dependency between input features and labels. While neural networks have a long history, recent advances have greatly improved their performance in computer vision, natural language processing, etc. From the statistical and scientific perspective, it is natural to ask: What is deep learning? What are the new characteristics of deep learning, compared with classical methods? What are the theoretical foundations of deep learning? To answer these questions, we introduce common neural network models (e.g., convolutional neural nets, recurrent neural nets, generative adversarial nets) and training techniques (e.g., stochastic gradient descent, dropout, batch normalization) from a statistical point of view. Along the way, we highlight new characteristics of deep learning (including depth and over-parametrization) and explain their practical and theoretical benefits. We also sample recent results on theories of deep learning, many of which are only suggestive. While a complete understanding of deep learning remains elusive, we hope that our perspectives and discussions serve as a stimulus for new statistical research.
translated by 谷歌翻译
State-of-the-art computer codes for simulating real physical systems are often characterized by vast number of input parameters. Performing uncertainty quantification (UQ) tasks with Monte Carlo (MC) methods is almost always infeasible because of the need to perform hundreds of thousands or even millions of forward model evaluations in order to obtain convergent statistics. One, thus, tries to construct a cheap-to-evaluate surrogate model to replace the forward model solver. For systems with large numbers of input parameters, one has to deal with the curse of dimensionality-the exponential increase in the volume of the input space, as the number of parameters increases linearly. Suitable dimensionality reduction techniques are used to address the curse of dimensionality. A popular class of di-mensionality reduction methods are those that attempt to recover a low dimensional representation of the high dimensional feature space. However, such methods often tend to overestimate the intrinsic dimensionality of the input feature space. In this work, we demonstrate the use of deep neural networks (DNN) to construct surrogate models for numerical simulators. We parameterize the structure of the DNN in a manner that lends the DNN surrogate the interpretation of recovering a low dimensional nonlinear 1 manifold. The model response is a parameterized nonlinear function of the low dimensional projections of the input. We think of this low dimensional manifold as a nonlinear generalization of the notion of the active subspace. Our approach is demonstrated with a problem on uncertainty propagation in a stochastic elliptic partial differential equation (SPDE) with uncertain diffusion coefficient. We deviate from traditional formulations of the SPDE problem by not imposing a specific covariance structure on the random diffusion coefficient. Instead we attempt to solve a more challenging problem of learning a map between an arbitrary snapshot of the diffusion field and the response.
translated by 谷歌翻译
机器学习算法的性能主要取决于识别一组好的超参数。虽然最近的方法使用贝叶斯优化来自适应地选择配置,但我们专注于通过自适应资源分配和早期停止来加速随机搜索。我们将超参数优化表示为纯探索非随机无限制武装强盗问题,其中将迭代,数据样本或特征等预定义资源分配给随机采样配置。我们为该框架引入了一种新的算法Hyperband,并对其理论属性进行了分析,提供了几种理想的保证。此外,我们在一系列超参数优化问题上将Hyperband与流行的贝叶斯优化方法进行比较。我们观察到Hyperband可以提供超过我们竞争对手的各种深度学习和基于内核的学习问题的数量级加速。
translated by 谷歌翻译
有效的资源分配在无线网络中的性能优化中起着关键作用。不幸的是,典型的资源分配问题是混合整数非线性规划(MINLP)问题,它们通常是NP难的。基于机器学习的方法最近成为以具有可计算的计算复杂性为MINLP问题获得接近最优性能的中断方法。然而,一个关键的挑战是这些方法需要大量的训练样本,这些样本在实践中很难获得。此外,当网络参数改变时,它们遭受严重的性能恶化,这通常发生并且可以表征为任务不匹配问题。在本文中,为了解决样本复杂性问题,我们提出了一种学习优化资源分配框架(称为LORA),而不是直接学习特定资源分配算法的输入 - 输出映射,它在最优分支和边界中学习修剪策略。算法。通过利用算法结构,该框架具有极低的样本复杂度,大约为数十或数百,而现有方法则为数百万。为了解决任务不匹配问题,我们提出了一种自我模仿的转移学习方法,命名为LORA-TL,只需要几个额外的未标记训练样本即可适应新任务。数值模拟表明,LORA优于专门的现有算法,并实现了近乎最佳的性能。此外,LORA-TL依赖于一些未标记的样品,与从头开始训练的模型具有足够的标记样品,具有相当的性能。
translated by 谷歌翻译