Two of the main principles underlying the life cycle of an artificial intelligence (AI) module in communication networks are adaptation and monitoring. Adaptation refers to the need to adjust the operation of an AI module depending on the current conditions; while monitoring requires measures of the reliability of an AI module's decisions. Classical frequentist learning methods for the design of AI modules fall short on both counts of adaptation and monitoring, catering to one-off training and providing overconfident decisions. This paper proposes a solution to address both challenges by integrating meta-learning with Bayesian learning. As a specific use case, the problems of demodulation and equalization over a fading channel based on the availability of few pilots are studied. Meta-learning processes pilot information from multiple frames in order to extract useful shared properties of effective demodulators across frames. The resulting trained demodulators are demonstrated, via experiments, to offer better calibrated soft decisions, at the computational cost of running an ensemble of networks at run time. The capacity to quantify uncertainty in the model parameter space is further leveraged by extending Bayesian meta-learning to an active setting. In it, the designer can select in a sequential fashion channel conditions under which to generate data for meta-learning from a channel simulator. Bayesian active meta-learning is seen in experiments to significantly reduce the number of frames required to obtain efficient adaptation procedure for new frames.
translated by 谷歌翻译
When used in complex engineered systems, such as communication networks, artificial intelligence (AI) models should be not only as accurate as possible, but also well calibrated. A well-calibrated AI model is one that can reliably quantify the uncertainty of its decisions, assigning high confidence levels to decisions that are likely to be correct and low confidence levels to decisions that are likely to be erroneous. This paper investigates the application of conformal prediction as a general framework to obtain AI models that produce decisions with formal calibration guarantees. Conformal prediction transforms probabilistic predictors into set predictors that are guaranteed to contain the correct answer with a probability chosen by the designer. Such formal calibration guarantees hold irrespective of the true, unknown, distribution underlying the generation of the variables of interest, and can be defined in terms of ensemble or time-averaged probabilities. In this paper, conformal prediction is applied for the first time to the design of AI for communication systems in conjunction to both frequentist and Bayesian learning, focusing on demodulation, modulation classification, and channel prediction.
translated by 谷歌翻译
这项工作仔细研究了传统的机器学习方法通​​过可靠性和鲁棒性的镜头应用于无线通信问题。深度学习技术采用了常见的框架,并已知提供校准较差的决策,这些决策不会再现由训练数据规模的限制引起的真正不确定性。贝叶斯学习原则上能够解决这一缺点,但实际上,模型错误指定和异常值的存在损害。在无线通信设置中,这两个问题都普遍存在,其中机器学习模型的能力受资源限制的影响,培训数据受噪声和干扰的影响。在这种情况下,我们探讨了强大的贝叶斯学习框架的应用。经过教程式的贝叶斯学习介绍,我们就精确,校准和对异常值和错误指定的鲁棒性进行了强大的贝叶斯学习对几个重要的无线沟通问题的优点。
translated by 谷歌翻译
生物智能的主要特征之一是能源效率,持续适应能力以及通过不确定性量化的风险管理。到目前为止,神经形态工程主要是由实施节能机器从生物学大脑的基于时间的计算范式中获得灵感的目标的驱动。在本文中,我们采取了朝着设计神经形态系统设计的步骤,这些系统能够适应改变学习任务,同时产生良好的不确定性量化估计。为此,我们得出了在贝叶斯持续学习框架内尖峰神经网络(SNN)的在线学习规则。在其中,每个突触重量都由参数表示,这些参数量化了先验知识和观察到的数据引起的当前认知不确定性。提出的在线规则在观察到数据时以流方式更新分布参数。我们实例化了实用值和二元突触权重的建议方法。使用英特尔熔岩平台的实验结果表明,贝叶斯在适应能力和不确定性定量方面的经常学习优点。
translated by 谷歌翻译
现代深度学习方法构成了令人难以置信的强大工具,以解决无数的挑战问题。然而,由于深度学习方法作为黑匣子运作,因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集,用于设计,实施,列车,使用和评估贝叶斯神经网络,即使用贝叶斯方法培训的随机人工神经网络。
translated by 谷歌翻译
最近,使用自动编码器(由使用神经网络建模的编码器,渠道和解码器组成)的通信系统的端到端学习问题最近被证明是一种有希望的方法。实际采用这种学习方法面临的挑战是,在变化的渠道条件(例如无线链接)下,它需要经常对自动编码器进行重新训练,以保持低解码错误率。由于重新培训既耗时又需要大量样本,因此当通道分布迅速变化时,它变得不切实际。我们建议使用不更改编码器和解码器网络的快速和样本(几射击)域的适应方法来解决此问题。不同于常规的训练时间无监督或半监督域的适应性,在这里,我们有一个训练有素的自动编码器,来自源分布,我们希望(在测试时间)使用仅使用一个小标记的数据集和无标记的数据来适应(测试时间)到目标分布。我们的方法着重于基于高斯混合物网络的通道模型,并根据类和组件条件仿射变换制定其适应性。学习的仿射转换用于设计解码器的最佳输入转换以补偿分布变化,并有效地呈现在接近源分布的解码器输入中。在实际MMWAVE FPGA设置以及无线设置共有的许多模拟分布变化上,使用非常少量的目标域样本来证明我们方法在适应时的有效性。
translated by 谷歌翻译
元学习优化了培训过程的超参数,例如其初始化,内核或学习率,基于从许多辅助任务中采样的数据。关键的潜在假设是,称为元训练任务的辅助任务与在部署时间遇到的任务相同的生成分发,称为元测试任务。然而,这可能不是这种情况,当测试环境与元训练条件不同时。为了解决任务的转变,在元训练和元测试阶段之间产生分配,介绍了转移元学习的加权自由能量最小化(WFEM)。我们实例化了通过高斯进程(GPS)的非参数贝叶斯回归和分类的提议方法。该方法在玩具正弦回归问题上验证,以及使用MiniiMAGENET和CUB数据集的分类,通过与PACOH实现的标准元学习的标准元学习进行比较。
translated by 谷歌翻译
当数据稀缺时,元学习可以通过利用相关的学习任务的先前经验来提高学习者的准确性。然而,现有方法具有不可靠的不确定性估计,通常过于自信。解决这些缺点,我们介绍了一个名为F-PACOH的新型元学习框架,该框架称为F-PACOH,该框架将Meta学习的前沿视为随机过程,并直接在函数空间中执行元级正则化。这使我们能够直接转向元学习者在元区域训练数据区域中对高至少认知不确定性的概率预测,从而获得良好的不确定性估计。最后,我们展示了我们的方法如何与顺序决策集成,其中可靠的不确定性量化是必要的。在我们对贝叶斯优化(BO)的元学习的基准研究中,F-PACOH显着优于所有其他元学习者和标准基线。
translated by 谷歌翻译
在当前的嘈杂中间尺度量子(NISQ)时代,量子机学习正在成为基于程序门的量子计算机的主要范式。在量子机学习中,对量子电路的门进行了参数化,并且参数是根据数据和电路输出的测量来通过经典优化来调整的。参数化的量子电路(PQC)可以有效地解决组合优化问题,实施概率生成模型并进行推理(分类和回归)。该专着为具有概率和线性代数背景的工程师的观众提供了量子机学习的独立介绍。它首先描述了描述量子操作和测量所必需的必要背景,概念和工具。然后,它涵盖了参数化的量子电路,变异量子本质层以及无监督和监督的量子机学习公式。
translated by 谷歌翻译
Commonly adopted in the manufacturing and aerospace sectors, digital twin (DT) platforms are increasingly seen as a promising paradigm to control, monitor, and analyze software-based, "open", communication systems. Notably, DT platforms provide a sandbox in which to test artificial intelligence (AI) solutions for communication systems, potentially reducing the need to collect data and test algorithms in the field, i.e., on the physical twin (PT). A key challenge in the deployment of DT systems is to ensure that virtual control optimization, monitoring, and analysis at the DT are safe and reliable, avoiding incorrect decisions caused by "model exploitation". To address this challenge, this paper presents a general Bayesian framework with the aim of quantifying and accounting for model uncertainty at the DT that is caused by limitations in the amount and quality of data available at the DT from the PT. In the proposed framework, the DT builds a Bayesian model of the communication system, which is leveraged to enable core DT functionalities such as control via multi-agent reinforcement learning (MARL), monitoring of the PT for anomaly detection, prediction, data-collection optimization, and counterfactual analysis. To exemplify the application of the proposed framework, we specifically investigate a case-study system encompassing multiple sensing devices that report to a common receiver. Experimental results validate the effectiveness of the proposed Bayesian framework as compared to standard frequentist model-based solutions.
translated by 谷歌翻译
在过去几十年中,已经提出了各种方法,用于估计回归设置中的预测间隔,包括贝叶斯方法,集合方法,直接间隔估计方法和保形预测方法。重要问题是这些方法的校准:生成的预测间隔应该具有预定义的覆盖水平,而不会过于保守。在这项工作中,我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
Hamiltonian学习是量子系统识别,校准和量子计算机成功运行的重要程序。通过对量子系统的查询,该过程寻求获得给定Hamiltonian模型的参数和噪声源的描述。汉密尔顿学习的标准技术需要仔细设计查询和$ O(\ epsilon ^ {-2})$查询,以获得由于标准量子限制而实现学习错误$ \ epsilon $。通过实现学习错误$ \ epsilon $ \ opsilon $的有效和准确地估计Hamiltonian参数,我们介绍了一个活跃的学习者,它给出了一个初始的训练示例和交互式查询量子系统以产生新的培训数据的能力。我们正式指定和实验地评估该汉密尔顿主动学习(HAL)算法的性能,用于学习四个不同超导IBM量子器件上的双态交叉谐振Hamiltonian的六个参数。与同一问题的标准技术和指定的学习错误相比,HAL可以在相当的非自适应学习算法上实现高达99.8 \%$ 99.1 \%$ 49.1%。此外,通过访问汉密尔顿参数的子集的先前信息,并提供了在学习期间用线性(或指数)的较长系统交互时间选择查询的能力,Hal可以超过标准量子限制,实现Heisenberg(或超级Heisenberg)有限公司学习期间的收敛速度。
translated by 谷歌翻译
随着数据生成越来越多地在没有连接连接的设备上进行,因此与机器学习(ML)相关的流量将在无线网络中无处不在。许多研究表明,传统的无线协议高效或不可持续以支持ML,这创造了对新的无线通信方法的需求。在这项调查中,我们对最先进的无线方法进行了详尽的审查,这些方法是专门设计用于支持分布式数据集的ML服务的。当前,文献中有两个明确的主题,模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍,回顾了最重要的作品,突出了开放问题并讨论了应用程序方案。
translated by 谷歌翻译
近似贝叶斯深度学习方法对于解决在智能系统中部署深度学习组件时,包括在智能系统中部署深度学习组件的几个问题,包括减轻过度自信的错误并提供增强的鲁棒性,从而超出分发示例。但是,现有近似贝叶斯推理方法的计算要求可以使它们不适合部署包括低功耗边缘设备的智能IOT系统。在本文中,我们为监督深度学习提供了一系列近似贝叶斯推理方法,并在应用这些方法对当前边缘硬件上的挑战和机遇。我们突出了几种潜在的解决方案来降低模型存储要求,提高计算可扩展性,包括模型修剪和蒸馏方法。
translated by 谷歌翻译
传统上,信号处理,通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理,先验信息和其他领域知识的数学公式。简单的经典模型有用,但对不准确性敏感,当真实系统显示复杂或动态行为时,可能会导致性能差。另一方面,随着数据集变得丰富,现代深度学习管道的力量增加,纯粹的数据驱动的方法越来越流行。深度神经网络(DNNS)使用通用体系结构,这些架构学会从数据中运行,并表现出出色的性能,尤其是针对受监督的问题。但是,DNN通常需要大量的数据和巨大的计算资源,从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣,以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中,我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集,这些系统结合了两个领域的优势。
translated by 谷歌翻译
神经形态计算是一种新兴的计算范式,它从批处理的处理转向在线,事件驱动的流数据处理。当神经形态芯片与基于尖峰的传感器结合在一起时,只有在峰值时间内记录相关事件并证明对变化条件的低延迟响应时,才能通过消耗能量来固有地适应数据分布的“语义”。环境。本文为神经形态无线网络系统系统提出了端到端设计,该系统集成了基于尖峰的传感,处理和通信。在拟议的神经系统系统中,每个传感设备都配备了神经形态传感器,尖峰神经网络(SNN)和带有多个天线的脉冲无线电发射器。传输发生在配备了多Antenna脉冲无线电接收器和SNN的接收器上的共享褪色通道上进行。为了使接收器适应褪色的通道条件,我们引入了一项超网络,以使用飞行员控制解码SNN的权重。飞行员,编码SNN,解码SNN和超网络经过多个通道实现的共同训练。该系统被证明可以显着改善基于传统的基于框架的数字解决方案以及替代性非自适应训练方法,从时间到准确性和能源消耗指标方面。
translated by 谷歌翻译
元学习为新任务的数据有效学习提供了一种流行且有效的方法。然而,迄今为止,Meta-Learning的几个重要问题已经难以学习。例如,在现实世界中的性能下降,元学习者必须从策划任务的广泛和潜在多模态分布中学习;当Meta-Train和Meta-Test任务分布之间存在分发偏移时。由于任务分布的形状,并且它们之间的偏移在标准基准中,这些问题通常难以研究。我们提出了渠道编码问题作为元学习的基准。频道编码是一个重要的实际应用,自然出现任务分布,并且快速适应新任务实际上是有价值的。我们使用MetACC基准来研究Meta-Learning的几个方面,包括任务分配宽度和转变的影响,可以在编码问题中控制。迈出,Metacc为社区提供了一个工具,用于研究元学习的能力和限制,并推动实际上强大且有效的元学习者的研究。
translated by 谷歌翻译
本文提出了一种对无线通信中的一类主动感测问题的深度学习方法,其中代理在预定数量的时间帧上与环境顺序地交互以收集信息,以便为最大化一些实用程序函数来执行感测或致动任务。在这样的主动学习设置中,代理需要根据到目前为止所做的观察结果来依次设计自适应感测策略。为了解决如此挑战的问题,其中历史观察的维度随着时间的推移而增加,我们建议使用长期短期记忆(LSTM)网络来利用观察序列中的时间相关性,并将每个观察映射到固定的尺寸状态信息矢量。然后,我们使用深神经网络(DNN)将LSTM状态映射到每个时间帧到下一个测量步骤的设计。最后,我们采用另一个DNN将最终的LSTM状态映射到所需的解决方案。我们调查了无线通信中建议框架的性能框架的性能。特别地,我们考虑用于MMWAVE光束对准的自适应波束形成问题和反射对准的自适应可重构智能表面感测问题。数值结果表明,所提出的深度主动传感策略优于现有的自适应或非一种非应用感测方案。
translated by 谷歌翻译
神经形态数据携带由尖峰编码的时空模式的信息。因此,神经形态计算中的核心问题是训练尖峰神经网络(SNNS)以再现时加速时空尖峰图案响应于给定的尖刺刺激。通过将每个输入分配给特定期望的输出尖刺序列,大多数现有方法通过分配每个输入来模拟SNN的输入输出行为。相比之下,为了充分利用尖峰的时间编码能力,这项工作建议训练SNN,以匹配尖刺信号的分布而不是单独的尖峰信号。为此,本文介绍了一种新颖的混合架构,包括通过SNN实现的条件发生器,以及由传统人工神经网络(ANN)实现的鉴别器。 ANN的作用是在遵循生成的对抗网络(GANS)原则的对抗迭代学习策略中对SNN的培训期间提供反馈。为了更好地捕获多模态的时空分布,所提出的方法被称为Spikegan - 进一步扩展到支持发电机重量的贝叶斯学习。最后,通过提出Spikegan的在线元学习变量来解决具有时变统计数据的设置。实验与基于(静态)信念网络的现有解决方案相比,对所提出的方法的优点带来了洞察的洞察力,以及最大可能性(或经验风险最小化)。
translated by 谷歌翻译
Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.
translated by 谷歌翻译