查找最佳消息量化是低复杂性信念传播(BP)解码的关键要求。为此,我们提出了一个浮点替代模型,该模型模仿量化效果,作为均匀噪声的添加,其幅度是可训练的变量。我们验证替代模型与定点实现的行为非常匹配,并提出了手工制作的损失功能,以实现复杂性和误差率性能之间的权衡。然后,采用一种基于深度学习的方法来优化消息位。此外,我们表明参数共享既可以确保实现友好的解决方案,又比独立参数导致更快的培训收敛。我们为5G低密度均衡检查(LDPC)代码提供模拟结果,并在浮点分解的0.2 dB内报告误差率性能,平均消息量化位低于3.1位。此外,我们表明,学到的位宽也将其推广到其他代码速率和渠道。
translated by 谷歌翻译
在这项工作中,我们提出了一个完全可区分的图形神经网络(GNN)的架构,用于用于通道解码和展示各种编码方案的竞争性解码性能,例如低密度奇偶校验检查(LDPC)和BCH代码。这个想法是让神经网络(NN)通过给定图的通用消息传递算法,该算法通过用可训练的函数替换节点和边缘消息更新来代表正向误差校正(FEC)代码结构。与许多其他基于深度学习的解码方法相反,提出的解决方案享有对任意块长度的可扩展性,并且训练不受维数的诅咒的限制。我们在常规渠道解码中对最新的解码以及最近的基于深度学习的结果基准了我们提出的解码器。对于(63,45)BCH代码,我们的解决方案优于加权信念传播(BP)的解码约0.4 dB,而解码迭代率明显较小,甚至对于5G NR LDPC代码,我们观察到与常规BP解码相比,我们观察到竞争性能。对于BCH代码,所得的GNN解码器只能以9640个权重进行完全参数。
translated by 谷歌翻译
已知的信念信念传播解码变体在将不同的权重分配给消息传递边缘后,可以轻松地作为神经网络展开,因为神经网络灵活地传递。在本文中,我们关注如何在深度学习框架内以可训练的参数的形式确定这些权重。首先,提出了一种新方法来通过利用靶向混合物密度的近似值来生成高质量的训练数据。然后,在追踪训练演化曲线后,训练损失和解码指标之间的强正相关已完全暴露。最后,为了促进训练收敛并降低解码的复杂性,我们强调了削减可训练参数的数量的必要性,同时强调这些幸存的参数的位置,这在广泛的模拟中是合理的。
translated by 谷歌翻译
纠错码是现代通信系统中的基本组件,要求极高的吞吐量,超可靠性和低延迟。随着解码器的近期使用机器学习(ML)模型的方法提供了改进的性能和对未知环境的巨大适应性,传统的解码器斗争。我们介绍了一般框架,以进一步提高ML模型的性能和适用性。我们建议将ML解码器与竞争鉴别器网络组合,该网络试图区分码字和嘈杂的单词,因此,指导解码模型以恢复传输的码字。我们的框架是游戏理论,由生成的对抗网络(GANS)有动力,解码器和鉴别者在零和游戏中竞争。解码器学习同时解码和生成码字,而鉴别器学会讲述解码输出和码字之间的差异。因此,解码器能够将嘈杂的接收信号解码为码字,增加成功解码的概率。我们通过证明这解码器定义了我们游戏的NASH均衡点,我们与最佳最大可能性解码器展示了我们的框架的强烈连接。因此,培训均衡具有实现最佳最大可能性性能的良好可能性。此外,我们的框架不需要培训标签,这些标签通常在通信期间通常不可用,因此似乎可以在线培训并适应频道动态。为了展示我们框架的表现,我们将其与最近的神经解码器相结合,并与各种代码上的原始模型和传统解码算法相比,表现出改进的性能。
translated by 谷歌翻译
考虑了使用神经解码器进行错误校正代码的最大似然解码的问题。结果表明,通过在节点的激活上使用两个新颖的损失项可以改善神经解码器。第一个损失项对节点的激活施加了稀疏的约束。鉴于,第二个损失术语试图模仿一个具有更好性能的教师解码器的节点的激活。所提出的方法具有与神经信念传播解码器相同的运行时间复杂性和模型大小,同时将解码性能提高了BCH代码上的$ 1DB $。
translated by 谷歌翻译
在这项工作中,我们提出了Reldec,一种用于顺序解码中等长度低密度奇偶校验(LDPC)代码的新方法。 Reldec背后的主要思想是,基于Markov决策过程(MDP),通过增强学习获得优化的解码策略。与我们以前的工作相比,如果代理学习在每个迭代的CNS的组(群集中)中只学习一个检查节点(CN),我们在这项工作中我们培训代理程序在群集中安排所有CN和所有集群在每一次迭代中。也就是说,在Reldec的每个学习步骤中,代理学会根据与调度特定群集的结果相关联的奖励来顺序地安排CN簇。我们还修改了MDP的状态空间表示,使RELDEC能够适用于比我们之前的工作中研究的更大的块长度LDPC代码。此外,为了在不同信道条件下进行解码,我们提出了两个相关方案,即敏捷元 - Reldec(AM-Reldec)和Meta-Reldec(M-Reldec),这两者都采用了元增强学习。所提出的Reldec计划显着优于各种LDPC代码的标准洪水和随机顺序解码,包括为5G新无线电设计的代码。
translated by 谷歌翻译
最近的作品表明,现代机器学习技术可以为长期存在的联合源通道编码(JSCC)问题提供另一种方法。非常有希望的初始结果,优于使用单独的源代码和通道代码的流行数字方案,已被证明用于使用深神经网络(DNNS)的无线图像和视频传输。但是,此类方案的端到端培训需要可区分的通道输入表示。因此,先前的工作假设可以通过通道传输任何复杂值。这可以防止在硬件或协议只能接收数字星座规定的某些频道输入集的情况下应用这些代码。本文中,我们建议使用有限通道输入字母的端到端优化的JSCC解决方案DeepJSCC-Q。我们表明,DEEPJSCC-Q可以实现与允许任何复杂的有价值通道输入的先前作品相似的性能,尤其是在可用的高调制订单时,并且在调制顺序增加的情况下,性能渐近接近无约束通道输入的情况。重要的是,DEEPJSCC-Q保留了不可预测的渠道条件下图像质量的优雅降级,这是在频道迅速变化的移动系统中部署的理想属性。
translated by 谷歌翻译
我们考虑在线性符号间干扰通道上使用因子图框架的符号检测的应用。基于Ungerboeck观察模型,可以得出具有吸引人复杂性能的检测算法。但是,由于基础因子图包含循环,因此总和算法(SPA)产生了次优算法。在本文中,我们制定并评估有效的策略,以通过神经增强来提高基于因子图的符号检测的性能。特别是,我们将因子节点的神经信念传播和概括是减轻因子图内周期效应的有效方法。通过将通用预处理器应用于通道输出,我们提出了一种简单的技术来改变每个SPA迭代中的基本因子图。使用这种动态因子图跃迁,我们打算保留水疗消息的外在性质,否则由于周期而受到损害。仿真结果表明,所提出的方法可以大大改善检测性能,甚至可以在各种传输方案中接近最大后验性能,同时保留在块长度和通道内存中线性线性的复杂性。
translated by 谷歌翻译
虽然可以通过对位渠道进行排序来有效地实现连续策略解码的极性代码,但以有效且可扩展的方式为连续策略列表(SCL)解码找到最佳的极性代码结构,但仍在等待研究。本文提出了一个基于图形神经网络(GNN)基于迭代消息通话(IMP)算法的强化算法,以解决SCL解码的极性代码构建问题。该算法仅在极地代码的生成器矩阵诱导的图的局部结构上运行。 IMP模型的大小独立于区块长度和代码速率,从而使其可扩展到具有长块长度的极性代码。此外,单个受过训练的IMP模型可以直接应用于广泛的目标区块长度,代码速率和渠道条件,并且可以生成相应的极性代码,而无需单独的训练。数值实验表明,IMP算法找到了极性代码构建体,这些构建体在环状划分 - 检查辅助辅助AD的SCL(CA-SCL)解码下显着优于经典构建体。与针对SCL/CA-SCL解码量身定制的其他基于学习的施工方法相比,IMP算法构建具有可比或较低帧错误率的极地代码,同时通过消除每个目标阻止长度的单独训练的需求,从而大大降低了训练的复杂性,代码速率和通道状况。
translated by 谷歌翻译
近年来,已经进行了重要的研究活动,可以通过深度学习自动化渠道编码器和解码器的设计。由于通道编码的维度挑战,因此通过深度学习技术设计和训练相对较大的神经通道代码非常复杂。因此,文献中的大多数结果仅限于相对较短的代码,其信息位少于100个。在本文中,我们构建了Productaes,这是一个有效的深度学习驱动(编码器,解码器)对的家族,旨在以可管理的培训复杂性来培训相对较大的通道代码(编码器和解码器)。我们基于经典产品代码的想法,并建议使用较小的代码组件构建大型神经代码。更具体地说,我们没有直接培训编码器和解码器的大型神经代码$ k $ and blocklength $ n $,而是提供了一个框架,需要培训对代码参数的神经编码器和解码器$(n_1,k_1)$和$(n_2,k_2)$,这样$ n_1 n_2 = n $和$ k_1 k_2 = k $。我们的培训结果表明,对于参数守则$(225,100)$和中等长度参数码$(441,196)$,与连续的极性码相比,参数码(225,100)$(225,100)$(225,100)$(225,100)$(225,100)$(225,100)$(225,100)$(225,100)$(225,100)$,与连续的极地码相比取消(SC)解码器。此外,我们的结果表明,涡轮自动编码器(涡轮增压器)和最先进的古典代码有意义。这是设计产品自动编码器和培训大型频道代码的开创性工作的第一项工作。
translated by 谷歌翻译
Iterative detection and decoding (IDD) is known to achieve near-capacity performance in multi-antenna wireless systems. We propose deep-unfolded interleaved detection and decoding (DUIDD), a new paradigm that reduces the complexity of IDD while achieving even lower error rates. DUIDD interleaves the inner stages of the data detector and channel decoder, which expedites convergence and reduces complexity. Furthermore, DUIDD applies deep unfolding to automatically optimize algorithmic hyperparameters, soft-information exchange, message damping, and state forwarding. We demonstrate the efficacy of DUIDD using NVIDIA's Sionna link-level simulator in a 5G-near multi-user MIMO-OFDM wireless system with a novel low-complexity soft-input soft-output data detector, an optimized low-density parity-check decoder, and channel vectors from a commercial ray-tracer. Our results show that DUIDD outperforms classical IDD both in terms of block error rate and computational complexity.
translated by 谷歌翻译
For improving short-length codes, we demonstrate that classic decoders can also be used with real-valued, neural encoders, i.e., deep-learning based codeword sequence generators. Here, the classical decoder can be a valuable tool to gain insights into these neural codes and shed light on weaknesses. Specifically, the turbo-autoencoder is a recently developed channel coding scheme where both encoder and decoder are replaced by neural networks. We first show that the limited receptive field of convolutional neural network (CNN)-based codes enables the application of the BCJR algorithm to optimally decode them with feasible computational complexity. These maximum a posteriori (MAP) component decoders then are used to form classical (iterative) turbo decoders for parallel or serially concatenated CNN encoders, offering a close-to-maximum likelihood (ML) decoding of the learned codes. To the best of our knowledge, this is the first time that a classical decoding algorithm is applied to a non-trivial, real-valued neural code. Furthermore, as the BCJR algorithm is fully differentiable, it is possible to train, or fine-tune, the neural encoder in an end-to-end fashion.
translated by 谷歌翻译
在多输入多输出(MIMO)系统中使用深度自动码器(DAE)进行端到端通信,是一种具有重要潜力的新概念。在误码率(BER)方面,已示出DAE-ADED MIMO以占地识别的奇异值分解(SVD)为基础的预编码MIMO。本文提出将信道矩阵的左右奇异矢量嵌入到DAE编码器和解码器中,以进一步提高MIMO空间复用的性能。 SVD嵌入式DAE主要优于BER的理论线性预编码。这是显着的,因为它表明所提出的DAES通过将通信系统视为单个端到端优化块来超出当前系统设计的极限。基于仿真结果,在SNR = 10dB,所提出的SVD嵌入式设计可以实现近10美元,并将BER减少至少10次,而没有SVD,相比增长了18倍的增长率最高18倍具有理论线性预编码。我们将这一点归因于所提出的DAE可以将输入和输出与具有有限字母输入的自适应调制结构匹配。我们还观察到添加到DAE的剩余连接进一步提高了性能。
translated by 谷歌翻译
显示用于误差校正的小型神经网络(NNS)可改善经典通道代码并解决通道模型更改。我们通过多次使用相同的NN使用相同的NN扩展了任何此类结构的代码维度,这些NN与外部经典代码串行串联。我们设计具有相同网络参数的NN,其中每个REED - Solomon CodeWord符号都是对其他NN的输入。与小型神经代码相比,增加了加斯噪声通道的块误差概率的显着改善,以及通道模型变化的稳健性。
translated by 谷歌翻译
基于深度学习的渠道代码设计最近引起了人们的兴趣,可以替代传统的编码算法,尤其是对于现有代码不提供有效解决方案的渠道。通过反馈渠道进行的沟通就是一个这样的问题,最近通过采用各种深度学习体系结构来获得有希望的结果。在本文中,我们为反馈渠道介绍了一种新颖的学习辅助代码设计,称为广义块注意反馈(GBAF)代码,i)使用模块化体系结构,可以使用不同的神经网络体系结构实现;ii)与现有设计相比,错误的可能性提高了误顺序;iii)可以以所需的代码速率传输。
translated by 谷歌翻译
在本文中,提出了一种新的方法,该方法允许基于神经网络(NN)均衡器的低复杂性发展,以缓解高速相干光学传输系统中的损伤。在这项工作中,我们提供了已应用于馈电和经常性NN设计的各种深层模型压缩方法的全面描述和比较。此外,我们评估了这些策略对每个NN均衡器的性能的影响。考虑量化,重量聚类,修剪和其他用于模型压缩的尖端策略。在这项工作中,我们提出并评估贝叶斯优化辅助压缩,其中选择了压缩的超参数以同时降低复杂性并提高性能。总之,通过使用模拟和实验数据来评估每种压缩方法的复杂性及其性能之间的权衡,以完成分析。通过利用最佳压缩方法,我们表明可以设计基于NN的均衡器,该均衡器比传统的数字背部传播(DBP)均衡器具有更好的性能,并且只有一个步骤。这是通过减少使用加权聚类和修剪算法后在NN均衡器中使用的乘数数量来完成的。此外,我们证明了基于NN的均衡器也可以实现卓越的性能,同时仍然保持与完整的电子色色散补偿块相同的复杂性。我们通过强调开放问题和现有挑战以及未来的研究方向来结束分析。
translated by 谷歌翻译
近年来在自动编码器(AE)框架中自动化频道编码器和解码器的设计越来越感兴趣,以便在噪声通道上可靠地传输数据。在本文中,我们为此目的展示了设计AES的新框架。特别地,我们介绍了AE框架,即Listae,其中解码器网络输出解码的消息字候选列表。假设在解码器的输出中可在解码器的输出处获得Genie,并且提出了特定损耗功能,以优化Genie-Aided(GA)-Listae的性能。 Listae是普通AE框架,可以与任何网络架构一起使用。我们提出了一种特定的端到端网络架构,其在一系列组件代码上解码接收的单词,其速率降低。基于所提出的架构的Listae称为增量冗余列表(IR-Listae),在GA解码下的低块误差速率下通过1 dB提高了最先进的AE性能。然后,我们使用循环冗余检查(CRC)代码来替换解码器的Genie,与GA-Listae相比,使CRC-Aided(CA)-Listae具有可忽略的性能损失。由于将CRC附加到消息字,CA-Listae以略微降低的价格显示有意义的编码增益。
translated by 谷歌翻译
Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
Link-Adaptation(LA)是无线通信的最重要方面之一,其中发射器使用的调制和编码方案(MCS)适用于通道条件,以满足某些目标误差率。在具有离细胞外干扰的单用户SISO(SU-SISO)系统中,LA是通过计算接收器处计算后平均值 - 交换后噪声比(SINR)进行的。可以在使用线性探测器的多用户MIMO(MU-MIMO)接收器中使用相同的技术。均衡后SINR的另一个重要用途是用于物理层(PHY)抽象,其中几个PHY块(例如通道编码器,检测器和通道解码器)被抽象模型取代,以加快系统级级别的模拟。但是,对于具有非线性接收器的MU-MIMO系统,尚无等效于平衡后的SINR,这使LA和PHY抽象都极具挑战性。这份由两部分组成的论文解决了这个重要问题。在这一部分中,提出了一个称为检测器的称为比特 - 金属解码速率(BMDR)的度量,该指标提出了相当于后平等SINR的建议。由于BMDR没有封闭形式的表达式可以启用其瞬时计算,因此一种机器学习方法可以预测其以及广泛的仿真结果。
translated by 谷歌翻译
Ultra-reliable short-packet communication is a major challenge in future wireless networks with critical applications. To achieve ultra-reliable communications beyond 99.999%, this paper envisions a new interaction-based communication paradigm that exploits feedback from the receiver. We present AttentionCode, a new class of feedback codes leveraging deep learning (DL) technologies. The underpinnings of AttentionCode are three architectural innovations: AttentionNet, input restructuring, and adaptation to fading channels, accompanied by several training methods, including large-batch training, distributed learning, look-ahead optimizer, training-test signal-to-noise ratio (SNR) mismatch, and curriculum learning. The training methods can potentially be generalized to other wireless communication applications with machine learning. Numerical experiments verify that AttentionCode establishes a new state of the art among all DL-based feedback codes in both additive white Gaussian noise (AWGN) channels and fading channels. In AWGN channels with noiseless feedback, for example, AttentionCode achieves a block error rate (BLER) of $10^{-7}$ when the forward channel SNR is 0 dB for a block size of 50 bits, demonstrating the potential of AttentionCode to provide ultra-reliable short-packet communications.
translated by 谷歌翻译