近年来，已经进行了重要的研究活动，可以通过深度学习自动化渠道编码器和解码器的设计。由于通道编码的维度挑战，因此通过深度学习技术设计和训练相对较大的神经通道代码非常复杂。因此，文献中的大多数结果仅限于相对较短的代码，其信息位少于100个。在本文中，我们构建了Productaes，这是一个有效的深度学习驱动（编码器，解码器）对的家族，旨在以可管理的培训复杂性来培训相对较大的通道代码（编码器和解码器）。我们基于经典产品代码的想法，并建议使用较小的代码组件构建大型神经代码。更具体地说，我们没有直接培训编码器和解码器的大型神经代码$ k $ and blocklength $ n $，而是提供了一个框架，需要培训对代码参数的神经编码器和解码器$（n_1，k_1）$和$（n_2，k_2）$，这样$ n_1 n_2 = n $和$ k_1 k_2 = k $。我们的培训结果表明，对于参数守则$（225,100）$和中等长度参数码$（441,196）$，与连续的极性码相比，参数码（225,100）$（225,100）$（225,100）$（225,100）$（225,100）$（225,100）$（225,100）$（225,100）$（225,100）$，与连续的极地码相比取消（SC）解码器。此外，我们的结果表明，涡轮自动编码器（涡轮增压器）和最先进的古典代码有意义。这是设计产品自动编码器和培训大型频道代码的开创性工作的第一项工作。

近年来在自动编码器（AE）框架中自动化频道编码器和解码器的设计越来越感兴趣，以便在噪声通道上可靠地传输数据。在本文中，我们为此目的展示了设计AES的新框架。特别地，我们介绍了AE框架，即Listae，其中解码器网络输出解码的消息字候选列表。假设在解码器的输出中可在解码器的输出处获得Genie，并且提出了特定损耗功能，以优化Genie-Aided（GA）-Listae的性能。 Listae是普通AE框架，可以与任何网络架构一起使用。我们提出了一种特定的端到端网络架构，其在一系列组件代码上解码接收的单词，其速率降低。基于所提出的架构的Listae称为增量冗余列表（IR-Listae），在GA解码下的低块误差速率下通过1 dB提高了最先进的AE性能。然后，我们使用循环冗余检查（CRC）代码来替换解码器的Genie，与GA-Listae相比，使CRC-Aided（CA）-Listae具有可忽略的性能损失。由于将CRC附加到消息字，CA-Listae以略微降低的价格显示有意义的编码增益。

For improving short-length codes, we demonstrate that classic decoders can also be used with real-valued, neural encoders, i.e., deep-learning based codeword sequence generators. Here, the classical decoder can be a valuable tool to gain insights into these neural codes and shed light on weaknesses. Specifically, the turbo-autoencoder is a recently developed channel coding scheme where both encoder and decoder are replaced by neural networks. We first show that the limited receptive field of convolutional neural network (CNN)-based codes enables the application of the BCJR algorithm to optimally decode them with feasible computational complexity. These maximum a posteriori (MAP) component decoders then are used to form classical (iterative) turbo decoders for parallel or serially concatenated CNN encoders, offering a close-to-maximum likelihood (ML) decoding of the learned codes. To the best of our knowledge, this is the first time that a classical decoding algorithm is applied to a non-trivial, real-valued neural code. Furthermore, as the BCJR algorithm is fully differentiable, it is possible to train, or fine-tune, the neural encoder in an end-to-end fashion.

显示用于误差校正的小型神经网络（NNS）可改善经典通道代码并解决通道模型更改。我们通过多次使用相同的NN使用相同的NN扩展了任何此类结构的代码维度，这些NN与外部经典代码串行串联。我们设计具有相同网络参数的NN，其中每个REED - Solomon CodeWord符号都是对其他NN的输入。与小型神经代码相比，增加了加斯噪声通道的块误差概率的显着改善，以及通道模型变化的稳健性。

Ultra-reliable short-packet communication is a major challenge in future wireless networks with critical applications. To achieve ultra-reliable communications beyond 99.999%, this paper envisions a new interaction-based communication paradigm that exploits feedback from the receiver. We present AttentionCode, a new class of feedback codes leveraging deep learning (DL) technologies. The underpinnings of AttentionCode are three architectural innovations: AttentionNet, input restructuring, and adaptation to fading channels, accompanied by several training methods, including large-batch training, distributed learning, look-ahead optimizer, training-test signal-to-noise ratio (SNR) mismatch, and curriculum learning. The training methods can potentially be generalized to other wireless communication applications with machine learning. Numerical experiments verify that AttentionCode establishes a new state of the art among all DL-based feedback codes in both additive white Gaussian noise (AWGN) channels and fading channels. In AWGN channels with noiseless feedback, for example, AttentionCode achieves a block error rate (BLER) of $10^{-7}$ when the forward channel SNR is 0 dB for a block size of 50 bits, demonstrating the potential of AttentionCode to provide ultra-reliable short-packet communications.

最近的作品表明，现代机器学习技术可以为长期存在的联合源通道编码（JSCC）问题提供另一种方法。非常有希望的初始结果，优于使用单独的源代码和通道代码的流行数字方案，已被证明用于使用深神经网络（DNNS）的无线图像和视频传输。但是，此类方案的端到端培训需要可区分的通道输入表示。因此，先前的工作假设可以通过通道传输任何复杂值。这可以防止在硬件或协议只能接收数字星座规定的某些频道输入集的情况下应用这些代码。本文中，我们建议使用有限通道输入字母的端到端优化的JSCC解决方案DeepJSCC-Q。我们表明，DEEPJSCC-Q可以实现与允许任何复杂的有价值通道输入的先前作品相似的性能，尤其是在可用的高调制订单时，并且在调制顺序增加的情况下，性能渐近接近无约束通道输入的情况。重要的是，DEEPJSCC-Q保留了不可预测的渠道条件下图像质量的优雅降级，这是在频道迅速变化的移动系统中部署的理想属性。

深度学习的进步导致了用于低延迟通信的神经解码器的发展。然而，神经解码器可以非常复杂，这可能导致计算和延迟增加。我们考虑迭代修剪方法（例如彩票假设算法）以修剪神经解码器的重量。具有较少数量的重量的解码器可以具有更低的延迟和更低的复杂性，同时保留原始模型的准确性。这将使神经解码器更适合于具有有限的计算能力的移动和其他边缘设备。我们还提出了用于神经解码器的半软判决解码，其可用于改善修剪网络的误码率性能。

在多输入多输出（MIMO）系统中使用深度自动码器（DAE）进行端到端通信，是一种具有重要潜力的新概念。在误码率（BER）方面，已示出DAE-ADED MIMO以占地识别的奇异值分解（SVD）为基础的预编码MIMO。本文提出将信道矩阵的左右奇异矢量嵌入到DAE编码器和解码器中，以进一步提高MIMO空间复用的性能。 SVD嵌入式DAE主要优于BER的理论线性预编码。这是显着的，因为它表明所提出的DAES通过将通信系统视为单个端到端优化块来超出当前系统设计的极限。基于仿真结果，在SNR = 10dB，所提出的SVD嵌入式设计可以实现近10美元，并将BER减少至少10次，而没有SVD，相比增长了18倍的增长率最高18倍具有理论线性预编码。我们将这一点归因于所提出的DAE可以将输入和输出与具有有限字母输入的自适应调制结构匹配。我们还观察到添加到DAE的剩余连接进一步提高了性能。

基于深度学习的渠道代码设计最近引起了人们的兴趣，可以替代传统的编码算法，尤其是对于现有代码不提供有效解决方案的渠道。通过反馈渠道进行的沟通就是一个这样的问题，最近通过采用各种深度学习体系结构来获得有希望的结果。在本文中，我们为反馈渠道介绍了一种新颖的学习辅助代码设计，称为广义块注意反馈（GBAF）代码，i）使用模块化体系结构，可以使用不同的神经网络体系结构实现；ii）与现有设计相比，错误的可能性提高了误顺序；iii）可以以所需的代码速率传输。

我们在信息理论安全保证下为高斯窃听通道设计了简短的区块长度代码。我们的方法在于将代码设计中的可靠性和保密性限制解耦。具体而言，我们通过自动编码器处理可靠性约束，并处理具有哈希功能的保密约束。对于小于或等于16的区块长度，我们通过模拟合法接收器的错误概率以及我们的代码构建中的窃听器的泄漏进行评估。这种泄漏被定义为机密信息和窃听通道观察之间的共同信息，并通过基于神经网络的共同信息估计器进行经验测量。我们的仿真结果提供了具有正面保密率的代码的示例，这些代码优于高斯窃听通道的非结构性可获得的最知名的保密率。此外，我们表明我们的代码设计适用于化合物和任意变化的高斯窃听通道，为此，通道统计信息不是完全知道的，但仅属于预先指定的不确定性集。这些模型不仅捕获了与渠道统计估计有关的不确定性，而且还捕获了窃听器堵塞合法传输或通过更改其位置来影响其自身渠道统计的场景。

已知的信念信念传播解码变体在将不同的权重分配给消息传递边缘后，可以轻松地作为神经网络展开，因为神经网络灵活地传递。在本文中，我们关注如何在深度学习框架内以可训练的参数的形式确定这些权重。首先，提出了一种新方法来通过利用靶向混合物密度的近似值来生成高质量的训练数据。然后，在追踪训练演化曲线后，训练损失和解码指标之间的强正相关已完全暴露。最后，为了促进训练收敛并降低解码的复杂性，我们强调了削减可训练参数的数量的必要性，同时强调这些幸存的参数的位置，这在广泛的模拟中是合理的。

最近的作品表明，可以通过使用机器学习技术来学习图像的无线传输的任务。已经通过训练了自动化器，非常有前沿图像质量，优于利用源和信道编码分离的流行数字方案，以具有中间的不可培训的沟道层，优于利用源和信道编码分离。然而，这些方法假设可以通过信道传输任何复数，这可以防止硬件或协议只能承认某些信道输入的场景中的算法，例如使用数字星座的使用。这里，我们提出了DeepJSCC-Q，用于无线图像传输的端到端优化的联合源信道编码方案，其能够用固定信道输入字母操作。我们表明DeepJSCC-Q可以对使用连续值通道输入的模型来实现类似的性能。重要的是，在信道条件恶化的情况下，保留在现有工作中观察到的图像质量的正常劣化，使DeepJSCC-Q在实际系统中部署更具吸引力。

基于深度学习（DL）的联合源通道编码（DEEPJSCC）的最新进展导致了语义通信的新范式。基于DEEPJSCC的语义通信的两个显着特征是直接从源信号中对语义感知功能的开发以及这些功能的离散时间模拟传输（DTAT）。与传统的数字通信相比，与DEEPJSCC的语义通信在接收器上提供了出色的重建性能，并具有较高的频道质量降解，但在传输信号中也表现出较大的峰值功率比（PAPR）。一个空旷的问题是，DeepJSCC的收益是否来自高PAPR连续振幅信号带来的额外自由。在本文中，我们通过在图像传输的应用中探索三种PAPR还原技术来解决这个问题。我们确认，基于DEEPJSCC的语义通信的出色图像重建性能可以保留，而传输的PAPR被抑制至可接受的水平。该观察是在实用语义通信系统中实施DEEPJSCC的重要一步。

Iterative detection and decoding (IDD) is known to achieve near-capacity performance in multi-antenna wireless systems. We propose deep-unfolded interleaved detection and decoding (DUIDD), a new paradigm that reduces the complexity of IDD while achieving even lower error rates. DUIDD interleaves the inner stages of the data detector and channel decoder, which expedites convergence and reduces complexity. Furthermore, DUIDD applies deep unfolding to automatically optimize algorithmic hyperparameters, soft-information exchange, message damping, and state forwarding. We demonstrate the efficacy of DUIDD using NVIDIA's Sionna link-level simulator in a 5G-near multi-user MIMO-OFDM wireless system with a novel low-complexity soft-input soft-output data detector, an optimized low-density parity-check decoder, and channel vectors from a commercial ray-tracer. Our results show that DUIDD outperforms classical IDD both in terms of block error rate and computational complexity.

查找最佳消息量化是低复杂性信念传播（BP）解码的关键要求。为此，我们提出了一个浮点替代模型，该模型模仿量化效果，作为均匀噪声的添加，其幅度是可训练的变量。我们验证替代模型与定点实现的行为非常匹配，并提出了手工制作的损失功能，以实现复杂性和误差率性能之间的权衡。然后，采用一种基于深度学习的方法来优化消息位。此外，我们表明参数共享既可以确保实现友好的解决方案，又比独立参数导致更快的培训收敛。我们为5G低密度均衡检查（LDPC）代码提供模拟结果，并在浮点分解的0.2 dB内报告误差率性能，平均消息量化位低于3.1位。此外，我们表明，学到的位宽也将其推广到其他代码速率和渠道。

在这项工作中，我们提出了一个完全可区分的图形神经网络（GNN）的架构，用于用于通道解码和展示各种编码方案的竞争性解码性能，例如低密度奇偶校验检查（LDPC）和BCH代码。这个想法是让神经网络（NN）通过给定图的通用消息传递算法，该算法通过用可训练的函数替换节点和边缘消息更新来代表正向误差校正（FEC）代码结构。与许多其他基于深度学习的解码方法相反，提出的解决方案享有对任意块长度的可扩展性，并且训练不受维数的诅咒的限制。我们在常规渠道解码中对最新的解码以及最近的基于深度学习的结果基准了我们提出的解码器。对于（63,45）BCH代码，我们的解决方案优于加权信念传播（BP）的解码约0.4 dB，而解码迭代率明显较小，甚至对于5G NR LDPC代码，我们观察到与常规BP解码相比，我们观察到竞争性能。对于BCH代码，所得的GNN解码器只能以9640个权重进行完全参数。

对置换代码进行了广泛的研究，以纠正电源线通信上的应用程序和闪存等级调制的不同类型的错误。在本文中，我们介绍了置换代码的神经网络解码器，以单发解码纠正这些错误，这些解码将解码视为$ n $分类任务的非二进制符号，用于长度$ n $的代码。这些实际上是引入的第一个通用解码器，用于处理这两个应用程序的任何错误类型。通过具有不同误差模型的模拟来评估解码器的性能。

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

我们提出了一种可扩展高效的神经波形编码系统，用于语音压缩。我们将语音编码问题作为一种自动汇总任务，其中卷积神经网络（CNN）在其前馈例程期间执行编码和解码作为神经波形编解码器（NWC）。所提出的NWC还将量化和熵编码定义为可培训模块，因此在优化过程期间处理编码伪像和比特率控制。通过将紧凑的模型组件引入NWC，如Gated Reseal Networks和深度可分离卷积，我们实现了效率。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖各种比特率。为此，我们采用残余编码概念来连接多个NWC自动汇总模块，其中每个NWC模块执行残差编码以恢复其上一模块已创建的任何重建损失。 CMRL也可以缩小以覆盖下比特率，因为它采用线性预测编码（LPC）模块作为其第一自动化器。混合设计通过将LPC的量化作为可分散的过程重新定义LPC和NWC集成，使系统培训端到端的方式。所提出的系统的解码器在低至中等比特率范围（12至20kbps）或高比特率（32kbps）中的两个NWC中的一个NWC（0.12百万个参数）。尽管解码复杂性尚不低于传统语音编解码器的复杂性，但是从其他神经语音编码器（例如基于WVENET的声码器）显着降低。对于宽带语音编码质量，我们的系统对AMR-WB的性能相当或卓越的性能，并在低和中等比特率下的速度试验话题上的表现。所提出的系统可以扩展到更高的比特率以实现近透明性能。

我们呈现深度，第一端到端联合源通道编码（JSCC）视频传输方案，其利用深神经网络（DNN）的力量直接将视频信号映射到信道符号，组合视频压缩，信道编码并且调制步骤进入单个神经变换。我们的DNN解码器预测无失真反馈的残差，这通过占闭塞/脱离和相机运动来提高视频质量。我们同时培训不同的带宽分配网络，以允许变量带宽传输。然后，我们使用强化学习（RL）训练带宽分配网络，该钢筋学习（RL）优化视频帧之间的有限可用信道带宽的分配，以最大限度地提高整体视觉质量。我们的研究结果表明，深度可以克服悬崖效应，这在传统的分离的数字通信方案中普遍存在，并在估计和实际信道质量之间取得不匹配来实现优雅的降级。 DeepWive优于H.264视频压缩，然后在所有信道条件下的低密度奇偶校验（LDPC）代码在多尺度结构相似性指数（MS-SSIM）方面平均达到0.0462，同时跳动H.265 + LDPC平均高达0.0058。我们还说明了通过显示我们的最佳带宽分配策略优于NA \“IVE统一分配来优化JSCC视频传输中的带宽分配的重要性。我们相信这是实现端到端潜力的重要一步优化的JSCC无线视频传输系统优于当前的基于分离的设计。