以任务为导向的通信，主要是使用基于学习的联合源通道编码（JSCC），旨在通过将与任务相关的信息传输到接收方来设计通信有效的边缘推理系统。但是，只有在不引入任何冗余的情况下传输与任务相关的信息可能会导致由于渠道变化引起的学习鲁棒性问题，而JSCC将源数据直接映射到连续的通道输入符号中会对现有数字通信系统提出兼容性问题。在本文中，我们通过首先调查编码表示形式的信息性与接收到的信息失真的鲁棒性之间的固有权衡解决这两个问题，然后提出一种具有任务调制的导向的通信方案，名为Inveete Task-定向的JSCC（DT-JSCC），其中发射器将功能编码为离散表示形式，并使用数字调制方案将其传输到接收器。在DT-JSCC方案中，我们开发了一个可靠的编码框架，称为强大的信息瓶颈（rib），以改善对信道变化的稳健性，并使用变量近似来得出肋骨目标的可拖动变异上限，以克服克服相互信息的计算棘手性。实验结果表明，所提出的DT-JSCC比具有低通信延迟的基线方法更好的推理性能更好，并且由于施加的肋骨框架而表现出对通道变化的鲁棒性。

本文研究了多个设备合作边缘推理的面向任务的通信，其中一组分布式的低端边缘设备将本地样品的提取功能传输到强大的边缘服务器以进行推理。尽管合作边缘推理可以克服单个设备的有限传感能力，但它大大增加了通信开销并可能产生过度延迟。为了启用低延迟合作推断，我们提出了一种基于学习的通信方案，该方案以面向任务的方式优化本地功能提取和分布式功能，即删除数据冗余和传输信息，这对于下游推断任务至关重要而不是重建边缘服务器上的数据示例。具体而言，我们利用信息瓶颈（IB）原理在每个边缘设备上提取与任务相关的功能，并采用分布式信息瓶颈（DIB）框架来形式化分布式特征的最佳速率 - 权利权限权衡的单字母表征。为了承认对通信开销的灵活控制，我们将DIB框架扩展到分布式确定性信息瓶颈（DDIB）目标，该目标明确合并了编码功能的代表性成本。由于基于IB的目标对高维数据的计算过敏性，因此我们采用各种近似值来使优化问题可处理。为了补偿由于变异近似而引起的潜在性能损失，我们还开发了选择性重传（SR）机制，以识别多个边缘设备的编码特征中的冗余，以实现额外的通信高架降低。广泛的实验证明，所提出的面向任务的交流方案比基线方法实现了更好的利率权衡权衡。

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

Motivated by recent success of Machine Learning (ML) tools in wireless communications, the idea of semantic communication by Weaver from 1949 has received considerable attention. It breaks with the classic design paradigm of Shannon by aiming to transmit the meaning of a message, i.e., semantics, rather than its exact copy and thus allows for savings in channel uses or information rate. In this work, we extend the fundamental approach from Basu et al. for modeling semantics from logical to probabilistic entailment relations between meaning and messages. Thus, we model semantics by means of a hidden random variable and define the task of semantic communication as transmission of messages over a communication channel such that semantics is best preserved. We formulate the semantic communication design either as an Information Maximization or as an Information Bottleneck optimization problem. Finally, we propose the ML-based semantic communication system SINFONI for a distributed multipoint scenario: SINFONI communicates the meaning behind multiple messages that are observed at different senders to a single receiver for semantic retrieval. We analyze SINFONI by processing images as an example of messages. Numerical results reveal a tremendous rate normalized SNR shift up to 20 dB compared to classically designed communication systems.

Most semantic communication systems leverage deep learning models to provide end-to-end transmission performance surpassing the established source and channel coding approaches. While, so far, research has mainly focused on architecture and model improvements, but such a model trained over a full dataset and ergodic channel responses is unlikely to be optimal for every test instance. Due to limitations on the model capacity and imperfect optimization and generalization, such learned models will be suboptimal especially when the testing data distribution or channel response is different from that in the training phase, as is likely to be the case in practice. To tackle this, in this paper, we propose a novel semantic communication paradigm by leveraging the deep learning model's overfitting property. Our model can for instance be updated after deployment, which can further lead to substantial gains in terms of the transmission rate-distortion (RD) performance. This new system is named adaptive semantic communication (ASC). In our ASC system, the ingredients of wireless transmitted stream include both the semantic representations of source data and the adapted decoder model parameters. Specifically, we take the overfitting concept to the extreme, proposing a series of ingenious methods to adapt the semantic codec or representations to an individual data or channel state instance. The whole ASC system design is formulated as an optimization problem whose goal is to minimize the loss function that is a tripartite tradeoff among the data rate, model rate, and distortion terms. The experiments (including user study) verify the effectiveness and efficiency of our ASC system. Notably, the substantial gain of our overfitted coding paradigm can catalyze semantic communication upgrading to a new era.

在基于学习的语义沟通中，神经网络在传统通信系统中取代了不同的构件。但是，数字调制仍然是神经网络的挑战。基于神经网络的数字调制的固有机制是将神经网络编码器的连续输出映射到离散的星座符号中，这是一个不可差的函数，无法使用现有的梯度下降算法进行训练。为了克服这一挑战，在本文中，我们为使用BPSK调制的数字语义通信制定了联合编码调节方案。在我们的方法中，神经网络输出了每个星座点的可能性，而不是具有混凝土映射。因此，使用了随机代码而不是确定性代码，该代码在每个星座上都有可能的符号保留更多信息。联合编码调制设计可以与频道状态相匹配，从而提高数字语义通信的性能。实验结果表明，我们的方法在广泛的SNR上优于语义通信中现有的数字调制方法，并且低SNR制度中的基于神经网络的模拟调制方法优于基于神经网络的模拟调制方法。

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

最近的作品表明，现代机器学习技术可以为长期存在的联合源通道编码（JSCC）问题提供另一种方法。非常有希望的初始结果，优于使用单独的源代码和通道代码的流行数字方案，已被证明用于使用深神经网络（DNNS）的无线图像和视频传输。但是，此类方案的端到端培训需要可区分的通道输入表示。因此，先前的工作假设可以通过通道传输任何复杂值。这可以防止在硬件或协议只能接收数字星座规定的某些频道输入集的情况下应用这些代码。本文中，我们建议使用有限通道输入字母的端到端优化的JSCC解决方案DeepJSCC-Q。我们表明，DEEPJSCC-Q可以实现与允许任何复杂的有价值通道输入的先前作品相似的性能，尤其是在可用的高调制订单时，并且在调制顺序增加的情况下，性能渐近接近无约束通道输入的情况。重要的是，DEEPJSCC-Q保留了不可预测的渠道条件下图像质量的优雅降级，这是在频道迅速变化的移动系统中部署的理想属性。

Along with the springing up of semantics-empowered communication (SemCom) researches, it is now witnessing an unprecedentedly growing interest towards a wide range of aspects (e.g., theories, applications, metrics and implementations) in both academia and industry. In this work, we primarily aim to provide a comprehensive survey on both the background and research taxonomy, as well as a detailed technical tutorial. Specifically, we start by reviewing the literature and answering the "what" and "why" questions in semantic transmissions. Afterwards, we present corresponding ecosystems, including theories, metrics, datasets and toolkits, on top of which the taxonomy for research directions is presented. Furthermore, we propose to categorize the critical enabling techniques by explicit and implicit reasoning-based methods, and elaborate on how they evolve and contribute to modern content \& channel semantics-empowered communications. Besides reviewing and summarizing the latest efforts in SemCom, we discuss the relations with other communication levels (e.g., reliable and goal-oriented communications) from a holistic and unified viewpoint. Subsequently, in order to facilitate the future developments and industrial applications, we also highlight advanced practical techniques for boosting semantic accuracy, robustness, and large-scale scalability, just to mention a few. Finally, we discuss the technical challenges that shed light on future research opportunities.

尽管语义通信对大量任务表现出令人满意的性能，但语义噪声和系统的鲁棒性的影响尚未得到很好的研究。语义噪声是指预期的语义符号和接收到的语义符号之间的误导性，从而导致任务失败。在本文中，我们首先提出了一个框架，用于稳健的端到端语义通信系统来对抗语义噪声。特别是，我们分析了样品依赖性和样本无关的语义噪声。为了打击语义噪声，开发了具有重量扰动的对抗训练，以在训练数据集中纳入带有语义噪声的样品。然后，我们建议掩盖一部分输入，在该输入中，语义噪声经常出现，并通过噪声相关的掩蔽策略设计蒙版vector量化量化的量化自动编码器（VQ-VAE）。我们使用发射器共享的离​​散代码簿和接收器用于编码功能表示。为了进一步提高系统鲁棒性，我们开发了一个功能重要性模块（FIM），以抑制与噪声相关和任务无关的功能。因此，发射器只需要在代码簿中传输这些重要的任务相关功能的索引即可。仿真结果表明，所提出的方法可以应用于许多下游任务，并显着提高针对语义噪声的鲁棒性，并显着减少了传输开销。

State-of-the-art performance for many emerging edge applications is achieved by deep neural networks (DNNs). Often, these DNNs are location and time sensitive, and the parameters of a specific DNN must be delivered from an edge server to the edge device rapidly and efficiently to carry out time-sensitive inference tasks. In this paper, we introduce AirNet, a novel training and transmission method that allows efficient wireless delivery of DNNs under stringent transmit power and latency constraints. We first train the DNN with noise injection to counter the wireless channel noise. Then we employ pruning to reduce the network size to the available channel bandwidth, and perform knowledge distillation from a larger model to achieve satisfactory performance, despite pruning. We show that AirNet achieves significantly higher test accuracy compared to digital alternatives under the same bandwidth and power constraints. The accuracy of the network at the receiver also exhibits graceful degradation with channel quality, which reduces the requirement for accurate channel estimation. We further improve the performance of AirNet by pruning the network below the available bandwidth, and using channel expansion to provide better robustness against channel noise. We also benefit from unequal error protection (UEP) by selectively expanding more important layers of the network. Finally, we develop an ensemble training approach, which trains a whole spectrum of DNNs, each of which can be used at different channel condition, resolving the impractical memory requirements.

最近，基于深层神经网络（DNN）的物理层通信技术引起了极大的兴趣。尽管模拟实验已经验证了它们增强通信系统和出色性能的潜力，但对理论分析的关注很少。具体而言，物理层中的大多数研究都倾向于专注于DNN模型在无线通信问题上的应用，但理论上不了解DNN在通信系统中的工作方式。在本文中，我们旨在定量分析为什么DNN可以在物理层中与传统技术相比，并在计算复杂性方面提高其成本。为了实现这一目标，我们首先分析基于DNN的发射器的编码性能，并将其与传统发射器进行比较。然后，我们理论上分析了基于DNN的估计器的性能，并将其与传统估计器进行比较。第三，我们调查并验证在信息理论概念下基于DNN的通信系统中如何播放信息。我们的分析开发了一种简洁的方式，可以在物理层通信中打开DNN的“黑匣子”，可用于支持基于DNN的智能通信技术的设计，并有助于提供可解释的性能评估。

最近的作品表明，可以通过使用机器学习技术来学习图像的无线传输的任务。已经通过训练了自动化器，非常有前沿图像质量，优于利用源和信道编码分离的流行数字方案，以具有中间的不可培训的沟道层，优于利用源和信道编码分离。然而，这些方法假设可以通过信道传输任何复数，这可以防止硬件或协议只能承认某些信道输入的场景中的算法，例如使用数字星座的使用。这里，我们提出了DeepJSCC-Q，用于无线图像传输的端到端优化的联合源信道编码方案，其能够用固定信道输入字母操作。我们表明DeepJSCC-Q可以对使用连续值通道输入的模型来实现类似的性能。重要的是，在信道条件恶化的情况下，保留在现有工作中观察到的图像质量的正常劣化，使DeepJSCC-Q在实际系统中部署更具吸引力。

Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.

我们呈现深度，第一端到端联合源通道编码（JSCC）视频传输方案，其利用深神经网络（DNN）的力量直接将视频信号映射到信道符号，组合视频压缩，信道编码并且调制步骤进入单个神经变换。我们的DNN解码器预测无失真反馈的残差，这通过占闭塞/脱离和相机运动来提高视频质量。我们同时培训不同的带宽分配网络，以允许变量带宽传输。然后，我们使用强化学习（RL）训练带宽分配网络，该钢筋学习（RL）优化视频帧之间的有限可用信道带宽的分配，以最大限度地提高整体视觉质量。我们的研究结果表明，深度可以克服悬崖效应，这在传统的分离的数字通信方案中普遍存在，并在估计和实际信道质量之间取得不匹配来实现优雅的降级。 DeepWive优于H.264视频压缩，然后在所有信道条件下的低密度奇偶校验（LDPC）代码在多尺度结构相似性指数（MS-SSIM）方面平均达到0.0462，同时跳动H.265 + LDPC平均高达0.0058。我们还说明了通过显示我们的最佳带宽分配策略优于NA \“IVE统一分配来优化JSCC视频传输中的带宽分配的重要性。我们相信这是实现端到端潜力的重要一步优化的JSCC无线视频传输系统优于当前的基于分离的设计。

现有的深度学习的语义通信系统通常依赖于包含经验数据及其相关语义信息的发射器和接收器之间的共同背景知识。实际上，语义信息是由接收器的务实任务定义的，发射器不能知道。发射机上的实际可观察​​数据也可以具有与共享背景知识库中的经验数据相同的分布。为了解决这些实际问题，本文提出了一个新的基于神经网络的语义通信系统，用于图像传输，该任务在发射器上不知道，并且数据环境是动态的。该系统由两个主要部分组成，即语义编码（SC）网络和数据适应（DA）网络。 SC网络学习如何使用接收器领导训练过程提取和传输语义信息。通过使用传输学习的域适应技术，DA网络学习了如何将观察到的数据转换为SC网络可以在不进行重新验证的情况下进行处理的类似形式的经验数据。数值实验表明，所提出的方法可以适应可观察的数据集，同时在数据恢复和任务执行方面保持高性能。

基于深度学习（DL）的联合源通道编码（DEEPJSCC）的最新进展导致了语义通信的新范式。基于DEEPJSCC的语义通信的两个显着特征是直接从源信号中对语义感知功能的开发以及这些功能的离散时间模拟传输（DTAT）。与传统的数字通信相比，与DEEPJSCC的语义通信在接收器上提供了出色的重建性能，并具有较高的频道质量降解，但在传输信号中也表现出较大的峰值功率比（PAPR）。一个空旷的问题是，DeepJSCC的收益是否来自高PAPR连续振幅信号带来的额外自由。在本文中，我们通过在图像传输的应用中探索三种PAPR还原技术来解决这个问题。我们确认，基于DEEPJSCC的语义通信的出色图像重建性能可以保留，而传输的PAPR被抑制至可接受的水平。该观察是在实用语义通信系统中实施DEEPJSCC的重要一步。

作为Shannon Paradigm的突破的语义通信旨在成功传输由源传送的语义信息，而不是每种单个符号或位的准确接收，而不管其含义如何。本文提供了关于语义通信的概述。在简要审查Shannon信息理论之后，我们讨论了深入学习的理论，框架和系统设计的语义通信。不同于用于测量传统通信系统的符号/误码率，还讨论了语义通信的新性能度量。这篇文章由几个开放问题结束。

本文研究了一个新的多设备边缘人工智能（AI）系统，该系统共同利用AI模型分配推理和集成感应和通信（ISAC），以在网络边缘启用低延迟智能服务。在此系统中，多个ISAC设备执行雷达传感以获取多视图数据，然后将提取功能的量化版本卸载到集中式边缘服务器，该功能基于级联功能向量进行模型推断。在此设置和考虑分类任务下，我们通过采用近似但可拖动的度量，即判别增益来衡量推理的准确性，该指标定义为在归一化协方差下欧几里得特征空间中两个类别的距离。为了最大化判别增益，我们首先用衍生的封闭形式表达来量化感应，计算和通信过程的影响。然后，通过将这三个过程集成到联合设计中来开发面向任务的端到端资源管理方法。然而，这种集成的感应，计算和通信（ISCC）设计方法然而，由于判别增益的复杂形式和设备异质性在渠道增益，量化水平和生成的功能方面，导致了具有挑战性的非凸优化问题子集。值得注意的是，可以根据比率方法来最佳解决所考虑的非凸问题。这给出了最佳ISCC方案，该方案共同确定多个设备的传输功率和时间分配，以进行传感和通信，以及它们的量化位分配以进行计算失真控制。通过将人类运动识别作为具体的AI推理任务，进行了广泛的实验来验证我们衍生的最佳ISCC方案的性能。

尽管模拟语义通信系统在文献中受到了很大的关注，但在数字语义通信系统上的工作较少。在本文中，我们开发了一个深度学习（DL）启用的矢量量化（VQ）语义通信系统，用于图像传输，名为VQ-Deepsc。具体而言，我们提出了一个基于卷积的神经网络（CNN）的收发器来提取图像的多尺度语义特征，并引入多尺度语义嵌入空间以执行语义特征量化，从而使数据与数字通信系统兼容。此外，我们通过引入Patchgan歧视者来采用对抗训练来提高接收图像的质量。实验结果表明，根据SSIM，所提出的VQ-Deepsc优于传统图像传输方法。