在可预见的未来，自治车辆将在他们无法自行解决的情况下需要人类的帮助。在这种情况下，来自人类的远程辅助可以为车辆提供所需的输入来继续其操作。自动车辆中使用的典型传感器包括相机和激光雷达传感器。由于必须实时发送的传感器数据量的大量，高效的数据压缩是基本上的，以防止网络基础设施过载。使用深生成的神经网络的传感器数据压缩已经显示为图像和激光雷达数据的传统压缩方法，关于压缩率以及重建质量。然而，缺乏关于基于生成 - 神经网络的压缩算法进行远程辅助的性能的研究。为了在远程辅助中深入了解使用深度生成模型的可行性，我们评估了最先进的算法，了解其适用性并识别潜在的弱点。此外，我们实施了用于处理传感器数据的在线管道，并使用Carla模拟器演示其对远程辅助的性能。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

实现自动化车辆和外部服务器，智能基础设施和其他道路使用者之间的安全可靠的高带宽低度连通性是使全自动驾驶成为可能的核心步骤。允许这种连接性的数据接口的可用性有可能区分人造代理在连接，合作和自动化的移动性系统中的功能与不具有此类接口的人类操作员的能力。连接的代理可以例如共享数据以构建集体环境模型，计划集体行为，并从集中组合的共享数据集体学习。本文提出了多种解决方案，允许连接的实体交换数据。特别是，我们提出了一个新的通用通信界面，该界面使用消息排队遥测传输（MQTT）协议连接运行机器人操作系统（ROS）的代理。我们的工作整合了以各种关键绩效指标的形式评估连接质量的方法。我们比较了各种方法，这些方法提供了5G网络中Edge-Cloud LiDAR对象检测的示例性用例所需的连接性。我们表明，基于车辆的传感器测量值的可用性与从边缘云中接收到相应的对象列表之间的平均延迟低于87毫秒。所有实施的解决方案均可为开源并免费使用。源代码可在https://github.com/ika-rwth-aachen/ros-v2x-benchmarking-suite上获得。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

大量的研究与逼真的传感器数据的产生有关。激光点云是由复杂的模拟或学习的生成模型生成的。通常利用生成的数据来启用或改善下游感知算法。这些程序来自两个主要问题：首先，如何评估生成数据的现实主义？其次，更现实的数据还会导致更好的感知表现吗？本文解决了问题，并提出了一个新颖的指标，以量化LiDar Point Cloud的现实主义。通过训练代理分类任务，可以从现实世界和合成点云中学到相关功能。在一系列实验中，我们证明了我们的指标的应用来确定生成的LiDAR数据的现实主义，并将我们的度量的现实主义估计与分割模型的性能进行比较。我们确认我们的指标为下游细分性能提供了指示。

By optimizing the rate-distortion-realism trade-off, generative compression approaches produce detailed, realistic images, even at low bit rates, instead of the blurry reconstructions produced by rate-distortion optimized models. However, previous methods do not explicitly control how much detail is synthesized, which results in a common criticism of these methods: users might be worried that a misleading reconstruction far from the input image is generated. In this work, we alleviate these concerns by training a decoder that can bridge the two regimes and navigate the distortion-realism trade-off. From a single compressed representation, the receiver can decide to either reconstruct a low mean squared error reconstruction that is close to the input, a realistic reconstruction with high perceptual quality, or anything in between. With our method, we set a new state-of-the-art in distortion-realism, pushing the frontier of achievable distortion-realism pairs, i.e., our method achieves better distortions at high realism and better realism at low distortion than ever before.

点云是3D内容的至关重要表示，在虚拟现实，混合现实，自动驾驶等许多领域已广泛使用，随着数据中点数的增加，如何有效地压缩点云变为一个具有挑战性的问题。在本文中，我们提出了一组基于贴片的点云压缩的重大改进，即用于熵编码的可学习上下文模型，用于采样质心点的OCTREE编码以及集成的压缩和训练过程。此外，我们提出了一个对抗网络，以改善重建过程中点的均匀性。我们的实验表明，改进的基于斑块的自动编码器在稀疏和大规模点云上的速率延伸性能方面优于最先进的。更重要的是，我们的方法可以在确保重建质量的同时保持短时间的压缩时间。

我们在本文中提出了一个新的面部视频压缩范式。我们利用诸如stylegan之类的gan的生成能力来表示和压缩视频，包括内部和间压缩。每个帧都在StyleGAN的潜在空间中倒置，从中学习了最佳压缩。为此，使用归一化流量模型学习了差异潜在表示，可以在其中优化熵模型以用于图像编码。此外，我们提出了一种新的感知损失，比其他同行更有效。最后，在先前构造的潜在表示中还学习了用于视频间编码的熵模型。我们的方法（SGANC）很简单，训练的速度更快，并且与最新的编解码器（例如VTM，AV1和最近的深度学习技术）相比，为图像和视频编码提供了更好的结果。特别是，它在低比特速率下极大地最大程度地减少了感知失真。

我们提出了Lidargen，这是一种新型，有效且可控的生成模型，可产生逼真的LIDAR点云感觉读数。我们的方法利用强大的得分匹配基于能量的模型，并将点云生成过程作为随机降解过程在等应角视图中。该模型使我们能够采样具有保证的物理可行性和可控性的多样化和高质量点云样本。我们验证方法对挑战性Kitti-360和Nuscenes数据集的有效性。定量和定性结果表明，与其他生成模型相比，我们的方法产生的样本更现实。此外，LIDARGEN可以在不进行重新培训的情况下在输入上进行样本云。我们证明我们所提出的生成模型可直接用于致密激光点云。我们的代码可在以下网址找到：https：//www.zyrianov.org/lidargen/

基于神经网络的图像压缩已经过度研究。模型稳健性很大程度上被忽视，但它对服务能够实现至关重要。我们通过向原始源图像注入少量噪声扰动来执行对抗攻击，然后使用主要学习的图像压缩模型来编码这些对抗示例。实验报告对逆势实例的重建中的严重扭曲，揭示了现有方法的一般漏洞，无论用于底层压缩模型（例如，网络架构，丢失功能，质量标准）和用于注射扰动的优化策略（例如，噪声阈值，信号距离测量）。后来，我们应用迭代对抗的FineTuning来细化掠夺模型。在每次迭代中，将随机源图像和对抗示例混合以更新底层模型。结果通过大大提高压缩模型稳健性来表明提出的FineTuning策略的有效性。总体而言，我们的方法是简单，有效和更广泛的，使其具有开发稳健的学习图像压缩解决方案的吸引力。所有材料都在HTTPS://njuvision.github.io/trobustn中公开访问，以便可重复研究。

有效的点云压缩对于虚拟和混合现实，自动驾驶和文化遗产等应用至关重要。在本文中，我们为动态点云几何压缩提出了一个基于深度学习的框架间编码方案。我们提出了一种有损的几何压缩方案，该方案通过使用新的预测网络，使用先前的框架来预测当前帧的潜在表示。我们提出的网络利用稀疏的卷积使用层次多尺度3D功能学习来使用上一个帧编码当前帧。我们在目标坐标上采用卷积来将上一个帧的潜在表示为当前帧的降采样坐标，以预测当前帧的特征嵌入。我们的框架通过使用学习的概率分解熵模型来压缩预测功能的残差和实际特征。在接收器中，解码器层次结构通过逐步重新嵌入功能嵌入来重建当前框架。我们将我们的模型与基于最先进的视频点云压缩（V-PCC）和基于几何的点云压缩（G-PCC）方案进行了比较，该方案由Moving Picture Experts Group（MPEG）标准化。我们的方法实现了91％以上的BD率Bjontegaard三角洲率）降低了G-PCC，针对V-PCC框架内编码模式的BD率降低了62％以上，而对于V-PC。使用HEVC，基于PCC P框架的框架间编码模式。

尽管人类可以通过利用对内容的高级理解的传统或最新学习的图像压缩编解码器来毫不费力地将复杂的视觉场景转变为简单的单词，而另一种方式似乎并没有利用视觉内容的语义含义。潜在的。此外，它们主要集中在率延伸上，并且在感知质量上的表现不佳，尤其是在低比特率方案中，并且常常无视下游计算机视觉算法的性能，这是一个快速增长的压缩图像的快速消费者组。在本文中，我们（1）提出了一个通用框架，该框架可以使任何图像编解码器能够利用高级语义，（2）研究感知质量和失真的关节优化。我们的想法是，鉴于任何编解码器，我们利用高级语义来增强其提取的低级视觉特征，并产生基本上的新的语义意识编解码器。我们提出了一个三相训练方案，该方案教授语义意识的编解码器来利用语义的力量来共同优化速率感知渗透率（R-PD）的性能。作为另一个好处，语义感知的编解码器还提高了下游计算机视觉算法的性能。为了验证我们的主张，我们进行了广泛的经验评估，并提供定量和定性结果。

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

虚拟测试是确保自动驾驶安全性的至关重要的任务，而传感器仿真是该域中的重要任务。大多数当前的激光雷达模拟非常简单，主要用于执行初始测试，而大多数见解是在道路上收集的。在本文中，我们提出了一种轻巧的方法，以实现更现实的激光雷达模拟，该方法从测试驱动器数据中学习了真实传感器的行为，并将其转换为虚拟域。核心思想是将仿真施加到图像到图像翻译问题中。我们将基于PIX2PIX的架构训练两个现实世界数据集，即流行的Kitti数据集和提供RGB和LIDAR图像的Audi自动驾驶数据集。我们将该网络应用于合成渲染，并表明它从真实图像到模拟图像充分概括。该策略使我们可以在我们的合成世界中跳过传感器特异性，昂贵且复杂的LIDAR物理模拟，并避免过度简化和通过干净的合成环境较大的域间隙。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

我们提出了一种用于在仅在解码器处作为侧面信息可用时压缩图像的新型神经网络（DNN）架构。该问题在信息理论中称为分布式源编码（DSC）。特别地，我们考虑一对立体图像，其由于视野的重叠场而通常彼此具有高相关，并且假设要压缩和发送该对的一个图像，而另一个图像仅在解码器。在所提出的架构中，编码器将输入图像映射到潜像，量化潜在表示，并使用熵编码压缩它。训练解码器以仅使用后者使用后者提取输入图像和相关图像之间的公共信息。接收的潜在表示和本地生成的公共信息通过解码器网络来获得增强的输入图像的增强重建。公共信息提供了ReceIver上相关信息的简洁表示。我们训练并展示所提出的方法对立体声图像对的拟议方法的有效性。我们的结果表明，该建筑的架构能够利用仅解码器的侧面信息，并且在使用解码器侧信息的情况下优于立体图像压缩的先前工作。

近年来，随着深度神经网络的发展，端到端优化的图像压缩已取得了重大进展，并超过了速度延伸性能的经典方法。但是，大多数基于学习的图像压缩方法是未标记的，在优化模型时不考虑图像语义或内容。实际上，人眼对不同内容具有不同的敏感性，因此还需要考虑图像内容。在本文中，我们提出了一种面向内容的图像压缩方法，该方法处理具有不同策略的不同类型的图像内容。广泛的实验表明，与最先进的端到端学习的图像压缩方法或经典方法相比，所提出的方法可实现竞争性的主观结果。

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

点云压缩（PCC）是各种3-D应用程序的关键推动器，这是由于点云格式的通用性。理想情况下，3D点云努力描绘了连续的对象/场景表面。实际上，作为一组离散样本，点云是局部断开连接并稀疏分布的。这种稀疏的性质阻碍了在压缩点之间发现局部相关性的发现。通过分形维度的分析，我们提出了一种异质方法，并深入学习有损耗的点云几何压缩。在压缩输入的粗表示的基础层的顶部上，增强层的设计旨在应对具有挑战性的几何残差/详细信息。具体而言，应用基于点的网络将不稳定的本地详细信息转换为位于粗点云上的潜在特征。然后启动了在粗点云上运行的稀疏卷积神经网络。它利用粗糙几何形状的连续性/平滑度来压缩潜在特征，作为增强的位流，极大地使重建质量受益。当此位流不可用时，例如，由于数据包丢失，我们支持具有相同体系结构的跳过模式，该模式直接从粗点云中生成几何细节。对密度和稀疏点云的实验证明了我们的提案实现的最新压缩性能。我们的代码可在https://github.com/interdigitalinc/grasp-net上找到。