学习的图像压缩允许达到最新的准确性和压缩比，但是它们相对较慢的运行时性能限制了其使用情况。尽管以前的尝试优化学习的图像编解码器的尝试更多地集中在神经模型和熵编码上，但我们提出了一种改善各种学习图像压缩模型的运行时性能的替代方法。我们介绍了多线程管道和优化的内存模型，以完全利用计算资源来启用GPU和CPU工作负载异步执行。仅我们的架构就已经产生了出色的性能，而没有改变神经模型本身。我们还证明，将架构与以前的调整结合到神经模型可以进一步提高运行时性能。我们表明，与基线相比，我们的实现在吞吐量和延迟中表现出色，并通过创建实时视频流编码器示例应用程序来证明我们的实现的性能，并在嵌入式设备上运行编码器。

与传统方法相比，学到的图像压缩已在PSNR和MS-SSIM中取得了非凡的速率延伸性能。但是，它遭受了密集的计算，这对于现实世界的应用是无法忍受的，目前导致其工业应用有限。在本文中，我们将神经体系结构搜索（NAS）介绍到具有较低延迟的更有效网络，并利用量化以加速推理过程。同时，已经为提高效率而做出了工程努力。使用PSNR和MS-SSIM的混合损失以更好的视觉质量进行了优化，我们获得的MSSIM比JPEG，JPEG XL和AVIF在所有比特率上都高得多，而JPEG XL和AVIF之间的PSNR则获得了PSNR。与JPEG-Turbo相比，我们的LIC的软件实施实现了可比较甚至更快的推理速度，而多次比JPEG XL和AVIF快。此外，我们的LIC实施达到了145 fps的惊人吞吐量，用于编码为208 fps，用于在Tesla T4 GPU上解码1080p图像。在CPU上，我们实施的延迟与JPEG XL相当。

各种图形渲染和处理操作需要深度图。当在分布式系统中执行此类操作时，经常需要深度图流量流，并且在大多数情况下需要快速执行压缩，这就是为什么经常使用视频编解码器的原因。标准视频编解码器的硬件实现甚至可以在资源约束的设备上实现相对较高的分辨率和帧率组合，但是不幸的是，这些实现当前不支持RGB+深度扩展。但是，它们可以通过将深度图填充到RGB或YUV框架中来用于深度压缩。我们使用深度图包装的组合研究深度图压缩，然后使用标准视频编解码器进行编码。我们表明，深度图被包装的精度对由包装方案的组合和限制性压缩造成的误差产生了巨大而无处不在的影响。因此，我们提出了一个由神经网络模型辅助的可变精度包装方案，该模型可以预测给定比特率约束的每个深度图的最佳精度。我们证明该模型的产生几乎最佳的预测，并且可以将其集成到具有现代硬件的高架开销的游戏引擎中。

由于深层网络的计算复杂性和功率约束的移动硬件的计算复杂性，因此在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们通过利用高通公司的技术和创新来证明可行性，从而弥合了从基于神经网络的编解码器模拟在壁式工作站运行的差距，再到由Snapdragon技术供电的移动设备上的实时操作。我们显示有史以来第一个在商用手机上运行的框架间神经视频解码器，实时解码高清视频，同时保持低比特率和高视觉质量。

本文介绍了有关如何架构，设计和优化深神经网络（DNN）的最新概述，以提高性能并保留准确性。该论文涵盖了一组跨越整个机器学习处理管道的优化。我们介绍两种类型的优化。第一个改变了DNN模型，需要重新训练，而第二个则不训练。我们专注于GPU优化，但我们认为提供的技术可以与其他AI推理平台一起使用。为了展示DNN模型优化，我们在流行的Edge AI推理平台（Nvidia Jetson Agx Xavier）上改善了光流的最先进的深层网络体系结构之一，RAFT ARXIV：2003.12039。

隐肌和数字水印是隐藏图像像素中可回收数据的任务。基于深神经网络（DNN）的图像隐肌和水印技术正在迅速取代传统的手工工程管道。基于DNN的水印技术已大大提高了嵌入式水印的消息能力，不可识别性和鲁棒性。但是，这种改进是以水印编码器神经网络的计算开销增加为代价的。在这项工作中，我们设计了第一个加速器平台FastStamp，用于执行基于DNN的密封造影和硬件图像的数字水印。我们首先提出了一个参数有效的DNN模型，用于嵌入图像像素中的可回收位串。我们提出的模型可以与先前最新DNN的水印方法的成功指标相匹配，同时在记忆足迹方面的速度明显更快，更轻。然后，我们设计了一个基于FPGA的加速器框架，以通过利用数据并行性和自定义计算路径来进一步改善模型吞吐量和功耗。 FastStamp允许将硬件签名嵌入图像中，以建立媒体真实性和数字媒体的所有权。与先前基于DNN的水印编码器实施同时消耗更少的功率的GPU实现相比，我们的最佳设计的推断速度更快68倍。

深度神经网络（DNN）的训练过程通常是用阶段进行管道的，用于在CPU上进行数据制备，然后对GPU等加速器进行梯度计算。在理想的管道中，端到端训练吞吐量最终受到加速器的吞吐量的限制，而不是数据准备。过去，DNN训练管道通过使用使用轻巧，有损的图像格式（如JPEG）编码的数据集实现了近乎最佳的吞吐量。但是，随着高分辨率，无损编码的数据集变得越来越流行，对于需要高精度的应用程序，由于CPU上的低通量图像解码，在数据准备阶段出现了性能问题。因此，我们提出了L3，这是一种用于高分辨率，高通量DNN训练的定制轻巧，无损的图像格式。 L3的解码过程在加速器上有效平行，从而最大程度地减少了在DNN培训期间进行数据制备的CPU干预。 L3比最流行的无损图像格式PNG获得了9.29倍的数据准备吞吐量，用于NVIDIA A100 GPU上的CityScapes数据集，该数据集可导致1.71倍更高的端到端训练吞吐量。与JPEG和WebP相比，两种流行的有损图像格式，L3分别以同等的度量性能为Imagenet提供高达1.77倍和2.87倍的端到端训练吞吐量。

Recently, many neural network-based image compression methods have shown promising results superior to the existing tool-based conventional codecs. However, most of them are often trained as separate models for different target bit rates, thus increasing the model complexity. Therefore, several studies have been conducted for learned compression that supports variable rates with single models, but they require additional network modules, layers, or inputs that often lead to complexity overhead, or do not provide sufficient coding efficiency. In this paper, we firstly propose a selective compression method that partially encodes the latent representations in a fully generalized manner for deep learning-based variable-rate image compression. The proposed method adaptively determines essential representation elements for compression of different target quality levels. For this, we first generate a 3D importance map as the nature of input content to represent the underlying importance of the representation elements. The 3D importance map is then adjusted for different target quality levels using importance adjustment curves. The adjusted 3D importance map is finally converted into a 3D binary mask to determine the essential representation elements for compression. The proposed method can be easily integrated with the existing compression models with a negligible amount of overhead increase. Our method can also enable continuously variable-rate compression via simple interpolation of the importance adjustment curves among different quality levels. The extensive experimental results show that the proposed method can achieve comparable compression efficiency as those of the separately trained reference compression models and can reduce decoding time owing to the selective compression. The sample codes are publicly available at https://github.com/JooyoungLeeETRI/SCR.

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

最近，使用卷积神经网络（CNNS）存在移动和嵌入式应用的爆炸性增长。为了减轻其过度的计算需求，开发人员传统上揭示了云卸载，突出了高基础设施成本以及对网络条件的强烈依赖。另一方面，强大的SOC的出现逐渐启用设备执行。尽管如此，低端和中层平台仍然努力充分运行最先进的CNN。在本文中，我们展示了Dyno，一种分布式推断框架，将两全其人的最佳框架结合起来解决了几个挑战，例如设备异质性，不同的带宽和多目标要求。启用这是其新的CNN特定数据包装方法，其在onloading计算时利用CNN的不同部分的精度需求的可变性以及其新颖的调度器，该调度器共同调谐分区点并在运行时传输数据精度适应其执行环境的推理。定量评估表明，Dyno优于当前最先进的，通过竞争对手的CNN卸载系统，在竞争对手的CNN卸载系统上提高吞吐量超过一个数量级，最高可达60倍的数据。

The ubiquity of camera-embedded devices and the advances in deep learning have stimulated various intelligent mobile video applications. These applications often demand on-device processing of video streams to deliver real-time, high-quality services for privacy and robustness concerns. However, the performance of these applications is constrained by the raw video streams, which tend to be taken with small-aperture cameras of ubiquitous mobile platforms in dim light. Despite extensive low-light video enhancement solutions, they are unfit for deployment to mobile devices due to their complex models and and ignorance of system dynamics like energy budgets. In this paper, we propose AdaEnlight, an energy-aware low-light video stream enhancement system on mobile devices. It achieves real-time video enhancement with competitive visual quality while allowing runtime behavior adaptation to the platform-imposed dynamic energy budgets. We report extensive experiments on diverse datasets, scenarios, and platforms and demonstrate the superiority of AdaEnlight compared with state-of-the-art low-light image and video enhancement solutions.

传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计，模式和量化参数选择的步骤和熵编码是单独优化的。学习VC允许同时对端到端速率失真（R-D）优化非线性变换，运动和熵模型的优化训练。大多数工作都在学习VC基于R-D损耗对连续帧的对考虑连续视频编解码器的端到端优化。它在传统的VC中众所周知的是，双向编码优于顺序压缩，因为它能够使用过去和未来的参考帧。本文提出了一种学习的分层双向视频编解码器（LHBDC），其结合了分层运动补偿预测和端到端优化的益处。实验结果表明，我们达到了迄今为​​止在PSNR和MS-SSIM中的学习VC方案报告的最佳R-D结果。与传统的视频编解码器相比，我们的端到端优化编解码器的RD性能优于PSNR和MS-SSIM中的X265和SVT-HEVC编码器（“非常流”预设）以及MS-中的HM 16.23参考软件。 SSIM。我们提出了由于所提出的新颖工具，例如学习屏蔽，流场附带和时间流量矢量预测等新颖工具，展示了表现出性能提升。重现我们结果的模型和说明可以在https://github.com/makinyilmaz/lhbdc/中找到

学习的图像压缩技术近年来取得了相当大的发展。在本文中，我们发现性能瓶颈位于使用单个高度解码器，在这种情况下，三元高斯模型折叠到二进制文件。为了解决这个问题，我们建议使用三个高度解码器来分离混合参数的解码过程，以分散的高斯混合似然性，实现更准确的参数估计。实验结果表明，与最先进的方法相比，MS-SSSIM优化的所提出的方法实现了3.36％的BD速率。所提出的方法对编码时间和拖鞋的贡献可以忽略不计。

大型变压器模型在各种自然语言处理（NLP）任务上显示出令人鼓舞的性能。尽管AI社区已将模型量表扩展到了万亿个参数级别，但由于延迟，吞吐量和内存约束，仍不确定100亿参数模型的实际部署。在本文中，我们提出了Energonai，以解决单个或多GPU系统上有效部署1000亿参数变压器模型的挑战。 Energonai采用层次结构控制器系统体系结构来协调多个设备并有效支持不同的并行模式。它将子模型的执行委托给单个控制器样式的多个工人，并以多控制器样式的工人之间的工人之间的张量并行性和管道并行性。在新的架构上，我们提出了三种技术，即非阻滞管道并行性，分布式冗余计算消除和同行记忆池。 Energonai使用户能够编程复杂的并行代码与串行编码相同。与FertransFormer相比，我们已经证明，Energonai在延迟和吞吐量方面具有较高的性能。在我们的实验中，Energonai可以在张量并行性，管道并行性的10％可伸缩性中实现37％的潜伏期降低，并通过使用较大的异质记忆空间以有限的性能降低的成本来提高对单个GPU推断的模型量表。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

本文介绍了专门针对软件定义无线电（SDR）的新域特异性嵌入式语言（DSEL）。从一组精心设计的组件中，它可以构建有效的软件数字通信系统，能够以简单明了的方式利用现代处理器体系结构的并行性。特别是，提出的DSEL使管道和序列重复技术的组合能够从数字通信系统中提取时间和空间并行性。我们利用了真实用例上的DSEL功能：用于完全在软件中设计的广泛使用的DVB-S2标准的完全数字收发器。通过评估，我们展示了建议的软件DVB-S2收发器如何从现代高端多核CPU目标中获得最大的收益。

In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.

尽管关键任务应用需要使用深神经网络（DNN），但它们在移动设备的连续执行导致能耗的显着增加。虽然边缘卸载可以降低能量消耗，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致系统的关键操作严重中断。一种被称为分割计算的替代方法，在模型中生成压缩表示（称为“瓶颈”），以降低带宽使用和能量消耗。事先工作已经提出了引入额外层的方法，以损害能耗和潜伏期。因此，我们提出了一个名为BoleFit的新框架，除了有针对性的DNN架构修改之外，还包括一种新颖的培训策略，即使具有强大的压缩速率，即使具有强大的压缩速率也能实现高精度。我们在图像分类中施加瓶装装饰品，并显示瓶装装备在想象中数据集中实现了77.1％的数据压缩，高达0.6％的精度损耗，而诸如Spinn的最佳精度高达6％。我们通过实验测量在NVIDIA Jetson Nano板（基于GPU）和覆盆子PI板上运行的图像分类应用的功耗和等待时间（GPU - 更低）。我们表明，对于（W.R.T.）本地计算分别降低了高达49％和89％的功耗和延迟，局部计算和37％和55％W.r.t.t.边缘卸载。我们还比较了具有基于最先进的自动化器的方法的瓶装方法，并显示了（i）瓶子分别将功耗和执行时间降低了高达54％和44％，覆盆子上的40％和62％ pi; （ii）在移动设备上执行的头部模型的大小为83倍。代码存储库将被公布以获得结果的完全可重复性。

可扩展的编码，可以适应通道带宽变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：降低压缩性能和可扩展性不足。在本文中，我们提出了第一所学习的细粒度可扩展图像压缩模型（DeepFGS）来克服上述两个缺点。具体地，我们介绍一个特征分离骨干，将图像信息划分为基本和可伸缩的功能，然后通过信息重新排列策略通过通道重新分配特征通道。以这种方式，我们可以通过一次通过编码来生成连续可扩展的比特流。此外，我们重复使用解码器以降低DeepFGS的参数和计算复杂性。实验表明，我们的DeePFGS优于PSNR和MS-SSIM度量中的所有基于学习的可伸缩图像压缩模型和传统可伸缩图像编解码器。据我们所知，我们的DeePFGS是对学习的细粒度可扩展编码的首次探索，与基于学习的方法相比，实现了最优质的可扩展性。

深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算，存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求，我们引入了Deeplite Neutrino，以便对模型的生产优化和Deeplite运行时进行介绍，以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核，可在32位和64位基于ARM的设备上进行部署。通过使用矢量化，并行化和平铺的有效实现，与具有XNNPACK后端的TensorFlow Lite相比，我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比，我们还获得了高达5倍和3.2倍的显着加速，分别用于分类和检测模型。