在复杂的问题上，可以使用非常大规模的模型来实现深神网络（DNN）的最佳预测准确性，包括数十亿个参数。这样的模型只能在专用服务器上运行，该服务器通常由第三方服务提供，这会导致每个预测的巨额货币成本。我们为客户端应用程序提出了一种新的软件体系结构，该软件架构与远程大规模型号一起使用，旨在以可忽略的货币成本在本地进行简单的预测，同时仍然利用大型模型的好处来挑战性投入。。在概念证明中，我们将预测成本降低了多达50％，而不会对系统的准确性产生负面影响。

Deep Neural Networks (DNN) are increasingly used as components of larger software systems that need to process complex data, such as images, written texts, audio/video signals. DNN predictions cannot be assumed to be always correct for several reasons, among which the huge input space that is dealt with, the ambiguity of some inputs data, as well as the intrinsic properties of learning algorithms, which can provide only statistical warranties. Hence, developers have to cope with some residual error probability. An architectural pattern commonly adopted to manage failure-prone components is the supervisor, an additional component that can estimate the reliability of the predictions made by untrusted (e.g., DNN) components and can activate an automated healing procedure when these are likely to fail, ensuring that the Deep Learning based System (DLS) does not cause damages, despite its main functionality being suspended. In this paper, we consider DLS that implement a supervisor by means of uncertainty estimation. After overviewing the main approaches to uncertainty estimation and discussing their pros and cons, we motivate the need for a specific empirical assessment method that can deal with the experimental setting in which supervisors are used, where the accuracy of the DNN matters only as long as the supervisor lets the DLS continue to operate. Then we present a large empirical study conducted to compare the alternative approaches to uncertainty estimation. We distilled a set of guidelines for developers that are useful to incorporate a supervisor based on uncertainty monitoring into a DLS.

深度学习（DL）模型的功能可以通过模型提取被盗，其中攻击者通过利用原始模型的预测API来获得替代模型。在这项工作中，我们提出了一种称为Dynamarks的新型水印技术，以保护DL模型的知识产权（IP）免受黑箱设置中的模型提取攻击。与现有方法不同，Dynamarks不会改变原始模型的训练过程，而是通过基于推理运行时的某些秘密参数从原始模型预测API中动态更改输出响应来将水印嵌入替代模型中。时尚MNIST，CIFAR-10和Imagenet数据集的实验结果证明了Dynamarks方案对水印替代模型的功效，同时保留了部署在边缘设备中的原始模型的准确性。此外，我们还执行实验，以评估Dynamarks对各种水印策略的鲁棒性，从而使DL模型所有者可以可靠地证明模型所有权。

深度神经网络（DNNS）已成为现代软件系统的关键组成部分，但是在与训练期间观察到的条件不同的条件下，它们很容易失败，或者对真正模棱两可的输入，即。 ，在其地面真实标签中接受多个类别的多个类别的输入。最近的工作提出了DNN主管在可能的错误分类之前检测高确定性输入会导致任何伤害。为了测试和比较DNN主管的能力，研究人员提出了测试生成技术，将测试工作集中在高度确定性输入上，这些输入应被主管识别为异常。但是，现有的测试发电机只能产生分布式输入。没有现有的模型和主管与无关的技术支持真正模棱两可的测试输入。在本文中，我们提出了一种新的方法来生成模棱两可的输入来测试DNN主管，并将其用于比较几种现有的主管技术。特别是，我们建议歧义生成图像分类问题的模棱两可的样本。模棱两可的基于正规化对抗自动编码器的潜在空间中的梯度引导采样。此外，据我们所知，我们进行了最广泛的DNN主管比较研究，考虑到它们可以检测到4种不同类型的高级输入（包括真正模棱两可的）的能力。

机器学习系统的设计通常需要交易不同的目标，例如，深度神经网络（DNN）的预测错误和能耗。通常，没有任何单一的设计在所有目标中都表现良好，因此，找到帕累托最佳的设计令人感兴趣。通常，测量不同的目标会产生不同的成本；例如，测量DNN的预测误差的成本比测量预先训练的DNN的能源消耗的数量级高，因为它需要重新训练DNN。当前的最新方法没有考虑到客观评估成本的这种差异，可能会浪费对目标功能的昂贵评估，从而获得很少的信息增益。在本文中，我们开发了一种新颖的分离成本感知方法，我们称为灵活的多目标贝叶斯优化（Flexibo）来解决此问题。 Flexibo通过每个目标的测量成本来加权帕累托区的超量。这有助于我们平衡收集新信息与通过客观评估获得的知识的费用，从而阻止我们几乎没有收益进行昂贵的测量。我们在七个最先进的DNN上评估了图像识别，自然语言处理（NLP）和语音到文本翻译的Flexibo。我们的结果表明，鉴于相同的总实验预算，Flexibo发现的设计比下一个最佳最佳多目标优化方法低4.8％至12.4％，具体取决于特定的DNN体系结构。

深度学习（DL）模型在许多应用领域中取得了卓越的性能，包括愿景，语言，医疗，商业广告，娱乐等。随着快速的发展，DL应用和潜在的服务硬件都表现出强大的缩放趋势，即例如，模型缩放和计算缩放，例如，最近的预先训练模型，具有数百亿次参数，具有〜TB级存储器消耗，以及提供数百个TFLOPS的最新GPU加速器。在扩大趋势，新的问题和挑战中出现了DL推理服务系统，这逐渐朝着大型深度学习服务系统（LDS）趋势。该调查旨在总结和分类大规模深度学习服务系统的新兴挑战和优化机会。通过提供新的分类法，总结计算范例，并详细说明最近的技术进步，我们希望这项调查能够在新的优化视角下阐明，并激励小说在大型深度学习系统优化中的作品。

本文介绍了AppeAlnet，一种新颖的边缘/云协同架构，其比最先进的解决方案更有效地运行深度学习（DL）任务。对于给定的输入，AppeAlnet无论是否可以通过部署在资源受限的边缘设备上的DL模型都可以成功地预测，如果没有，则吸引到云处部署的更强大的DL模型。这是通过采用双头神经网络架构来实现的，该架构明确地考虑了推论难度，并优化了边缘/云协同架构的准确性和计算/通信成本之间的权衡。与现有技术相比，若干图像分类数据集的实验结果显示出高达40％的能量节省，而不会牺牲精度。

从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。

深神经网络（DNN）已成为许多应用程序域（包括基于Web的服务）的重要组成部分。这些服务需要高吞吐量和（接近）实时功能，例如，对用户的请求做出反应或反应，或者按时处理传入数据流。但是，DNN设计的趋势是朝着具有许多层和参数的较大模型，以实现更准确的结果。尽管这些模型通常是预先训练的，但是在如此大的模型中，计算复杂性仍然相对显着，从而阻碍了低推断潜伏期。实施缓存机制是用于加速服务响应时间的典型系统工程解决方案。但是，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端自动化解决方案，以根据其计算复杂性和推理延迟来提高基于DNN的服务的性能。我们的缓存方法采用了DNN模型和早期出口的自我介绍的思想。提出的解决方案是一种自动化的在线层缓存机制，如果提前出口之一中的高速缓存模型足够有信心，则可以在推理时间提早退出大型模型。本文的主要贡献之一是，我们将该想法实施为在线缓存，这意味着缓存模型不需要访问培训数据，并且仅根据运行时的传入数据执行，使其适用于应用程序使用预训练的模型。我们的实验在两个下游任务（面部和对象分类）上结果表明，平均而言，缓存可以将这些服务的计算复杂性降低到58 \％（就FLOPS计数而言），并将其推断潜伏期提高到46 \％精度低至零至零。

具有更多数据，计算和参数的缩放语言模型在自然语言处理方面取得了重大进展。例如，由于缩放，GPT-3能够在内心学习任务上实现强烈结果。但是，培训这些大密度模型需要大量的计算资源。在本文中，我们提出并开发了名为Glam（通用语言模型）的语言模型系列，它使用稀疏激活的专家架构来规模模型容量，同时与致密变体相比，也产生显着更少的训练成本。最大的Glam具有1.2万亿参数，比GPT-3大约为7倍。它仅消耗了用于训练GPT-3的1/3的能量，并且需要一半的计算拖鞋进行推理，同时仍然在29个NLP任务中实现更好的整体零射击和一次性性能。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

随着人工智能（AI）的积极发展，基于深神经网络（DNN）的智能应用会改变人们的生活方式和生产效率。但是，从网络边缘生成的大量计算和数据成为主要的瓶颈，传统的基于云的计算模式无法满足实时处理任务的要求。为了解决上述问题，通过将AI模型训练和推理功能嵌入网络边缘，Edge Intelligence（EI）成为AI领域的尖端方向。此外，云，边缘和终端设备之间的协作DNN推断提供了一种有希望的方法来增强EI。然而，目前，以EI为导向的协作DNN推断仍处于早期阶段，缺乏对现有研究工作的系统分类和讨论。因此，我们已经对有关以EI为导向的协作DNN推断的最新研究进行了全面调查。在本文中，我们首先回顾了EI的背景和动机。然后，我们为EI分类了四个典型的DNN推理范例，并分析其特征和关键技术。最后，我们总结了协作DNN推断的当前挑战，讨论未来的发展趋势并提供未来的研究方向。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

专家层（MOES）的混合物通过条件计算实现语言模型的高效缩放。本文提出了一个详细的实证研究，自回归鞋语言模型与广泛的设置中的密集模型相比：在域外语言建模，零和少量射击和全部微调。除了微调外，我们发现Moes基本上更加计算效率。在更适度的培训预算下，MOES可以使用$ \ SIM值4倍的计算，符合密集模型的性能。该差距在比例下变窄，但我们最大的MOE模型（1.1T参数）始终如一地优于计算等效的密集模型（6.7b参数）。总体而言，这种表现差距在任务和域中有很大差异，表明MOE和密集模型以不值得研究的方式概括不同的方式。我们使我们的代码和模型公开可用于研究使用。

当前，大型预训练模型被广泛应用于神经代码完成系统，例如GitHub Copilot，AixCoder和Tabnine。尽管大型模型的表现大大优于较小的同行，但与2,631名参与者的调查显示，开发人员未接受大约70 \％的copilot的代码完成。被审查但不接受，这些完成对生产力构成了威胁。此外，考虑到大型模型的高成本，它是计算资源和能源的巨大浪费，这严重违背了AI技术的可持续发展原则。此外，在代码完成系统中，完成请求会自动并积极地发给模型，因为开发人员类型输出，这大大加剧了工作负载。但是，据我们所知，在神经法规完成的背景下，从未实现过这种废物，更不用说有效地解决了。因此，迫切需要防止以成本友好的方式进行这种无利可图的代码完成。为了填补这一空白，我们首先研究这些完成的提示，并找到四个可观察到的及时模式，这些模式证明了根据提示本身识别此类提示的可行性。在这一发现的激励下，我们提出了一种早期的拒绝机制，以预言完成质量而不将其发送给LCM，以拒绝低返回的提示。此外，我们提出了一个基于轻量变压器的估计器，以证明该机制的可行性。实验结果表明，估算器以83.2％的有希望的准确性拒绝低退还提示。

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

最近，已经提出了使用代理模型的智能调度方法，以便在异构雾环境中有效地分配易失性任务。确定性代理模型，深神经网络（DNN）和基于梯度的优化等进步允许达到低能量消耗和响应时间。然而，确定估计优化的客观值的确定性代理模型，不考虑可以导致高服务级别协议（SLA）违规率的服务质量（QoS）目标函数的不确定性。此外，DNN训练的脆性性质，防止这些模型达到最小的能量或响应时间。为了克服这些困难，我们提出了一种新的调度程序：GOSH I.E.使用二阶衍生物和异源塑料深层代理模型的梯度优化。 GOSH使用二阶梯度基于基于梯度的优化方法来获得更好的QoS并减少迭代的次数，以收敛到调度决定，随后降低调度时间。 GOSH而不是Vanilla DNN，使用自然参数网络来近似客观分数。此外，较低的置信度优化方法可以通过采用基于误差的探索来在贪婪最小化和不确定性降低之间找到最佳权衡。因此，GOSH及其共模的扩展GOSH *可以快速调整并达到比基线方法更好的客观评分。我们表明GOSH *达到比GOSH更好的客观分数，但它仅适用于高资源可用性设置，而GOSH则适用于有限的资源设置。 GOSH和GOSH的真实系统实验*在能源消耗，响应时间和SLA分别违反最多18,27和82％的情况下，对最先进的技术进行了显着改善。

Multi-Exit models (MEMs) use an early-exit strategy to improve the accuracy and efficiency of deep neural networks (DNNs) by allowing samples to exit the network before the last layer. However, the effectiveness of MEMs in the presence of distribution shifts remains largely unexplored. Our work examines how distribution shifts generated by common image corruptions affect the accuracy/efficiency of MEMs. We find that under common corruptions, early-exiting at the first correct exit reduces the inference cost and provides a significant boost in accuracy ( 10%) over exiting at the last layer. However, with realistic early-exit strategies, which do not assume knowledge about the correct exits, MEMs still reduce inference cost but provide a marginal improvement in accuracy (1%) compared to exiting at the last layer. Moreover, the presence of distribution shift widens the gap between an MEM's maximum classification accuracy and realistic early-exit strategies by 5% on average compared with the gap on in-distribution data. Our empirical analysis shows that the lack of calibration due to a distribution shift increases the susceptibility of such early-exit strategies to exit early and increases misclassification rates. Furthermore, the lack of calibration increases the inconsistency in the predictions of the model across exits, leading to both inefficient inference and more misclassifications compared with evaluation on in-distribution data. Finally, we propose two metrics, underthinking and overthinking, that quantify the different behavior of practical early-exit strategy under distribution shifts, and provide insights into improving the practical utility of MEMs.