保留保护解决方案使公司能够在履行政府法规的同时将机密数据卸载到第三方服务。为了实现这一点，它们利用了各种密码技术，例如同性恋加密（HE），其允许对加密数据执行计算。大多数他计划以SIMD方式工作，数据包装方法可以显着影响运行时间和内存成本。找到导致最佳性能实现的包装方法是一个艰难的任务。我们提出了一种简单而直观的框架，摘要为用户提供包装决定。我们解释其底层数据结构和优化器，并提出了一种用于执行2D卷积操作的新算法。我们使用此框架来实现他友好的AlexNet版本，在三分钟内运行，比其他最先进的解决方案更快的数量级，只能使用他。

保存隐私的神经网络（NN）推理解决方案最近在几种提供不同的延迟带宽权衡的解决方案方面获得了重大吸引力。其中，许多人依靠同态加密（HE），这是一种对加密数据进行计算的方法。但是，与他们的明文对应物相比，他的操作即使是最先进的计划仍然很慢。修剪NN模型的参数是改善推理潜伏期的众所周知的方法。但是，在明文上下文中有用的修剪方法可能对HE案的改善几乎可以忽略不计，这在最近的工作中也证明了这一点。在这项工作中，我们提出了一套新颖的修剪方法，以减少潜伏期和记忆要求，从而将明文修剪方法的有效性带到HE中。至关重要的是，我们的建议采用两种关键技术，即。堆积模型权重的置换和扩展，使修剪能够明显更多的密封性下文并分别恢复大部分精度损失。我们证明了我们的方法在完全连接的层上的优势，其中使用最近提出的称为瓷砖张量的包装技术填充了权重，该技术允许在非相互作用模式下执行Deep NN推断。我们在各种自动编码器架构上评估了我们的方法，并证明，对于MNIST上的小均值重建损失为1.5*10^{ - 5}，我们将HE-SEAMABLE推断的内存要求和延迟减少了60％。

神经网络的外包计算允许用户访问艺术模型的状态，而无需投资专门的硬件和专业知识。问题是用户对潜在的隐私敏感数据失去控制。通过同性恋加密（HE）可以在加密数据上执行计算，而不会显示其内容。在这种知识的系统化中，我们深入了解与隐私保留的神经网络相结合的方法。我们将更改分类为神经网络模型和架构，使其在他和这些变化的影响方面提供影响。我们发现众多挑战是基于隐私保留的深度学习，例如通过加密方案构成的计算开销，可用性和限制。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。

最近，基于云的图形卷积网络（GCN）在许多对隐私敏感的应用程序（例如个人医疗保健和金融系统）中表现出了巨大的成功和潜力。尽管在云上具有很高的推理准确性和性能，但在GCN推理中保持数据隐私，这对于这些实际应用至关重要，但仍未得到探索。在本文中，我们对此进行了初步尝试，并开发了$ \ textit {cryptogcn} $ - 基于GCN推理框架的同型加密（HE）。我们方法成功的关键是减少HE操作的巨大计算开销，这可能比明文空间中的同行高的数量级。为此，我们开发了一种方法，可以有效利用GCN推断中基质操作的稀疏性，从而大大减少计算开销。具体而言，我们提出了一种新型的AMA数据格式方法和相关的空间卷积方法，该方法可以利用复杂的图结构并在HE计算中执行有效的矩阵矩阵乘法，从而大大减少HE操作。我们还开发了一个合作式框架，该框架可以通过明智的修剪和GCN中激活模块的多项式近似来探索准确性，安全级别和计算开销之间的交易折扣。基于NTU-Xview骨架关节数据集，即，据我们所知，最大的数据集对同型的评估，我们的实验结果表明，$ \ textit {cryptogcn} $均优胜于最先进的解决方案。同构操作的延迟和数量，即在延迟上达到3.10 $ \ times $加速，并将总代态操作数量减少77.4 \％，而准确度的较小精度损失为1-1.5 $ \％$。

同态加密（HE），允许对加密数据（Ciphertext）进行计算，而无需首先解密，因此可以实现对云中隐私性的应用程序的安全性缓慢的卷积神经网络（CNN）推断。为了减少推理潜伏期，一种方法是将多个消息打包到单个密文中，以减少密文的数量并支持同型多态多重蓄能（HMA）操作的大量并行性。尽管HECNN的推断速度更快，但主流包装方案密集的包装（密度）和卷积包装（Convpack）仍将昂贵的旋转开销引入了昂贵的旋转开销，这延长了HECNN的推断潜伏期，以实现更深和更广泛的CNN体​​系结构。在本文中，我们提出了一种名为FFCONV的低级分解方法，该方法专门用于有效的密文填料，用于减少旋转台面和HMA操作。 FFCONV近似于低级分解卷积的A D X D卷积层，其中D X D低率卷积具有较少的通道，然后是1 x 1卷积以恢复通道。 D X D低级别卷积带有密度，导致旋转操作显着降低，而1 x 1卷积的旋转开销接近零。据我们所知，FFCONV是能够同时减少densepack和Convpack产生的旋转头顶的第一项工作，而无需将其他特殊块引入HECNN推理管道。与先前的Art Lola和Falcon相比，我们的方法分别将推理潜伏期降低了88％和21％，其精度在MNIST和CIFAR-10上具有可比的精度。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

使用深度学习模型对敏感用户数据的处理是一个获得最近吸引力的领域。现有工作利用了同构加密（HE）方案来启用加密数据的计算。早期工作是加密货币，需要250秒才能进行一项MNIST推断。这种方法的主要局限性是在He-compypted Ciphertext上执行操作所需的类似FFT的操作。其他人建议使用模型修剪和有效的数据表示来减少所需的操作数量。我们专注于通过提出对CNN推断期间中间张量的表示的更改来改善现有工作。我们在MNIST和CIFAR-10数据集上构建和评估私有CNN，并在用于推广架构的推断的操作数量上减少了两倍。

一般矩阵乘法或GEMM内核在高性能计算和机器学习中占据中心位置。最近的NVIDIA GPU包括Gemm加速器，如Nvidia的张量核心。他们的剥削受到双语言问题的阻碍：它需要低级编程，这意味着低程序员的工作效率或使用只提供有限组件集的库。由于建立的组件方面的REPRASING算法经常引入开销，因此图书馆缺乏灵活性限制了探索新算法的自由。因此，使用GEMMS的研究人员无法立即享受编程生产力，高性能和研究灵活性。在本文中，我们解决了这个问题。我们在科学朱莉娅编程语言中展示了三组抽象和接口来编程宝石。界面和抽象共同设计用于研究人员的需求和朱莉娅的特征，以实现足够的担忧和灵活性的充分分离，以便在不支付性能价格的情况下轻松地扩展基本宝石。将我们的Gemms与最先进的图书馆Cublas和Cutlass进行比较，我们证明我们的性能在图书馆的相同球场中，并且在某些情况下甚至超过它，而无需在CUDA C ++中编写单行代码或者组装，而不面临灵活限制。

Machine learning is widely used in practice to produce predictive models for applications such as image processing, speech and text recognition. These models are more accurate when trained on large amount of data collected from different sources. However, the massive data collection raises privacy concerns.In this paper, we present new and efficient protocols for privacy preserving machine learning for linear regression, logistic regression and neural network training using the stochastic gradient descent method. Our protocols fall in the two-server model where data owners distribute their private data among two non-colluding servers who train various models on the joint data using secure two-party computation (2PC). We develop new techniques to support secure arithmetic operations on shared decimal numbers, and propose MPC-friendly alternatives to non-linear functions such as sigmoid and softmax that are superior to prior work. We implement our system in C++. Our experiments validate that our protocols are several orders of magnitude faster than the state of the art implementations for privacy preserving linear and logistic regressions, and scale to millions of data samples with thousands of features. We also implement the first privacy preserving system for training neural networks.

安全的多方计算（MPC）允许当事方在数据私有的同时对数据进行计算。该功能具有机器学习应用程序的巨大潜力：它促进了对不同政党拥有的私人数据集的机器学习模型的培训，使用另一方的私人数据评估一方的私人模型等。尽管一系列研究实现了机器 - 通过安全MPC学习模型，此类实现尚未成为主流。没有灵活的软件框架“说话”机器学习研究人员和工程师的灵活软件框架的缺乏阻碍了安全MPC的采用。为了促进机器学习中安全MPC的采用，我们提出了Crypten：一个软件框架，该框架通过在现代机器学习框架中常见的抽象来揭示流行的安全MPC原语，例如张量计算，自动分化和模块化神经网络。本文描述了隐秘的设计，并在最新的文本分类，语音识别和图像分类的模型上衡量其性能。我们的基准表明，Crypten的GPU支持和（任意数量）各方之间的高性能通信使其能够在半honest威胁模型下对现代机器学习模型进行有效的私人评估。例如，使用密码的两方可以使用WAV2letter在语音记录中安全预测音素的速度比实时更快。我们希望Crypten能促使在机器学习社区中采用安全MPC。

原则上，稀疏的神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏活跃。当组合时，这两种类型的稀疏性，称为重量稀疏性和激活稀疏性，提出了通过两个数量级来降低神经网络的计算成本。尽管存在这种潜力，但今天的神经网络只使用重量稀疏提供适度的性能益处，因为传统的计算硬件无法有效地处理稀疏网络。在本文中，我们引入了互补稀疏性，这是一种显着提高现有硬件对双稀疏网络性能的新技术。我们证明我们可以实现高性能运行的重量稀疏网络，我们可以通过结合激活稀疏性来乘以这些加速。采用互补稀疏性，我们显示出对FPGA的推断的吞吐量和能效提高了100倍。我们分析了典型的商业卷积网络等各种内核的可扩展性和资源权衡，例如Resnet-50和MobileNetv2。我们的互补稀疏性的结果表明，重量加激活稀疏性可以是有效的缩放未来AI模型的有效组合。

当今的大多数计算机视觉管道都是围绕深神经网络构建的，卷积操作需要大部分一般的计算工作。与标准算法相比，Winograd卷积算法以更少的MAC计算卷积，当使用具有2x2尺寸瓷砖$ F_2 $的版本时，3x3卷积的操作计数为2.25倍。即使收益很大，Winograd算法具有较大的瓷砖尺寸，即$ f_4 $，在提高吞吐量和能源效率方面具有更大的潜力，因为它将所需的MAC降低了4倍。不幸的是，具有较大瓷砖尺寸的Winograd算法引入了数值问题，这些问题阻止了其在整数域特异性加速器上的使用和更高的计算开销，以在空间和Winograd域之间转换输入和输出数据。为了解锁Winograd $ F_4 $的全部潜力，我们提出了一种新颖的Tap-Wise量化方法，该方法克服了使用较大瓷砖的数值问题，从而实现了仅整数的推断。此外，我们介绍了以功率和区域效率的方式处理Winograd转换的自定义硬件单元，并展示了如何将此类自定义模块集成到工业级，可编程的DSA中。对大量最先进的计算机视觉基准进行了广泛的实验评估表明，Tap-Wise量化算法使量化的Winograd $ F_4 $网络几乎与FP32基线一样准确。 Winograd增强的DSA可实现高达1.85倍的能源效率，最高可用于最先进的细分和检测网络的端到端速度高达1.83倍。

多年来，通过广泛研究了与量化的神经网络。遗憾的是，在GPU上的有限精度支持（例如，INT1和INT4）上通常限制具有多样化的精度（例如，1位重量和2位激活）的事先努力。为了打破这种限制，我们介绍了第一个任意精密神经网络框架（APNN-TC），以充分利用对AMPERE GPU张量核心的量化优势。具体地，APNN-TC首先结合了一种新的仿真算法来支持与INT1计算基元和XOR /和BOOLEAN操作的任意短比特宽度计算。其次，APNN-TC集成了任意精密层设计，以有效地将仿真算法映射到带有新型批处理策略和专业内存组织的张量核心。第三，APNN-TC体现了一种新型任意精密NN设计，可最大限度地减少层次的内存访问，并进一步提高性能。广泛的评估表明，APNN-TC可以通过Cutlass内核和各种NN模型实现显着加速，例如Reset和VGG。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

深度神经网络（DNNS）的边缘训练是持续学习的理想目标。但是，这受到训练所需的巨大计算能力的阻碍。硬件近似乘数表明，它们在获得DNN推理加速器中获得资源效率的有效性；但是，使用近似乘数的培训在很大程度上尚未开发。为了通过支持DNN培训的近似乘数来构建有效的资源加速器，需要对不同DNN体系结构和不同近似乘数进行彻底评估。本文介绍了近似值，这是一个开源框架，允许使用模拟近似乘数快速评估DNN训练和推理。近似值与TensorFlow（TF）一样用户友好，仅需要对DNN体系结构的高级描述以及近似乘数的C/C ++功能模型。我们通过使用GPU（AMSIM）上的基于基于LUT的近似浮点（FP）乘数模拟器来提高乘数在乘数级别的模拟速度。近似值利用CUDA并有效地将AMSIM集成到张量库中，以克服商业GPU中的本机硬件近似乘数的缺乏。我们使用近似值来评估使用LENET和RESNETS体系结构的小型和大型数据集（包括Imagenet）的近似乘数的DNN训练的收敛性和准确性。与FP32和BFLOAT16乘数相比，评估表明测试准确性相似的收敛行为和可忽略不计的变化。与训练和推理中基于CPU的近似乘数模拟相比，GPU加速近似值快2500倍以上。基于具有本地硬件乘数的高度优化的闭合源Cudnn/Cublas库，原始张量量仅比近似值快8倍。

高维计算（HDC）是用于数据表示和学习的范式，起源于计算神经科学。HDC将数据表示为高维，低精度向量，可用于学习或召回等各种信息处理任务。高维空间的映射是HDC中的一个基本问题，现有方法在输入数据本身是高维时会遇到可伸缩性问题。在这项工作中，我们探索了一个基于哈希的流媒体编码技术。我们正式表明，这些方法在学习应用程序的性能方面具有可比的保证，同时比现有替代方案更有效。我们在一个流行的高维分类问题上对这些结果进行了实验验证，并表明我们的方法很容易扩展到非常大的数据集。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

收集的数据量不断增长，其分析以提供更好的服务正在引起人们对数字隐私的担忧。为了解决隐私问题并提供实用的解决方案，文献依赖于安全的多方计算。但是，最近的研究主要集中在多达四个政党的小党诚实造成的设置上，并指出了效率的问题。在这项工作中，我们扩展了策略，以在中心舞台上以效率为诚实的多数参与者。在预处理范式中，我们的半冬季协议改善了Damg \ aa Rd和Nielson（Crypto'07）十年最先进的协议的在线复杂性。除了提高在线沟通成本外，我们还可以在在线阶段关闭几乎一半的各方，从而节省了系统的运营成本高达50％。我们恶意安全的协议也享有类似的好处，除了一次性验证外，只需要一半的当事方。为了展示设计协议的实用性，我们基准了使用原型实现的深度神经网络，图形神经网络，基因组序列匹配以及生物识别匹配等流行应用程序。我们改进的协议有助于在先前的工作中节省高达60-80％的货币成本。

在这项工作中，我们提出了一种新颖的矩阵编码方法，该方法对于神经网络特别方便，使用同构加密以隐私性的方式进行预测。基于这种编码方法，我们实施了一个卷积神经网络，以通过加密进行手写图像分类。对于两个矩阵$ a $和$ b $以执行同型乘法，其背后的主要想法是，在一个简单的版本中，分别将矩阵$ a $和矩阵$ b $的转置分别加密到两个密文中。通过其他操作，可以有效地通过加密的矩阵来计算同型矩阵乘法。对于卷积操作，我们提前跨越每个卷积内核到与输入图像相同大小的矩阵空间，以生成几个密文，后来将它们与密文加密输入图像一起使用，以计算一些最终的最终卷积结果。我们积累了所有这些中间结果，从而完成了卷积操作。在具有40 VCPU的公共云中，我们在MNIST测试数据集上的卷积神经网络实现需要$ \ sim $ 287秒，以计算十个可能的32个大小的加密图像$ 28 \ times 28 $同时。数据所有者只需要上传一个Ciphertext（$ \ sim 19.8 $ MB），将这32张图像加密到公共云。