在Crypto 2019中，Gohr进行了开创性的尝试，并成功地向NSA块密码SPECK32 / 64进行了深度学习，实现了比纯差分区分的更高的精度。通过其本质，数据中的挖掘有效特征在数据驱动的深度学习中起着至关重要的作用。在本文中，除了从密文对的训练数据中考虑信息的完整性，还考虑了关于差分密码分析结构的域知识也被认为是深度学习的培训过程，提高性能。此外，基于SAT / SMT求解器，我们发现其他高概率兼容差分特性，与以前的工作相比有效地提高了性能。我们建立针对西蒙和Simeck的神经区别师（NDS）和相关关键的神经区别SIMON32 / 64的ND和RKND分别达到11-，11轮，精度分别为59.55％和97.90％。对于Simon64 / 128，ND在13轮达到60.32％的准确性，而RKND为95.49％。对于SIMECK32 / 64，获得11-，14轮的ND和RKND，分别达到63.32％和87.06％的准确度。我们为SIMECK64 / 128建立了17轮ND和21轮RKND，精度分别为64.24％和62.96％。目前，这些是Simon32 / 64，Simon64 / 128，Simeck32 / 64和Simeck64 / 128的更高精度的最长（相关关键）的神经区别。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

深度神经网络模型大量部署在各种硬件平台上。这导致出现新的攻击向量，这些攻击向量大大扩展了标准攻击表面，这是由对抗机器学习社区广泛研究的。旨在通过瞄准存储在内存中的参数（权重）的第一个旨在极大地降低模型性能的攻击之一是位翼攻击（BFA）。在这项工作中，我们指出了与BFA相关的一些评估挑战。首先，标准威胁模型中缺乏对手的预算是有问题的，尤其是在处理身体攻击时。此外，由于BFA提出了关键的可变性，因此我们讨论了某些培训参数的影响以及模型体系结构的重要性。这项工作是第一个介绍BFA对与卷积神经网络相比呈现不同行为的完全连接体系结构的影响的作品。这些结果突出了定义鲁棒和合理评估方法的重要性，以正确评估基于参数的攻击的危险，并衡量国防提供的实际鲁棒性水平。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

随着神经网络的不断扩展，对其财产的完整和合理验证的需求变得至关重要。近年来，确定二进制神经网络（BNN）在布尔逻辑中具有等效的表示，并且可以使用诸如SAT求解器之类的逻辑推理工具进行正式分析。但是，迄今为止，只能将BNN转换为SAT公式。在这项工作中，我们介绍了真实表深卷积神经网络（TTNETS），这是一个新的sat-odsody型号，首次是现实价值的重量。此外，它通过构造承认，在稳健性验证设置中，包括调节后和拖延性，包括后调整功能。后一种属性导致比BNN更紧凑的SAT符号编码。这使使用一般SAT求解器的使用使属性验证更加容易。我们证明了TTNET关于形式鲁棒性属性的值：TTNET在具有可比的计算时间的所有BNN的验证精度上优于验证的准确性。更普遍地，它们代表了所有已知的完整验证方法之间的相关权衡：TTNET在快速验证时间内实现了高验证的精度，并且没有超时。在这里，我们正在探索TTNET的概念证明，以实现非常重要的应用（稳健性的完整验证），我们相信这个新颖的实现的网络构成了对功能正式验证需求不断增长的实际响应。我们假设TTNET可以应用于各种基于CNN的架构，并将其扩展到其他属性，例如公平性，故障攻击和精确规则提取。

Differentially private federated learning (DP-FL) has received increasing attention to mitigate the privacy risk in federated learning. Although different schemes for DP-FL have been proposed, there is still a utility gap. Employing central Differential Privacy in FL (CDP-FL) can provide a good balance between the privacy and model utility, but requires a trusted server. Using Local Differential Privacy for FL (LDP-FL) does not require a trusted server, but suffers from lousy privacy-utility trade-off. Recently proposed shuffle DP based FL has the potential to bridge the gap between CDP-FL and LDP-FL without a trusted server; however, there is still a utility gap when the number of model parameters is large. In this work, we propose OLIVE, a system that combines the merits from CDP-FL and LDP-FL by leveraging Trusted Execution Environment (TEE). Our main technical contributions are the analysis and countermeasures against the vulnerability of TEE in OLIVE. Firstly, we theoretically analyze the memory access pattern leakage of OLIVE and find that there is a risk for sparsified gradients, which is common in FL. Secondly, we design an inference attack to understand how the memory access pattern could be linked to the training data. Thirdly, we propose oblivious yet efficient algorithms to prevent the memory access pattern leakage in OLIVE. Our experiments on real-world data demonstrate that OLIVE is efficient even when training a model with hundreds of thousands of parameters and effective against side-channel attacks on TEE.

同态加密（HE），允许对加密数据（Ciphertext）进行计算，而无需首先解密，因此可以实现对云中隐私性的应用程序的安全性缓慢的卷积神经网络（CNN）推断。为了减少推理潜伏期，一种方法是将多个消息打包到单个密文中，以减少密文的数量并支持同型多态多重蓄能（HMA）操作的大量并行性。尽管HECNN的推断速度更快，但主流包装方案密集的包装（密度）和卷积包装（Convpack）仍将昂贵的旋转开销引入了昂贵的旋转开销，这延长了HECNN的推断潜伏期，以实现更深和更广泛的CNN体​​系结构。在本文中，我们提出了一种名为FFCONV的低级分解方法，该方法专门用于有效的密文填料，用于减少旋转台面和HMA操作。 FFCONV近似于低级分解卷积的A D X D卷积层，其中D X D低率卷积具有较少的通道，然后是1 x 1卷积以恢复通道。 D X D低级别卷积带有密度，导致旋转操作显着降低，而1 x 1卷积的旋转开销接近零。据我们所知，FFCONV是能够同时减少densepack和Convpack产生的旋转头顶的第一项工作，而无需将其他特殊块引入HECNN推理管道。与先前的Art Lola和Falcon相比，我们的方法分别将推理潜伏期降低了88％和21％，其精度在MNIST和CIFAR-10上具有可比的精度。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

随着深度学习技术的快速发展和计算能力的提高，深度学习已广泛应用于高光谱图像（HSI）分类领域。通常，深度学习模型通常包含许多可训练参数，并且需要大量标记的样品来实现最佳性能。然而，关于HSI分类，由于手动标记的难度和耗时的性质，大量标记的样本通常难以获取。因此，许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中，我们专注于这一主题，并对相关文献提供系统审查。具体而言，本文的贡献是双重的。首先，相关方法的研究进展根据学习范式分类，包括转移学习，积极学习和少量学习。其次，已经进行了许多具有各种最先进的方法的实验，总结了结果以揭示潜在的研究方向。更重要的是，虽然深度学习模型（通常需要足够的标记样本）和具有少量标记样本的HSI场景之间存在巨大差距，但是通过深度学习融合，可以很好地表征小样本集的问题方法和相关技术，如转移学习和轻量级模型。为了再现性，可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。

联合学习允许一组用户在私人训练数据集中培训深度神经网络。在协议期间，数据集永远不会留下各个用户的设备。这是通过要求每个用户向中央服务器发送“仅”模型更新来实现，从而汇总它们以更新深神经网络的参数。然而，已经表明，每个模型更新都具有关于用户数据集的敏感信息（例如，梯度反转攻击）。联合学习的最先进的实现通过利用安全聚合来保护这些模型更新：安全监控协议，用于安全地计算用户的模型更新的聚合。安全聚合是关键，以保护用户的隐私，因为它会阻碍服务器学习用户提供的个人模型更新的源，防止推断和数据归因攻击。在这项工作中，我们表明恶意服务器可以轻松地阐明安全聚合，就像后者未到位一样。我们设计了两种不同的攻击，能够在参与安全聚合的用户数量上，独立于参与安全聚合的用户数。这使得它们在大规模现实世界联邦学习应用中的具体威胁。攻击是通用的，不瞄准任何特定的安全聚合协议。即使安全聚合协议被其理想功能替换为提供完美的安全性的理想功能，它们也同样有效。我们的工作表明，安全聚合与联合学习相结合，当前实施只提供了“虚假的安全感”。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

With the increased usage of AI accelerators on mobile and edge devices, on-device machine learning (ML) is gaining popularity. Thousands of proprietary ML models are being deployed today on billions of untrusted devices. This raises serious security concerns about model privacy. However, protecting model privacy without losing access to the untrusted AI accelerators is a challenging problem. In this paper, we present a novel on-device model inference system, ShadowNet. ShadowNet protects the model privacy with Trusted Execution Environment (TEE) while securely outsourcing the heavy linear layers of the model to the untrusted hardware accelerators. ShadowNet achieves this by transforming the weights of the linear layers before outsourcing them and restoring the results inside the TEE. The non-linear layers are also kept secure inside the TEE. ShadowNet's design ensures efficient transformation of the weights and the subsequent restoration of the results. We build a ShadowNet prototype based on TensorFlow Lite and evaluate it on five popular CNNs, namely, MobileNet, ResNet-44, MiniVGG, ResNet-404, and YOLOv4-tiny. Our evaluation shows that ShadowNet achieves strong security guarantees with reasonable performance, offering a practical solution for secure on-device model inference.

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

神经网络已广泛应用于垃圾邮件和网络钓鱼检测，入侵预防和恶意软件检测等安全应用程序。但是，这种黑盒方法通常在应用中具有不确定性和不良的解释性。此外，神经网络本身通常容易受到对抗攻击的影响。由于这些原因，人们对可信赖和严格的方法有很高的需求来验证神经网络模型的鲁棒性。对抗性的鲁棒性在处理恶意操纵输入时涉及神经网络的可靠性，是安全和机器学习中最热门的主题之一。在这项工作中，我们在神经网络的对抗性鲁棒性验证中调查了现有文献，并在机器学习，安全和软件工程领域收集了39项多元化研究工作。我们系统地分析了它们的方法，包括如何制定鲁棒性，使用哪种验证技术以及每种技术的优势和局限性。我们从正式验证的角度提供分类学，以全面理解该主题。我们根据财产规范，减少问题和推理策略对现有技术进行分类。我们还展示了使用样本模型在现有研究中应用的代表性技术。最后，我们讨论了未来研究的开放问题。

近年来，卷积神经网络（CNN）在合成孔径雷达（SAR）目标识别方面表现出巨大的潜力。 SAR图像具有强烈的粒度感，并且具有不同的纹理特征，例如斑点噪声，目标优势散射器和目标轮廓，这些轮廓很少在传统的CNN模型中被考虑。本文提出了两个残留块，即具有多尺度接收场（RFS）的EMC2A块，基于多型结构，然后设计了有效的同位素体系结构深CNN（DCNN），EMC2A-net。 EMC2A阻止使用不同的扩张速率利用平行的扩张卷积，这可以有效地捕获多尺度上下文特征而不会显着增加计算负担。为了进一步提高多尺度功能融合的效率，本文提出了多尺度特征跨通道注意模块，即EMC2A模块，采用了局部的多尺度特征交互策略，而无需降低维度。该策略通过有效的一维（1D） - 圆形卷积和Sigmoid函数适应每个通道的权重，以指导全球通道明智的关注。 MSTAR数据集上的比较结果表明，EMC2A-NET优于相同类型的现有模型，并且具有相对轻巧的网络结构。消融实验结果表明，仅使用一些参数和适当的跨渠道相互作用，EMC2A模块可显着提高模型的性能。

入侵检测是汽车通信安全的重要防御措施。准确的框架检测模型有助于车辆避免恶意攻击。攻击方法的不确定性和多样性使此任务具有挑战性。但是，现有作品仅考虑本地功能或多功能的弱特征映射的限制。为了解决这些局限性，我们提出了一个新型的模型，用于通过车载通信流量（STC-IDS）的时空相关特征（STC-IDS）进行汽车入侵检测。具体而言，提出的模型利用编码检测体系结构。在编码器部分中，空间关系和时间关系是同时编码的。为了加强特征之间的关系，基于注意力的卷积网络仍然捕获空间和频道特征以增加接受场，而注意力LSTM则建立了以前的时间序列或关键字节的有意义的关系。然后将编码的信息传递给检测器，以产生有力的时空注意力特征并实现异常分类。特别是，构建了单帧和多帧模型，分别呈现不同的优势。在基于贝叶斯优化的自动超参数选择下，该模型经过培训以达到最佳性能。基于现实世界中车辆攻击数据集的广泛实证研究表明，STC-IDS优于基线方法，并且在保持效率的同时获得了较少的假警报率。