深神经网络（DNN）和决策树（DTS）都是最先进的分类器。DNN由于其表示性学习能力而表现良好，而DTS在计算上是有效的，因为它们沿着一条途径（根到叶子）进行推理，该推理取决于输入数据。在本文中，我们介绍了二元树结构化神经网络的决策者（DN）。我们提出了一种系统的方法，将现有DNN转换为DN，以创建原始模型的轻量级版本。Decisionet竭尽全力 - 它使用神经模块来执行代表性学习，并利用其树结构仅执行一部分计算。我们评估了各种DN体系结构，以及他们在FashionMnist，CIFAR10和CIFAR100数据集上的相应基线模型。我们表明，DN变体具有相似的精度，同时显着降低了原始网络的计算成本。

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees

动态神经网络是深度学习中的新兴的研究课题。与具有推断阶段的固定计算图和参数的静态模型相比，动态网络可以使其结构或参数适应不同的输入，从而在本调查中的准确性，计算效率，适应性等方面的显着优势。我们全面地通过将动态网络分为三个主要类别：1）使用数据相关的架构或参数进行处理的实例 - Wise-Wise DiveS动态模型的速度开发区域2）关于图像数据的不同空间位置和3）沿着诸如视频和文本的顺序数据的时间维度执行自适应推断的时间明智的动态模型进行自适应计算的空间 - 方向动态网络。系统地审查了动态网络的重要研究问题，例如架构设计，决策方案，优化技术和应用。最后，我们与有趣的未来研究方向讨论了该领域的开放问题。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

胶囊网络是一类神经网络，可在许多计算机视觉任务上取得有希望的结果。但是，由于高计算和内存要求，基线胶囊网络未能在更复杂的数据集上达到最新结果。我们通过提出一种称为动量胶囊网络（Mocapsnet）的新网络体系结构来解决这个问题。Mocapsnets的灵感来自动量Resnets，这是一种应用可逆残留构建块的网络。可逆的网络允许重新计算后反向传播算法中正向通行的激活，因此可以大大减少这些内存要求。在本文中，我们提供了一个框架，介绍如何将可逆的残留构建块应用于胶囊网络。我们将证明Mocapsnet在MNIST，SVHN，CIFAR-10和CIFAR-100上击败基线胶囊网络的准确性，同时使用的内存较少。源代码可在https://github.com/moejoe95/mocapsnet上找到。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

我们为表格数据（门）（门）提出了一种新颖的高性能，参数和计算有效的深度学习体系结构。Gate使用GRU启发的门控机制作为具有内置特征选择机制的功能表示学习单元。我们将其与一组不同的非线性决策树结合在一起，并以简单的自我注意力重新加权，以预测我们所需的输出。我们证明，通过在几个公共数据集（分类和回归）上进行实验，GATE是SOTA方法的竞争替代方法。该纸张一旦审查，该代码将立即上传。

我们提出了一种多移民通道（MGIC）方法，该方法可以解决参数数量相对于标准卷积神经网络（CNN）中的通道数的二次增长。因此，我们的方法解决了CNN中的冗余，这也被轻量级CNN的成功所揭示。轻巧的CNN可以达到与参数较少的标准CNN的可比精度。但是，权重的数量仍然随CNN的宽度四倍地缩放。我们的MGIC体系结构用MGIC对应物代替了每个CNN块，该块利用了小组大小的嵌套分组卷积的层次结构来解决此问题。因此，我们提出的架构相对于网络的宽度线性扩展，同时保留了通道的完整耦合，如标准CNN中。我们对图像分类，分割和点云分类进行的广泛实验表明，将此策略应用于Resnet和MobilenetV3等不同体系结构，可以减少参数的数量，同时获得相似或更好的准确性。

为了确保全球粮食安全和利益相关者的总体利润，正确检测和分类植物疾病的重要性至关重要。在这方面，基于深度学习的图像分类的出现引入了大量解决方案。但是，这些解决方案在低端设备中的适用性需要快速，准确和计算廉价的系统。这项工作提出了一种基于轻巧的转移学习方法，用于从番茄叶中检测疾病。它利用一种有效的预处理方法来增强具有照明校正的叶片图像，以改善分类。我们的系统使用组合模型来提取功能，该模型由预审计的MobilenETV2体系结构和分类器网络组成，以进行有效的预测。传统的增强方法被运行时的增加取代，以避免数据泄漏并解决类不平衡问题。来自PlantVillage数据集的番茄叶图像的评估表明，所提出的体系结构可实现99.30％的精度，型号大小为9.60mb和4.87亿个浮点操作，使其成为低端设备中现实生活的合适选择。我们的代码和型号可在https://github.com/redwankarimsony/project-tomato中找到。

在过去十年中，深度神经网络已经证明是擅长图像分类任务，通常在准确性方面超越人类。然而，标准神经网络通常无法理解不同类别的分层结构的概念和相关的视觉相关任务。另一方面，人类似乎在概念上学习类别，从理解高级概念下降到粒度的类别。由于神经网络无法编码其学习结构中的这种依赖性而产生的一个问题是亚泊素班次 - 其中包含从训练集类别的移位群体中获取的新型看不见的课程。由于神经网络将每个类视为独立于所有其他课程，因此它努力对依赖于等级较高的依赖的转移群体进行分类。在这项工作中，我们通过新颖的条件监督培训框架的镜头研究上述问题。我们通过结构化的学习过程来解决亚泊位偏移，通过标签将分层信息包含在一起。此外，我们介绍了图形距离的概念，以模拟错误预测的灾难性影响。我们展示了这种结构化的分层方式的学习导致对亚泊素换档更加稳健的网络，在准确度和大约8.5±8.5°的图形距离上的标准换档基准上的标准模型的速度约为8.5％。

Deep neural networks have long training and processing times. Early exits added to neural networks allow the network to make early predictions using intermediate activations in the network in time-sensitive applications. However, early exits increase the training time of the neural networks. We introduce QuickNets: a novel cascaded training algorithm for faster training of neural networks. QuickNets are trained in a layer-wise manner such that each successive layer is only trained on samples that could not be correctly classified by the previous layers. We demonstrate that QuickNets can dynamically distribute learning and have a reduced training cost and inference cost compared to standard Backpropagation. Additionally, we introduce commitment layers that significantly improve the early exits by identifying for over-confident predictions and demonstrate its success.

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

我们在在线环境中研究了非线性预测，并引入了混合模型，该模型通过端到端体系结构有效地减轻了对手工设计的功能的需求和传统非线性预测/回归方法的手动模型选择问题。特别是，我们使用递归结构从顺序信号中提取特征，同时保留状态信息，即历史记录和增强决策树以产生最终输出。该连接是以端到端方式的，我们使用随机梯度下降共同优化整个体系结构，我们还为此提供了向后的通过更新方程。特别是，我们采用了一个经常性的神经网络（LSTM）来从顺序数据中提取自适应特征，并提取梯度增强机械（Soft GBDT），以进行有效的监督回归。我们的框架是通用的，因此可以使用其他深度学习体系结构进行特征提取（例如RNN和GRU）和机器学习算法进行决策，只要它们是可区分的。我们证明了算法对合成数据的学习行为以及各种现实生活数据集对常规方法的显着性能改进。此外，我们公开分享提出的方法的源代码，以促进进一步的研究。

具有早期退出机制的最先进的神经网络通常需要大量的培训和微调，以通过低计算成本来实现良好的性能。我们提出了一种新颖的早期出口技术，基于样本的类手段，提前出口课程（E $^2 $ cm）。与大多数现有方案不同，E $^2 $ cm不需要基于梯度的内部分类器培训，并且不会通过任何方式修改基本网络。这使其对于低功率设备的神经网络培训特别有用，如无线边缘网络。我们评估了E $^2 $ cm的性能和间接费用，例如MobileNetV3，EdgisterNet，Resnet和数据集，例如CIFAR-100，Imagenet和KMNIST。我们的结果表明，鉴于固定的培训时间预算，与现有的早期退出机制相比，E $^2 $ cm的准确性更高。此外，如果培训时间预算没有限制，则可以将E $^2 $ cm与现有的早期退出计划相结合，以提高后者的性能，从而在计算成本和网络准确性之间取得更好的权衡。我们还表明，E $^2 $ cm可用于降低无监督学习任务中的计算成本。

In the present work we propose an unsupervised ensemble method consisting of oblique trees that can address the task of auto-encoding, namely Oblique Forest AutoEncoders (briefly OF-AE). Our method is a natural extension of the eForest encoder introduced in [1]. More precisely, by employing oblique splits consisting in multivariate linear combination of features instead of the axis-parallel ones, we will devise an auto-encoder method through the computation of a sparse solution of a set of linear inequalities consisting of feature values constraints. The code for reproducing our results is available at https://github.com/CDAlecsa/Oblique-Forest-AutoEncoders.

这项工作引入了图像分类器的注意机制和相应的深神经网络（DNN）结构，称为ISNET。在训练过程中，ISNET使用分割目标来学习如何找到图像感兴趣的区域并将注意力集中在其上。该提案基于一个新颖的概念，即在说明热图中的背景相关性最小化。它几乎可以应用于任何分类神经网络体系结构，而在运行时没有任何额外的计算成本。能够忽略背景的单个DNN可以替换分段者的通用管道，然后是分类器，更快，更轻。我们测试了ISNET的三种应用：Covid-19和胸部X射线中的结核病检测以及面部属性估计。前两个任务采用了混合培训数据库，并培养了快捷方式学习。通过关注肺部并忽略背景中的偏见来源，ISNET减少了问题。因此，它改善了生物医学分类问题中外部（分布外）测试数据集的概括，超越了标准分类器，多任务DNN（执行分类和细分），注意力门控神经网络以及标准段 - 分类管道。面部属性估计表明，ISNET可以精确地集中在面孔上，也适用于自然图像。 ISNET提出了一种准确，快速和轻的方法，可忽略背景并改善各种领域的概括。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

使用卷积神经网络（CNN）已经显着改善了几种图像处理任务，例如图像分类和对象检测。与Reset和Abseralnet一样，许多架构在创建时至少在一个数据集中实现了出色的结果。培训的一个关键因素涉及网络的正规化，这可以防止结构过度装备。这项工作分析了在过去几年中开发的几种正规化方法，显示了不同CNN模型的显着改进。该作品分为三个主要区域：第一个称为“数据增强”，其中所有技术都侧重于执行输入数据的更改。第二个，命名为“内部更改”，旨在描述修改神经网络或内核生成的特征映射的过程。最后一个称为“标签”，涉及转换给定输入的标签。这项工作提出了与关于正则化的其他可用调查相比的两个主要差异：（i）第一个涉及在稿件中收集的论文并非超过五年，并第二个区别是关于可重复性，即所有作品此处推荐在公共存储库中可用的代码，或者它们已直接在某些框架中实现，例如Tensorflow或Torch。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。