由于对音乐流媒体/推荐服务的需求增加以及音乐信息检索框架的最新发展，音乐流派分类（MGC）引起了社区的关注。但是，已知基于卷积的方法缺乏有效编码和定位时间特征的能力。在本文中，我们研究了基于广播的神经网络，旨在提高一小部分参数（约180k）下的本地化和概括性，并研究了12个广播网络的变体，讨论了块配置，汇总方法，激活功能，归一化的效果机理，标签平滑，通道相互依赖性，LSTM块包含和成立方案的变体。我们使用相关数据集进行的计算实验，例如GTZAN，扩展宴会厅，Homburg和Free Music Archive（FMA），显示了音乐流派分类中最新的分类精度。我们的方法提供了洞察力，并有可能使音乐和音频分类启用紧凑且可推广的广播网络。

确实，卷积神经网络（CNN）更合适。然而，固定内核大小使传统的CNN太具体，既不灵活也不有利于特征学习，从而影响分类准确性。不同内核大小网络的卷积可以通过捕获更多辨别和相关信息来克服这个问题。鉴于此，所提出的解决方案旨在将3D和2D成立网的核心思想与促进混合方案中的HSIC CNN性能提升。生成的\ Textit {注意融合混合网络}（AFNET）基于三个关注融合的并行混合子网，每个块中的不同内核使用高级功能，以增强最终的地面图。简而言之，AFNET能够选择性地过滤滤除对分类至关重要的辨别特征。与最先进的模型相比，HSI数据集的几次测试为AFNET提供了竞争力的结果。拟议的管道实现，实际上，印度松树的总体准确性为97 \％，博茨瓦纳100 \％，帕尔茨大学，帕维亚中心和萨利纳斯数据集的99 \％。

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections-one between each layer and its subsequent layer-our network has L(L+1) 2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet.

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

分布式声音传感器（DAS）是有效的设备，在许多应用区域中广泛使用，用于记录各种事件的信号，这些事件沿光纤沿光纤沿着非常高的空间分辨率。为了正确地检测和识别记录的事件，具有高计算需求的高级信号处理算法至关重要。卷积神经网络是提取空间信息的高功能工具，非常适合DAS中的事件识别应用。长期术语内存（LSTM）是处理顺序数据的有效仪器。在这项研究中，我们提出了一种多输入的多输出，两个阶段特征提取方法，该方法将这些神经网络体系结构的能力与转移学习的能力结合在一起，以将压电传感器应用于光纤上的振动进行分类。首先，我们从相位-OTDR记录中提取了差幅度和相位信息，并将它们存储在时间空间数据矩阵中。然后，我们在第一阶段使用了最先进的预训练的CNN作为特征提取器。在第二阶段，我们使用LSTMS进一步分析了CNN提取的特征。最后，我们使用密集层来对提取的特征进行分类。为了观察使用的CNN体​​系结构的效果，我们通过五个最先进的预训练模型（VGG-16，Resnet-50，Densenet-121，Mobilenet和Inception-V3）测试了模型。结果表明，在我们的框架中使用VGG-16体系结构可以在50个培训中获得100％的分类精度，并在我们的相位数据集中获得最佳结果。这项研究的结果表明，与LSTM结合的预训练的CNN非常适合分析差分振幅和相位信息，在时间空间数据矩阵中表示，这对于DAS应用中的事件识别操作很有希望。

在视频中，人类的行为是三维（3D）信号。这些视频研究了人类行为的时空知识。使用3D卷积神经网络（CNN）研究了有希望的能力。 3D CNN尚未在静止照片中为其建立良好的二维（2D）等效物获得高输出。董事会3D卷积记忆和时空融合面部训练难以防止3D CNN完成非凡的评估。在本文中，我们实施了混合深度学习体系结构，该体系结构结合了Stip和3D CNN功能，以有效地增强3D视频的性能。实施后，在每个时空融合圈中进行训练的较详细和更深的图表。训练模型在处理模型的复杂评估后进一步增强了结果。视频分类模型在此实现模型中使用。引入了使用深度学习的多媒体数据分类的智能3D网络协议，以进一步了解人类努力中的时空关联。在实施结果时，著名的数据集（即UCF101）评估了提出的混合技术的性能。结果击败了提出的混合技术，该混合动力技术基本上超过了最初的3D CNN。将结果与文献的最新框架进行比较，以识别UCF101的行动识别，准确度为95％。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

Convolutional neural networks are built upon the convolution operation, which extracts informative features by fusing spatial and channel-wise information together within local receptive fields. In order to boost the representational power of a network, several recent approaches have shown the benefit of enhancing spatial encoding. In this work, we focus on the channel relationship and propose a novel architectural unit, which we term the "Squeezeand-Excitation" (SE) block, that adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels. We demonstrate that by stacking these blocks together, we can construct SENet architectures that generalise extremely well across challenging datasets. Crucially, we find that SE blocks produce significant performance improvements for existing state-ofthe-art deep architectures at minimal additional computational cost. SENets formed the foundation of our ILSVRC 2017 classification submission which won first place and significantly reduced the top-5 error to 2.251%, achieving a ∼25% relative improvement over the winning entry of 2016.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

如今，基于CNN的架构在学习和提取功能方面的图像分类成功使它们如此受欢迎，但是当我们使用最先进的模型对嘈杂和低质量的图像进行分类时，图像分类的任务变得更加具有挑战性。为了解决这个问题，我们提出了一种新颖的图像分类体系结构，该体系结构以模糊和嘈杂的低分辨率图像学习细节。为了构建我们的新块，我们使用了RES连接和Inception模块想法的想法。使用MNIST数据集，我们进行了广泛的实验，表明引入的体系结构比其他最先进的卷积神经网络更准确，更快。由于我们的模型的特殊特征，它可以通过更少的参数获得更好的结果。

目的：提出使用深神经网络（DNN）的新型SSVEP分类方法，提高单通道和用户独立的脑电电脑接口（BCIS）的性能，具有小的数据长度。方法：我们建议与DNN结合使用过滤器组（创建EEG信号的子带分量）。在这种情况下，我们创建了三种不同的模型：经常性的神经网络（FBRNN）分析时域，2D卷积神经网络（FBCNN-2D）处理复谱特征和3D卷积神经网络（FBCNN-3D）分析复杂谱图，我们在本研究中介绍了SSVEP分类的可能输入。我们通过开放数据集培训了我们的神经网络，并构思了它们，以便不需要从最终用户校准：因此，测试主题数据与训练和验证分开。结果：带滤波器银行的DNN超越了类似网络的准确性，在没有相当大的边距（高达4.6％）的情况下，它们甚至更高的边距（高达7.1％）超越了常见的SSVEP分类方法（SVM和FBCCA） 。在使用过滤器银行中的三个DNN中，FBRNN获得了最佳结果，然后是FBCNN-3D，最后由FBCNN-2D获得。结论和意义：滤波器银行允许不同类型的深神经网络，以更有效地分析SSVEP的谐波分量。复谱图比复杂频谱特征和幅度谱进行更多信息，允许FBCNN-3D超越另一个CNN。在具有挑战性的分类问题中获得的平均测试精度（87.3％）和F1分数（0.877）表示施工，经济，快速和低延迟BCIS建设的强大潜力。

使用原始波形作为输入的端到端学习模型在许多音频识别任务中表现出卓越的性能。但是，大多数模型体系结构基于主要用于视觉识别任务的卷积神经网络（CNN）。在本文中，我们提出了挤压和兴奋网络（SENETS）的扩展，该网络（SENETS）通过使用循环模块在下层中从顶层特征添加了时间反馈控制到频道的特征激活。这类似于人类听觉系统中外发中心的自适应增益控制机理。我们将提出的模型应用于语音命令识别，并表明它的表现略优于SENET和其他基于CNN的模型。我们还通过进行故障分析和可视化时间反馈引起的频道特征缩放的范围来研究性能改善的细节。

Deep residual networks were shown to be able to scale up to thousands of layers and still have improving performance. However, each fraction of a percent of improved accuracy costs nearly doubling the number of layers, and so training very deep residual networks has a problem of diminishing feature reuse, which makes these networks very slow to train. To tackle these problems, in this paper we conduct a detailed experimental study on the architecture of ResNet blocks, based on which we propose a novel architecture where we decrease depth and increase width of residual networks. We call the resulting network structures wide residual networks (WRNs) and show that these are far superior over their commonly used thin and very deep counterparts. For example, we demonstrate that even a simple 16-layer-deep wide residual network outperforms in accuracy and efficiency all previous deep residual networks, including thousand-layerdeep networks, achieving new state-of-the-art results on CIFAR, SVHN, COCO, and significant improvements on ImageNet. Our code and models are available at https: //github.com/szagoruyko/wide-residual-networks.

为了确保全球粮食安全和利益相关者的总体利润，正确检测和分类植物疾病的重要性至关重要。在这方面，基于深度学习的图像分类的出现引入了大量解决方案。但是，这些解决方案在低端设备中的适用性需要快速，准确和计算廉价的系统。这项工作提出了一种基于轻巧的转移学习方法，用于从番茄叶中检测疾病。它利用一种有效的预处理方法来增强具有照明校正的叶片图像，以改善分类。我们的系统使用组合模型来提取功能，该模型由预审计的MobilenETV2体系结构和分类器网络组成，以进行有效的预测。传统的增强方法被运行时的增加取代，以避免数据泄漏并解决类不平衡问题。来自PlantVillage数据集的番茄叶图像的评估表明，所提出的体系结构可实现99.30％的精度，型号大小为9.60mb和4.87亿个浮点操作，使其成为低端设备中现实生活的合适选择。我们的代码和型号可在https://github.com/redwankarimsony/project-tomato中找到。

与RGB图像相比，高光谱图像包含更多数量的通道，因此包含有关图像中实体的更多信息。卷积神经网络（CNN）和多层感知器（MLP）已被证明是一种有效的图像分类方法。但是，他们遭受了长期培训时间和大量标记数据的要求，以达到预期的结果。在处理高光谱图像时，这些问题变得更加复杂。为了减少训练时间并减少对大型标记数据集的依赖性，我们建议使用转移学习方法。使用PCA将高光谱数据集预处理到较低的维度，然后将深度学习模型应用于分类。然后，转移学习模型使用该模型学到的功能来解决看不见的数据集上的新分类问题。进行了CNN和多个MLP体系结构模型的详细比较，以确定最适合目标的最佳体系结构。结果表明，层的缩放并不总是会导致准确性的提高，但通常会导致过度拟合，并增加训练时间。通过应用转移学习方法而不仅仅是解决问题，训练时间更大程度地减少了。通过直接在大型数据集上训练新模型，而不会影响准确性。

The purpose of this study is to determine whether current video datasets have sufficient data for training very deep convolutional neural networks (CNNs) with spatio-temporal three-dimensional (3D) kernels. Recently, the performance levels of 3D CNNs in the field of action recognition have improved significantly. However, to date, conventional research has only explored relatively shallow 3D architectures. We examine the architectures of various 3D CNNs from relatively shallow to very deep ones on current video datasets. Based on the results of those experiments, the following conclusions could be obtained: (i) training resulted in significant overfitting for UCF-101, HMDB-51, and Ac-tivityNet but not for Kinetics. (ii) The Kinetics dataset has sufficient data for training of deep 3D CNNs, and enables training of up to 152 ResNets layers, interestingly similar to 2D ResNets on ImageNet. ResNeXt-101 achieved 78.4% average accuracy on the Kinetics test set. (iii) Kinetics pretrained simple 3D architectures outperforms complex 2D architectures, and the pretrained ResNeXt-101 achieved 94.5% and 70.2% on respectively. The use of 2D CNNs trained on ImageNet has produced significant progress in various tasks in image. We believe that using deep 3D CNNs together with Kinetics will retrace the successful history of 2D CNNs and ImageNet, and stimulate advances in computer vision for videos. The codes and pretrained models used in this study are publicly available1.

由于最近在ML和IoT中的突破，部署机器学习（ML）在MilliWatt-Scale-Scale-Scale-Scale Edge设备（Tinyml）上正在越来越受欢迎。但是，Tinyml的功能受到严格的功率和计算约束的限制。 Tinyml中的大多数当代研究都集中在模型压缩技术上，例如模型修剪和量化，以适合低端设备上的ML模型。然而，由于积极的压缩迅速缩小了模型能力和准确性，因此通过现有技术获得的能源消耗和推理时间的改善是有限的。在保留其模型容量的同时，改善推理时间和/或降低功率的另一种方法是通过早期筛选网络。这些网络将中间分类器沿基线神经网络放置，如果中间分类器对其预测表现出足够的信心，则可以促进神经网络计算的早期退出。早期效果网络的先前工作集中在大型网络上，超出了通常用于Tinyml应用程序的功能。在本文中，我们讨论了将早期外观添加到最先进的小型CNN中的挑战，并设计了一种早期筛选架构T-RECX，以解决这些挑战。此外，我们开发了一种方法来减轻在最终退出中通过利用早期外观学到的高级代表性来减轻网络过度思考的影响。我们从MLPERF微小的基准套件中评估了三个CNN的T-RECX，用于图像分类，关键字发现和视觉唤醒单词检测任务。我们的结果表明，T-RECX提高了基线网络的准确性，并显着减少了微小CNN的平均推理时间。 T-RECX达到了32.58％的平均拖鞋降低，以换取所有评估模型的1％精度。此外，我们的技术提高了我们评估的三个模型中的两个基线网络的准确性

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

Convolutional networks are at the core of most stateof-the-art computer vision solutions for a wide variety of tasks. Since 2014 very deep convolutional networks started to become mainstream, yielding substantial gains in various benchmarks. Although increased model size and computational cost tend to translate to immediate quality gains for most tasks (as long as enough labeled data is provided for training), computational efficiency and low parameter count are still enabling factors for various use cases such as mobile vision and big-data scenarios. Here we are exploring ways to scale up networks in ways that aim at utilizing the added computation as efficiently as possible by suitably factorized convolutions and aggressive regularization. We benchmark our methods on the ILSVRC 2012 classification challenge validation set demonstrate substantial gains over the state of the art: 21.2% top-1 and 5.6% top-5 error for single frame evaluation using a network with a computational cost of 5 billion multiply-adds per inference and with using less than 25 million parameters. With an ensemble of 4 models and multi-crop evaluation, we report 3.5% top-5 error and 17.3% top-1 error.

在本文中，为波斯语音识别提出了用于信息定位的基于CNN的结构。研究表明，在哺乳动物的原发性听觉皮层和中脑中某些神经元的接收场的光谱量矩形可塑性使本地化设施改善了识别性能。在过去的几年中，使用HMMS，TDNNS，CNNS和LSTM-RNNS的方法的空间或时间不可超数属性，已经完成了许多工作来在ASR系统中定位时间频率信息。但是，这些模型中的大多数具有较大的参数量，并且训练具有挑战性。为此，我们提出了一种称为时频卷积的麦克斯神经网络（TFCMNN）的结构，其中并行时间域和频域1D-CMNN同时且独立地应用于频谱图，然后将其输出置于串联并置于串联并施加了串联并应用于频谱图。共同连接到完全连接的Maxout网络进行分类。为了提高这种结构的性能，我们使用了新开发的方法和模型，例如辍学，麦克斯特和体重归一化。在FARSDAT数据集上设计和实现了两组实验，以评估与常规1D-CMNN模型相比，该模型的性能。根据实验结果，TFCMNN模型的平均识别得分比常规1D-CMNN模型的平均值高约1.6％。此外，TFCMNN模型的平均训练时间比传统模型的平均训练时间低约17小时。因此，正如其他来源所证明的那样，ASR系统中的时频定位提高了系统的准确性并加快了训练过程。