本文提供了一种在没有传统艺术神经结构状态的情况下做大规模音频理解的方式。自从在过去十年中引入理解音频信号的深度学习以来，卷积架构已经能够实现最先进的艺术状态，这些结果超越了传统的手工制作功能。在最近的过去，远离传统的卷积和经常性神经网络相似的转变，朝纯端到端的变压器架构。在这项工作中，我们探索了一种基于袋式模型的方法。我们的方法没有任何卷积，复发，关注，变压器或其他方法如伯特。我们利用Micro和Macro Level群集Vanilla Embeddings，并使用MLP头进行分类。我们仅使用前馈编码器解码器模型来获取光谱包围，光谱贴片和切片以及多分辨率光谱的瓶颈。类似于SIMCLR中的方法的分类头（前馈层）在学习的表示上培训。使用简单的代码在潜在的陈述中了解到，我们展示了我们如何超越传统的卷积神经网络架构，并引人注目地接近优势强大的变压器架构。这项工作希望能够在没有大规模的端到端神经架构的情况下铺平道具的兴奋进步。

对音频信号的长期依赖性进行建模是一个特别具有挑战性的问题，因为即使是小型尺度的产量，也要在十万个样本上产生。随着变形金刚的最近出现，神经体系结构擅长于更长的时间尺度建模依赖性，但它们受到二次限制的限制来扩展它们。我们提出了一种生成的自动回归体系结构，该体系结构可以在相当大的上下文中对音频波形进行建模，超过500,000个样本。我们的工作适应了通过CNN前端学习潜在表示，然后使用变压器编码器，经过全面训练的端到端学习来学习时间依赖性：从而允许它认为适合于该表示的表示形式。下一个样本。与以前的作品比较了不同的时间量表以显示改进，我们使用标准数据集，具有相同数量的参数/上下文来显示改进。与其他方法相比，我们在标准数据集中实现了最先进的性能，例如WaveNet，Sashmi和Sample-RNN，用于建模长期结构。这项工作为该领域提供了非常令人兴奋的方向，鉴于上下文建模的改进，可以通过使用数十亿/万亿个参数来缩放更多数据，并可能更好地结果。

We apply the vision transformer, a deep machine learning model build around the attention mechanism, on mel-spectrogram representations of raw audio recordings. When adding mel-based data augmentation techniques and sample-weighting, we achieve comparable performance on both (PRS and CCS challenge) tasks of ComParE21, outperforming most single model baselines. We further introduce overlapping vertical patching and evaluate the influence of parameter configurations. Index Terms: audio classification, attention, mel-spectrogram, unbalanced data-sets, computational paralinguistics

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

用于标记和分类声信号的标准机器学习模型无法处理训练过程中未见的类。通过基于适应性的类描述来预测类，零射击（ZS）学习克服了这一限制。这项研究旨在研究基于自我注意力的音频嵌入体系结构对ZS学习的有效性。为此，我们将最近的贴布频谱变压器与两个经典的卷积体系结构进行了比较。我们在三个任务和三个不同的基准数据集上评估了这三个架构：在Audioset上的通用标记，ESC-50上的环境声音分类以及OpenMIC上的仪器标记。我们的结果表明，基于自我注意的嵌入方法的表现都优于所有这些设置中的卷积架构。通过相应地设计培训和测试数据，我们观察到，当训练和新测试类之间的“语义距离”很大时，预测性能会大大受到影响，这种效果值得进行更详细的研究。

Humans perceive the world by concurrently processing and fusing high-dimensional inputs from multiple modalities such as vision and audio. Machine perception models, in stark contrast, are typically modality-specific and optimised for unimodal benchmarks, and hence late-stage fusion of final representations or predictions from each modality (`late-fusion') is still a dominant paradigm for multimodal video classification. Instead, we introduce a novel transformer based architecture that uses `fusion bottlenecks' for modality fusion at multiple layers. Compared to traditional pairwise self-attention, our model forces information between different modalities to pass through a small number of bottleneck latents, requiring the model to collate and condense the most relevant information in each modality and only share what is necessary. We find that such a strategy improves fusion performance, at the same time reducing computational cost. We conduct thorough ablation studies, and achieve state-of-the-art results on multiple audio-visual classification benchmarks including Audioset, Epic-Kitchens and VGGSound. All code and models will be released.

音频标记是一个活跃的研究区，具有广泛的应用。自发布以来，在推进模型性能方面取得了很大进展，主要来自新颖的模型架构和注意力模块。但是，我们发现适当的培训技术对于使用音频构建音频标记模型同样重要，但没有得到他们应得的关注。为了填补差距，在这项工作中，我们呈现PSLA，一系列培训技术，可以明显增强模型准确性，包括想象成预测，平衡采样，数据增强，标签增强，模型聚集和其设计选择。通过使用这些技术培训效率，我们可以分别获得单个型号（具有13.6M参数）和一个集合模型，分别实现Audioset的平均平均精度（MAP）分数为0.444和0.474，优于81米的先前最佳系统0.439参数。此外，我们的型号还在FSD50K上实现了0.567的新型地图。

我们使用无卷积的变压器架构提出了一种从未标记数据学习多式式表示的框架。具体而言，我们的视频音频文本变压器（Vatt）将原始信号作为输入提取，提取丰富的多式化表示，以使各种下游任务受益。我们使用多模式对比损失从头划线训练Vatt端到端，并通过视频动作识别，音频事件分类，图像分类和文本到视频检索的下游任务评估其性能。此外，我们通过共享三种方式之间的重量来研究模型 - 无话的单骨架变压器。我们表明，无卷积VATT优于下游任务中的最先进的Convnet架构。特别是，Vatt的视觉变压器在动力学-400上实现82.1％的高精度82.1％，在动力学-600，72.7％的动力学-700上的72.7％，以及时间的时间，新的记录，在避免受监督的预训练时，新的记录。通过从头划伤训练相同的变压器，转移到图像分类导致图像分类导致78.7％的ImageNet精度为64.7％，尽管视频和图像之间的域间差距，我们的模型概括了我们的模型。 Vatt的音雅音频变压器还通过在没有任何监督的预训练的情况下在Audioset上实现39.4％的地图来设置基于波形的音频事件识别的新记录。 Vatt的源代码是公开的。

Convolutional Neural Networks (CNNs) have proven very effective in image classification and show promise for audio. We use various CNN architectures to classify the soundtracks of a dataset of 70M training videos (5.24 million hours) with 30,871 video-level labels. We examine fully connected Deep Neural Networks (DNNs), AlexNet [1], VGG [2], Inception [3], and ResNet [4]. We investigate varying the size of both training set and label vocabulary, finding that analogs of the CNNs used in image classification do well on our audio classification task, and larger training and label sets help up to a point. A model using embeddings from these classifiers does much better than raw features on the Audio Set [5] Acoustic Event Detection (AED) classification task.

在这项工作中，我们介绍了无文本视觉语言变压器（TVLT），其中均匀的变压器块使用最小的模态设计进行视觉和语言表示的原始视觉和音频输入，并且不使用特定于文本的模块，例如作为令牌化或自动语音识别（ASR）。 TVLT通过重建连续视频帧和音频谱图（蒙版自动编码）和对比度建模以使视频和音频对比度建模进行训练。 TVLT在各种多模式任务上的性能与其基于文本的对应物相当，例如视觉询问，图像检索，视频检索和多模式情感分析，具有28倍的推理速度和仅1/3参数。我们的发现表明，从低级视觉和音频信号中学习紧凑，有效的视觉语言表示的可能性，而无需假设文本的先前存在。我们的代码和检查点可在以下网址找到：https：//github.com/zinengtang/tvlt

将音频分离成不同声音源的深度学习技术面临着几种挑战。标准架构需要培训不同类型的音频源的独立型号。虽然一些通用分离器采用单个模型来靶向多个来源，但它们难以推广到看不见的来源。在本文中，我们提出了一个三个组件的管道，可以从大型但弱标记的数据集：audioset训练通用音频源分离器。首先，我们提出了一种用于处理弱标记训练数据的变压器的声音事件检测系统。其次，我们设计了一种基于查询的音频分离模型，利用此数据进行模型培训。第三，我们设计一个潜在的嵌入处理器来编码指定用于分离的音频目标的查询，允许零拍摄的概括。我们的方法使用单一模型进行多种声音类型的源分离，并仅依赖于跨标记的培训数据。此外，所提出的音频分离器可用于零拍摄设置，学习以分离从未在培训中看到的音频源。为了评估分离性能，我们在侦察中测试我们的模型，同时在不相交的augioset上培训。我们通过对从训练中保持的音频源类型进行另一个实验，进一步通过对训练进行了另一个实验来验证零射性能。该模型在两种情况下实现了对当前监督模型的相当的源 - 失真率（SDR）性能。

大规模的声音识别数据集通常由从多媒体库中获得的声学记录组成。结果，通常可以利用音频以外的方式来改善为关联任务设计的模型的输出。但是，通常并非所有内容都适用于此类集合的所有样本：例如，原始材料可能在某个时候从源平台中删除，因此，不再获得非审计功能。我们证明，可以通过将此方法应用于基于注意力的深度学习系统来解决此问题来处理此问题，该系统目前是声音识别领域中最新的一部分。更具体地说，我们表明，可以成功地利用提出的模型扩展名将部分可用的视觉信息纳入此类网络的操作过程中，这些信息通常仅在训练和推理过程中使用听觉功能。在实验上，我们验证了所考虑的方法是否会导致许多与音频标记和声音事件检测有关的评估方案的预测。此外，我们仔细检查了所提出的技术的某些属性和局限性。

General perception systems such as Perceivers can process arbitrary modalities in any combination and are able to handle up to a few hundred thousand inputs. They achieve this generality by using exclusively global attention operations. This however hinders them from scaling up to the inputs sizes required to process raw high-resolution images or video. In this paper, we show that some degree of locality can be introduced back into these models, greatly improving their efficiency while preserving their generality. To scale them further, we introduce a self-supervised approach that enables learning dense low-dimensional positional embeddings for very large signals. We call the resulting model a Hierarchical Perceiver (HiP). In sum our contributions are: 1) scaling Perceiver-type models to raw high-resolution images and audio+video, 2) showing the feasibility of learning 1M+ positional embeddings from scratch using masked auto-encoding, 3) demonstrating competitive performance on raw data from ImageNet, AudioSet, PASCAL VOC, ModelNet40 and Kinetics datasets with the same exact, unchanged model and without specialized preprocessing or any tokenization.

将深度学习模型部署在具有有限计算资源的时间关键性应用程序中，例如在边缘计算系统和IoT网络中，是一项具有挑战性的任务，通常依赖于动态推理方法（例如早期退出）。在本文中，我们介绍了一种基于视觉变压器体系结构的新型架构，用于早期退出，以及一种微调策略，该策略与传统方法相比，在引入较少的开销的同时，显着提高了早期出口分支的准确性。通过有关图像和音频分类以及视听人群计数的广泛实验，我们表明我们的方法在分类和回归问题以及单模式设置中都适用于分类和回归问题。此外，我们引入了一种新颖的方法，用于在视听数据分析的早期出口中整合音频和视觉方式，这可能导致更细粒度的动态推断。

自动音频标题（AAC）是一种跨模型翻译任务，旨在使用自然语言来描述音频剪辑的内容。如在DCEAD 2021挑战的任务6所接收的提交所示，这一问题已受到越来越兴趣的社区。现有的AAC系统通常基于编码器解码器架构，其中音频信号被编码为潜像表示，并与其对应的文本描述对齐，则使用解码器来生成标题。然而，AAC系统的培训经常遇到数据稀缺问题，这可能导致不准确的表示和音频文本对齐。为了解决这个问题，我们提出了一种名为对比损耗的新型编码器解码器框架（CL4AC）。在CL4AC中，通过对比样本来利用来自原始音频文本成对数据的自我监督信号来利用音频和文本之间的对应关系，该样本可以提高潜在表示的质量和音频和文本之间的对齐，同时训练有限的数据。实验是在披丁数据集上进行的，以显示我们提出的方法的有效性。

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

Biological systems perceive the world by simultaneously processing high-dimensional inputs from modalities as diverse as vision, audition, touch, proprioception, etc. The perception models used in deep learning on the other hand are designed for individual modalities, often relying on domainspecific assumptions such as the local grid structures exploited by virtually all existing vision models. These priors introduce helpful inductive biases, but also lock models to individual modalities. In this paper we introduce the Perceiver -a model that builds upon Transformers and hence makes few architectural assumptions about the relationship between its inputs, but that also scales to hundreds of thousands of inputs, like ConvNets. The model leverages an asymmetric attention mechanism to iteratively distill inputs into a tight latent bottleneck, allowing it to scale to handle very large inputs. We show that this architecture is competitive with or outperforms strong, specialized models on classification tasks across various modalities: images, point clouds, audio, video, and video+audio. The Perceiver obtains performance comparable to ResNet-50 and ViT on ImageNet without 2D convolutions by directly attending to 50,000 pixels. It is also competitive in all modalities in AudioSet.

该项目涉及参加DCASE 2022竞赛（任务6），该竞赛具有两个子任务：（1）自动化音频字幕和（2）基于语言的音频检索。第一个子任务涉及对音频样本的文本描述的生成，而第二个目标是在匹配给定描述的固定数据集中找到音频样本。对于两个子任务，都使用了Clotho数据集。在BLEU1，BLEU2，BLEU3，ROGEL，Meteor，Cider，Spice和Spider评分上评估了这些模型，用于音频字幕，R1，R5，R10和MARP10分数用于音频检索。我们进行了一些实验，以修改这些任务的基线模型。我们用于自动音频字幕的最终体系结构接近基线性能，而我们的基于语言的音频检索模型已超过其对应方。

神经场通过将坐标输入映射到采样值来模型信号。从视觉，图形到生物学和天文学的许多领域，它们正成为越来越重要的主链体系结构。在本文中，我们探讨了这些网络中常见的调理机制之间的差异，这是将神经场从信号的记忆转移到概括的基本要素，其中共同建模了位于歧管上的一组信号。特别是，我们对这些机制的缩放行为感兴趣，以对日益高维的调理变量感兴趣。正如我们在实验中显示的那样，高维条件是建模复杂数据分布的关键，因此，确定哪种体系结构在处理此类问题时最能实现哪种选择。为此，我们运行了使用串联，超网络和基于注意力的调理策略对2D，3D和4D信号进行建模的实验，这是文献中尚未进行的必要但费力的努力。我们发现，基于注意力的条件在各种环境中的其他方法都优于其他方法。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。