在许多语音技术应用中，语音覆盖是一个重要阶段。该领域的最新工作已由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已在消除语音的任务中为序列建模而提出。在这项工作中，提出了加权多污染深度分离的卷积，以替代TCN模型中标准的深度可分离卷积。该提出的卷积使TCN能够在网络中每个卷积块的接收场中动态关注或多或少的本地信息。结果表明，这种加权的多污染时间卷积网络（WD-TCN）始终优于各种模型配置和使用WD-TCN模型的TCN，这是一种更有效的方法，可以提高模型的性能，而不是增加增加模型的性能。卷积块。基线TCN的最佳性能改进是0.55 dB标准不变的信噪比（SISDR），并且最佳性能WD-TCN模型在WHAMR数据集上达到12.26 dB SISDR。

语音覆盖通常是强大的语音处理任务中的重要要求。有监督的深度学习（DL）模型为单渠道语音消失提供了最先进的性能。时间卷积网络（TCN）通常用于语音增强任务中的序列建模。 TCN的一个功能是，它们具有依赖于特定模型配置的接收场（RF），该模型配置确定了可以观察到的输入框架的数量，以产生单个输出框架。已经表明，TCN能够对模拟语音数据进行编织，但是进行了彻底的分析，尤其是在文献中尚未关注RF。本文根据TCN的模型大小和RF分析了覆盖性能。使用WHAMR语料库进行的实验，该实验扩展到包括较大T60值的房间脉冲响应（RIR）表明，较大的RF在训练较小的TCN模型时可以显着改善性能。还可以证明，当用更大的RT60值解冻RIR时，TCN受益于更宽的RF。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

We present the first neural network model to achieve real-time and streaming target sound extraction. To accomplish this, we propose Waveformer, an encoder-decoder architecture with a stack of dilated causal convolution layers as the encoder, and a transformer decoder layer as the decoder. This hybrid architecture uses dilated causal convolutions for processing large receptive fields in a computationally efficient manner, while also benefiting from the performance transformer-based architectures provide. Our evaluations show as much as 2.2-3.3 dB improvement in SI-SNRi compared to the prior models for this task while having a 1.2-4x smaller model size and a 1.5-2x lower runtime. Open-source code and datasets: https://github.com/vb000/Waveformer

大多数最新的说话者验证架构都采用了多尺度处理和频道注意机制。这些模型的卷积层通常具有固定的内核大小，例如3或5。在本研究中，我们进一步为这一研究采用了选择性核心注意（SKA）机制。SKA机制允许每个卷积层以数据驱动的方式自适应地选择内核大小。它基于利用频率和通道域的注意机制。我们首先将现有的SKA模块应用于我们的基线。然后，我们提出了两个SKA变体，其中第一个变体在ECAPA-TDNN模型的前面应用，另一个变体与RES2NET骨干块结合使用。通过广泛的实验，我们证明了我们提出的两个SKA变体始终提高性能，并在三个不同的评估方案上进行测试时是互补的。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

我们提出了一种可扩展高效的神经波形编码系统，用于语音压缩。我们将语音编码问题作为一种自动汇总任务，其中卷积神经网络（CNN）在其前馈例程期间执行编码和解码作为神经波形编解码器（NWC）。所提出的NWC还将量化和熵编码定义为可培训模块，因此在优化过程期间处理编码伪像和比特率控制。通过将紧凑的模型组件引入NWC，如Gated Reseal Networks和深度可分离卷积，我们实现了效率。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖各种比特率。为此，我们采用残余编码概念来连接多个NWC自动汇总模块，其中每个NWC模块执行残差编码以恢复其上一模块已创建的任何重建损失。 CMRL也可以缩小以覆盖下比特率，因为它采用线性预测编码（LPC）模块作为其第一自动化器。混合设计通过将LPC的量化作为可分散的过程重新定义LPC和NWC集成，使系统培训端到端的方式。所提出的系统的解码器在低至中等比特率范围（12至20kbps）或高比特率（32kbps）中的两个NWC中的一个NWC（0.12百万个参数）。尽管解码复杂性尚不低于传统语音编解码器的复杂性，但是从其他神经语音编码器（例如基于WVENET的声码器）显着降低。对于宽带语音编码质量，我们的系统对AMR-WB的性能相当或卓越的性能，并在低和中等比特率下的速度试验话题上的表现。所提出的系统可以扩展到更高的比特率以实现近透明性能。

State-of-the-art speaker verification frameworks have typically focused on speech enhancement techniques with increasingly deeper (more layers) and wider (number of channels) models to improve their verification performance. Instead, this paper proposes an approach to increase the model resolution capability using attention-based dynamic kernels in a convolutional neural network to adapt the model parameters to be feature-conditioned. The attention weights on the kernels are further distilled by channel attention and multi-layer feature aggregation to learn global features from speech. This approach provides an efficient solution to improving representation capacity with lower data resources. This is due to the self-adaptation to inputs of the structures of the model parameters. The proposed dynamic convolutional model achieved 1.62\% EER and 0.18 miniDCF on the VoxCeleb1 test set and has a 17\% relative improvement compared to the ECAPA-TDNN.

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

非侵入性负载监控（NILM）试图通过从单个骨料测量中估算单个设备功率使用来节省能源。深度神经网络在尝试解决尼尔姆问题方面变得越来越流行。但是，大多数使用的模型用于负载识别，而不是在线源分离。在源分离模型中，大多数使用单任务学习方法，其中神经网络专门为每个设备培训。该策略在计算上是昂贵的，并且忽略了多个电器可以同时活跃的事实和它们之间的依赖性。其余模型不是因果关系，这对于实时应用很重要。受语音分离模型Convtas-Net的启发，我们提出了Conv-Nilm-Net，这是端到端尼尔姆的完全卷积框架。 Conv-NILM-NET是多元设备源分离的因果模型。我们的模型在两个真实数据集和英国销售的两个真实数据集上进行了测试，并且显然超过了最新技术的状态，同时保持尺寸明显小于竞争模型。

与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。

Citrinet是基于端到端卷积连接派时间分类（CTC）自动语音识别（ASR）模型。为了捕获本地和全球上下文信息，Citrinet中使用了1D时间通道可分开的卷积与子词编码和挤压和兴奋（SE）的结合（SE），使整个体系结构与23个块和235个卷积层一样深和46个线性层。这种纯净的卷积和深度建筑使得critrinet在收敛时相对较慢。在本文中，我们建议在Citrinet块中的卷积模块中引入多头关注，同时保持SE模块和残留模块不变。为了加速加速，我们在每个注意力增强的Citrinet块中删除了8个卷积层，并将23个块减少到13个。日本CSJ-500H和Magic-1600h的实验表明，注意力增强的Citrinet具有较少的层和块，并更快地将其构图和嵌段。比（1）Citrinet具有80 \％训练时间的CITRINET，并且具有40 \％训练时间和29.8％型号的构象异构体。

深度卷积神经网络（DCNN）辅助高动态范围（HDR）成像最近接受了很多关注。 DCNN生成的HDR图像的质量过于传统的对应物。然而，DCNN容易被计算密集和富力耗电。为了解决挑战，我们提出了用于极端双曝光图像融合的轻质CNN的基于轻型CNN的算法，这可以在具有有限的电力和硬件资源的各种嵌入式计算平台上实现。使用两个子网络：GlobalNet（g）和detailnet（d）。 G的目标是学习关于空间维度的全局信息，而D旨在增强通道维度的本地细节。 G和D都仅基于深度卷积（D CONC）和何时卷积（P CONV），以减少所需的参数和计算。实验结果显示所提出的技术可以在极其暴露的区域中产生具有合理细节的HDR图像。我们的模型超过了其他最先进的方法0.7至8.5，至于PSNR得分，并与其他方式达到7,675至463,385参数减少

隔离架构在语音分离中显示出非常好的结果。像其他学习的编码器模型一样，它使用了短帧，因为它们已被证明在这些情况下可以获得更好的性能。这导致输入处有大量帧，这是有问题的。由于隔离器是基于变压器的，因此其计算复杂性随着较长的序列而大大增加。在本文中，我们在语音增强任务中采用了隔离器，并表明，通过以短期傅立叶变换（STFT）表示替换学习式编码器的功能，我们可以使用长帧而不会损害感知增强性能。我们获得了同等的质量和清晰度评估得分，同时将10秒的话语减少了大约8倍。

In standard Convolutional Neural Networks (CNNs), the receptive fields of artificial neurons in each layer are designed to share the same size. It is well-known in the neuroscience community that the receptive field size of visual cortical neurons are modulated by the stimulus, which has been rarely considered in constructing CNNs. We propose a dynamic selection mechanism in CNNs that allows each neuron to adaptively adjust its receptive field size based on multiple scales of input information. A building block called Selective Kernel (SK) unit is designed, in which multiple branches with different kernel sizes are fused using softmax attention that is guided by the information in these branches. Different attentions on these branches yield different sizes of the effective receptive fields of neurons in the fusion layer. Multiple SK units are stacked to a deep network termed Selective Kernel Networks (SKNets). On the ImageNet and CIFAR benchmarks, we empirically show that SKNet outperforms the existing state-of-the-art architectures with lower model complexity. Detailed analyses show that the neurons in SKNet can capture target objects with different scales, which verifies the capability of neurons for adaptively adjusting their receptive field sizes according to the input. The code and models are available at https://github.com/implus/SKNet.

设备方向听到需要从给定方向的音频源分离，同时实现严格的人类难以察觉的延迟要求。虽然神经网络可以实现比传统的波束形成器的性能明显更好，但所有现有型号都缺乏对计算受限的可穿戴物的低延迟因果推断。我们展示了一个混合模型，将传统的波束形成器与定制轻质神经网络相结合。前者降低了后者的计算负担，并且还提高了其普遍性，而后者旨在进一步降低存储器和计算开销，以实现实时和低延迟操作。我们的评估显示了合成数据上最先进的因果推断模型的相当性能，同时实现了模型尺寸的5倍，每秒计算的4倍，处理时间减少5倍，更好地概括到真实的硬件数据。此外，我们的实时混合模型在为低功耗可穿戴设备设计的移动CPU上运行8毫秒，并实现17.5毫秒的端到端延迟。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

最近，卷积增强的变压器（构象异构体）在自动语音识别（ASR）和时间域语音增强（SE）中实现了有希望的表现，因为它可以捕获语音信号中的本地和全局依赖性。在本文中，我们在时间频率（TF）域中提出了SE的基于构型的度量生成对抗网络（CMGAN）。在发电机中，我们利用两阶段的构象体块来通过对时间和频率依赖性进行建模来汇总所有幅度和复杂的频谱图。大小和复杂谱图的估计在解码器阶段被解耦，然后共同掺入以重建增强的语音。此外，通过优化相应的评估评分，采用了度量歧视器来进一步提高增强估计语音的质量。语音库+需求数据集的定量分析表明，CMGAN在优于以前的模型的功能，即PESQ为3.41，SSNR为11.10 dB。

Previous works (Donahue et al., 2018a;Engel et al., 2019a) have found that generating coherent raw audio waveforms with GANs is challenging. In this paper, we show that it is possible to train GANs reliably to generate high quality coherent waveforms by introducing a set of architectural changes and simple training techniques. Subjective evaluation metric (Mean Opinion Score, or MOS) shows the effectiveness of the proposed approach for high quality mel-spectrogram inversion. To establish the generality of the proposed techniques, we show qualitative results of our model in speech synthesis, music domain translation and unconditional music synthesis. We evaluate the various components of the model through ablation studies and suggest a set of guidelines to design general purpose discriminators and generators for conditional sequence synthesis tasks. Our model is non-autoregressive, fully convolutional, with significantly fewer parameters than competing models and generalizes to unseen speakers for mel-spectrogram inversion. Our pytorch implementation runs at more than 100x faster than realtime on GTX 1080Ti GPU and more than 2x faster than real-time on CPU, without any hardware specific optimization tricks.