In a scenario with multiple persons talking simultaneously, the spatial characteristics of the signals are the most distinct feature for extracting the target signal. In this work, we develop a deep joint spatial-spectral non-linear filter that can be steered in an arbitrary target direction. For this we propose a simple and effective conditioning mechanism, which sets the initial state of the filter's recurrent layers based on the target direction. We show that this scheme is more effective than the baseline approach and increases the flexibility of the filter at no performance cost. The resulting spatially selective non-linear filters can also be used for speech separation of an arbitrary number of speakers and enable very accurate multi-speaker localization as we demonstrate in this paper.

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

采用深层神经网络（DNN）直接学习多通道语音增强的过滤器，这可能是将线性空间过滤器与独立的节奏光谱后过滤器相结合的传统方法的两个关键优势：1）非线性空间过滤器克服源自线性处理模型的潜在限制和2）空间和速度光谱信息的关节处理可以利用不同信息来源之间的相互依赖性。最近提出了各种基于DNN的非线性过滤器，报告了良好的增强性能。但是，对于将网络体系结构设计变成机会游戏的内部机制知之甚少。因此，在本文中，我们执行实验，以更好地了解基于DNN的非线性过滤器对空间，光谱和时间信息的内部处理。一方面，我们在艰难的语音提取方案中的实验证实了非线性空间滤波的重要性，该空间过滤的重要性超过了Oracle线性空间滤波器，高于0.24 POLQA得分。另一方面，我们证明了联合处理导致较大的性能差距，除了空间信息之外，在利用光谱与时间信息的网络体系结构之间得分为0.4 POLQA得分。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

我们提出了一个单阶段的休闲波形到波形多通道模型，该模型可以根据动态的声学场景中的广泛空间位置分离移动的声音源。我们将场景分为两个空间区域，分别包含目标和干扰声源。该模型经过训练有素的端到端，并隐含地进行空间处理，而没有基于传统处理或使用手工制作的空间特征的任何组件。我们在现实世界数据集上评估了所提出的模型，并表明该模型与Oracle Beamformer的性能匹配，然后是最先进的单渠道增强网络。

多通道多扬声器的自动语音识别（ASR）重叠的语音仍然是语音社区最具挑战性的任务之一。在本文中，我们首次利用3D空间中的目标扬声器的位置信息来研究挑战。为了探讨所提出的3D空间特征的强度，研究了两个范例。 1）带有多通道语音分离模块的流水线系统，后跟最先进的单通道ASR模块; 2）3D空间特征直接用作无明确分离模块的ASR系统的输入的“一体化”模型。它们都是完全可分辨的，并且可以回到倒端的端到端。我们在模拟重叠的语音和实际录音上测试它们。实验结果表明，1）所提出的一体化模型对流水线系统实现了类似的误码率，同时将推理时间减少一半; 2）所提出的3D空间特征显着优于（31 \％CERR）所有先前的应用程序在两个范例中使用的所有先前作品。

本文介绍了增强现实耳机的嘈杂语音识别，该耳机有助于在真实的多方对话环境中进行口头交流。在模拟环境中积极研究的一种主要方法是，基于以监督方式训练的深神经网络（DNNS），依次执行语音增强和自动语音识别（ASR）。但是，在我们的任务中，由于培训和测试条件与用户的头部移动之间的不匹配，因此这种预处理的系统无法正常工作。为了仅增强目标扬声器的话语，我们基于基于DNN的语音掩码估计器使用束构造，该估计量可以适应地提取与头部相关特定方向相对应的语音组件。我们提出了一种半监督的适应方法，该方法使用带有地面真实转录和嘈杂的语音信号的干净语音信号在运行时共同更新蒙版估计器和ASR模型，并具有高度固定的估计转录。使用最先进的语音识别系统的比较实验表明，所提出的方法显着改善了ASR性能。

我们考虑了双耳应用的音频语音分离问题，例如耳机和助听器。虽然当今的神经网络的表现非常出色（用2美元的麦克风分开$ 4+$来源），但他们假设已知或固定的最大数量来源，K。和人头形。本文打算放松这两个约束，而牺牲问题定义的略有改变。我们观察到，当接收到的混合物包含过多的来源时，将它们逐个区域分开，即将信号混合物与用户头部周围的每个圆锥形扇区隔离。这需要学习每个区域的细粒空间特性，包括人头施加的信号扭曲。我们提出了一个两阶段的自我监督框架，在该框架中，预处理耳机中听到声音以提取相对清洁的个性化信号，然后将其用于训练区域分离模型。结果表明表现出色的表现，强调了个性化在通用监督方法上的重要性。 （在我们的项目网站上可用的音频样本：https：//uiuc-earable-computing.github.io/binaural/。我们相信，我们相信此结果可以帮助现实世界中的应用程序，以选择性听力，消除噪音和音频增强现实。

Recently, many deep learning based beamformers have been proposed for multi-channel speech separation. Nevertheless, most of them rely on extra cues known in advance, such as speaker feature, face image or directional information. In this paper, we propose an end-to-end beamforming network for direction guided speech separation given merely the mixture signal, namely MIMO-DBnet. Specifically, we design a multi-channel input and multiple outputs architecture to predict the direction-of-arrival based embeddings and beamforming weights for each source. The precisely estimated directional embedding provides quite effective spatial discrimination guidance for the neural beamformer to offset the effect of phase wrapping, thus allowing more accurate reconstruction of two sources' speech signals. Experiments show that our proposed MIMO-DBnet not only achieves a comprehensive decent improvement compared to baseline systems, but also maintain the performance on high frequency bands when phase wrapping occurs.

设备方向听到需要从给定方向的音频源分离，同时实现严格的人类难以察觉的延迟要求。虽然神经网络可以实现比传统的波束形成器的性能明显更好，但所有现有型号都缺乏对计算受限的可穿戴物的低延迟因果推断。我们展示了一个混合模型，将传统的波束形成器与定制轻质神经网络相结合。前者降低了后者的计算负担，并且还提高了其普遍性，而后者旨在进一步降低存储器和计算开销，以实现实时和低延迟操作。我们的评估显示了合成数据上最先进的因果推断模型的相当性能，同时实现了模型尺寸的5倍，每秒计算的4倍，处理时间减少5倍，更好地概括到真实的硬件数据。此外，我们的实时混合模型在为低功耗可穿戴设备设计的移动CPU上运行8毫秒，并实现17.5毫秒的端到端延迟。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

在本文中，提出了一种用于加权预测误差（WPE）方法的Kalman滤波变体的神经网络增强算法。滤波器随机变化是通过使用过滤器残留误差和信号特性端对端的深神经网络（DNN）预测的。提出的框架允许在类似于Whamr！的单渠道嘈杂的混响数据集上进行稳健的编织。当目标语音功率频谱密度不完全了解并且观察值嘈杂时，Kalman过滤WPE仅预测剩余误差的滤波器变化时，才会在增强信号中引入失真。提出的方法通过以数据驱动的方式纠正滤波器变化估计来避免这些扭曲，从而将方法的鲁棒性增加到噪声方案。此外，与DNN支持的递归最小二乘正方形变体相比，它产生了强烈的脊椎和脱氧性能，尤其是对于高度嘈杂的输入。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

我们为基于语义信息（称为ConceptBeam的语义信息）提出了一个新颖的框架。目标语音提取意味着在混合物中提取目标扬声器的语音。典型的方法一直在利用音频信号的性能，例如谐波结构和到达方向。相反，ConceptBeam通过语义线索解决了问题。具体来说，我们使用概念规范（例如图像或语音）提取说话者谈论概念的演讲，即感兴趣的主题。解决这个新颖的问题将为对话中讨论的特定主题等创新应用打开门。与关键字不同，概念是抽象的概念，使直接代表目标概念的挑战。在我们的方案中，通过将概念规范映射到共享的嵌入空间，将概念编码为语义嵌入。可以使用由图像及其口语字幕组成的配对数据进行深度度量学习来构建这种独立的空间。我们使用它来桥接模式依赖性信息，即混合物中的语音段以及指定的，无模式的概念。作为我们方案的证明，我们使用与口语标题相关的一组图像进行了实验。也就是说，我们从这些口语字幕中产生了语音混合物，并将图像或语音信号用作概念指定符。然后，我们使用已识别段的声学特征提取目标语音。我们将ConceptBeam与两种方法进行比较：一种基于从识别系统获得的关键字，另一个基于声音源分离。我们表明，概念束明显优于基线方法，并根据语义表示有效提取语音。

语音分离的目标是从单个麦克风记录中提取多个语音源。最近，随着大型数据集的深度学习和可用性的进步，言语分离已被制定为监督的学习问题。这些方法旨在使用监督学习算法，通常是深神经网络学习语音，扬声器和背景噪声的判别模式。监督语音分离中的一个持久问题正在为每个分离的语音信号找到正确的标签，称为标签置换歧义。置换歧义是指确定分离源和可用的单扬声器语音标签之间的输出标签分配的问题。计算分离误差需要找到最佳输出标签分配，后来用于更新模型的参数。最近，置换不变训练（PIT）已被证明是处理标签歧义问题的有希望的解决方案。但是，通过坑的输出标签分配的过度自信选择导致次优训练模型。在这项工作中，我们提出了一个概率的优化框架来解决坑中找到最佳输出标签分配的效率。然后，我们所提出的方法在折放不变训练（PIT）语音分离方法中使用的相同的长短期内存（LSTM）架构。我们的实验结果表明，所提出的方法优于传统的坑语音分离（P值$ <0.01 $），在信号到失真比（SDR）和干扰比中的失真率（SDR）和+ 1.5dB中的+ 1dB（SIR）。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

通过未计算的数据情况和缺乏本领域缺乏标准基准的动机，我们补充了我们以前的努力，并提出了一个专为培训和评估文本无关的多通道扬声器验证系统的全面语料库。还可以容易地用于DERE失去，去噪和语音增强的实验。我们通过利用VOXECEB数据集的清洁部分顶部的数据仿真来解决缺乏多通道训练数据的缺乏问题。开发和评估试验基于复杂的传统的声音，这些声音在复杂的环境环境（声音）语料库中，我们修改以提供多渠道试验。我们发布从公共来源创建数据集的完整食谱作为Multisv语料库，我们提供了两种多通道扬声器验证系统，其中两个多通道扬声器验证系统，基于神经网络的波束成形，基于预测理想二进制掩码或更新的CONV-TASNet更新。

增强现实设备具有增强人类感知的潜力，并使复杂的会话环境中的其他辅助功能能够实现。有效地捕获理解这些社交交互所必需的视听上下文首先需要检测和定位设备佩戴者和周围人的语音活动。这些任务由于它们的高电平性质而挑战：佩戴者的头部运动可能导致运动模糊，周围的人可能出现在困难的观察中，并且可能有遮挡，视觉杂乱，音频噪声和畸形。在这些条件下，以前的最先进的主动扬声器检测方法不会给出令人满意的结果。相反，我们使用视频和多通道麦克风阵列音频从新设置中解决问题。我们提出了一种新的端到端深度学习方法，可以提供强大的语音活动检测和本地化结果。与以前的方法相比，我们的方法将主动扬声器从球体上的所有可能方向定位，即使在相机的视野之外，同时检测设备佩戴者自己的语音活动。我们的实验表明，该方法提供了卓越的结果，可以实时运行，并且对抗噪音和杂乱是强大的。

单频语音分离在过去几年中经历了很大的进展。然而，为大量扬声器训练神经言语分离（例如，超过10个扬声器）对当前方法遥不可及，依赖于置换不变丢失（PIT）。在这项工作中，我们提出了一种私奔不变的培训，采用匈牙利算法，以便用$ o（c ^ 3）$时间复杂度训练，其中$ c $是扬声器的数量，与$ o相比（c！）基于坑的方法。此外，我们提出了一种可以处理增加数量的扬声器的修改后的架构。我们的方法将高达20美元的发言者分开，并通过广泛的保证金提高了以上的额外费用的前面的结果。