来自双耳信号的非侵入式语音可懂度（SI）预测在许多应用中都很有用。然而，大多数现有的基于信号的措施被设计为应用于单通道信号。专门设计用于考虑信号的双耳属性的措施通常是侵扰的，其特征在于需要访问清洁语音信号 - 并且通常依赖于在进行预测之前将两个通道组合到单通道信号中。本文提出了一种非侵入式SI测量，其使用矢量量化（VQ）和对比预测编码（CPC）方法的组合计算来自双耳输入信号的特征。 VQ-CPC功能提取不依赖于听觉系统的任何模型，而是培训以最大化输入信号和输出功能之间的相互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测功能。本文考虑了两种预测功能。两个特征提取器和预测功能都接受了具有各向同性噪声的模拟双耳信号。它们在具有各向同性和真实噪声的模拟信号上进行测试。对于所有信号，地面真相分数是（侵入式）确定性化双耳stoi。结果以相关性和MSE提供给出，并证明VQ-CPC功能能够捕获与建模SI相关的信息，并且越优于所有被考虑的基准 - 即使在评估包括不同噪声场类型的数据时也是如此。

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

Objective: Despite numerous studies proposed for audio restoration in the literature, most of them focus on an isolated restoration problem such as denoising or dereverberation, ignoring other artifacts. Moreover, assuming a noisy or reverberant environment with limited number of fixed signal-to-distortion ratio (SDR) levels is a common practice. However, real-world audio is often corrupted by a blend of artifacts such as reverberation, sensor noise, and background audio mixture with varying types, severities, and duration. In this study, we propose a novel approach for blind restoration of real-world audio signals by Operational Generative Adversarial Networks (Op-GANs) with temporal and spectral objective metrics to enhance the quality of restored audio signal regardless of the type and severity of each artifact corrupting it. Methods: 1D Operational-GANs are used with generative neuron model optimized for blind restoration of any corrupted audio signal. Results: The proposed approach has been evaluated extensively over the benchmark TIMIT-RAR (speech) and GTZAN-RAR (non-speech) datasets corrupted with a random blend of artifacts each with a random severity to mimic real-world audio signals. Average SDR improvements of over 7.2 dB and 4.9 dB are achieved, respectively, which are substantial when compared with the baseline methods. Significance: This is a pioneer study in blind audio restoration with the unique capability of direct (time-domain) restoration of real-world audio whilst achieving an unprecedented level of performance for a wide SDR range and artifact types. Conclusion: 1D Op-GANs can achieve robust and computationally effective real-world audio restoration with significantly improved performance. The source codes and the generated real-world audio datasets are shared publicly with the research community in a dedicated GitHub repository1.

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

当缺乏口头交流的范围时，例如，对于失去说话能力的患者，语言运动的产生和增强有助于沟通。尽管已经提出了各种技术，但电视学（EPG）是一种监测技术，记录了舌头和硬口感之间的接触，但尚未得到充分探索。本文中，我们提出了一种新型的多模式EPG到语音（EPG2S）系统，该系统利用EPG和语音信号进行语音产生和增强。研究了基于EPG和嘈​​杂语音信号的多种组合的不同融合策略，并研究了该方法的生存能力。实验结果表明，EPG2仅基于EPG信号实现了理想的语音产生结果。此外，观察到嘈杂的语音信号的添加以提高质量和清晰度。此外，观察到EPG2S仅基于音频信号实现高质量的语音增强，而添加EPG信号进一步改善了性能。晚期的融合策略被认为是同时言语产生和增强的最有效方法。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

无需清洁参考，非侵入式语音评估方法对客观评估引起了很大的关注。最近，已经应用了深度神经网络（DNN）模型来构建非侵入式语音评估方法并确认提供了有希望的性能。但是，基于DNN的大多数方法都是针对正常听力侦听者设计的，而不考虑听力损失因素。在本研究中，我们提出了一种由双向长期内存（BLSTM）模型形成的DNN的助听器语音评估网络（HASA-Net），以根据输入语音信号和指定的同时预测语音质量和可懂度分数听力损失模式。据我们所知，Hasa-net是利用统一的DNN的非侵入性模型来融入质量和可智能性评估的第一项工作。实验结果表明，HASA-NET的预测语音质量和可智能性评分与两个公知的侵入性助听剂评估指标高度相关，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI）。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

通道不匹配和噪声干扰的补偿对于强大的自动语音识别至关重要。增强的语音已引入声学模型的多条件训练中，以提高其概括能力。在本文中，提出了一个基于两个级联神经结构的噪音感知训练框架，以共同优化语音增强和语音识别。功能增强模块由多任务自动编码器组成，嘈杂的语音被分解为干净的语音和噪声。通过将其增强的，吸引噪音的和嘈杂的特征连接起来，通过优化预测的无晶格最大互信息和预测状态序列之间的无晶格最大互助和交叉熵，声音模块将每个特征型仪表型映射到Triphone状态。除了分解时间延迟神经网络（TDNN-F）及其卷积变体（CNN-TDNNF），均具有Specaug，两个提议的系统的单词错误率（WER）分别为3.90％和3.55％ Aurora-4任务。与使用BigRAM和Trigram语言模型进行解码的最佳现有系统相比，拟议的基于CNN-TDNNF的系统的相对降低分别为15.20％和33.53％。此外，提出的基于CNN-TDNNF的系统还优于AMI任务上的基线CNN-TDNNF系统。

在本文中，我们探索了一个改进的框架，以训练单腔神经增强模型，以识别强大的语音识别。设计的训练框架扩展了现有的混合训练标准，以利用未配对的干净语音和真实的嘈杂数据。发现未配对的干净言语对于提高实际嘈杂言论的分离语音质量至关重要。所提出的方法还对处理和未加工的信号进行混合，以减轻处理工件。单渠道Chime-3真实测试集上的实验表明，在语音识别性能方面，对在不匹配的模拟数据上训练的增强系统的语音识别性能以有监督的方式或以不受欢迎的方式对匹配的真实数据进行了显着改善。与未经处理的信号相比，使用端到端和混合声模型在未经扭曲的数据进行重新纠正的情况下，该系统已实现了16％至39％的相对减少。

最近，基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程，其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程，可以产生干净的语音。我们以先前的工作为基础，并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述，并探索了不同的采样器配置，以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构，与以前的出版物相比，我们可以显着提高性能。我们还表明，我们可以与最近的判别模型竞争，并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充，其中我们提出的方法是最好的。此外，我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得，请参见https://uhh.de/inf-sp-sgmse

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

宽带音频波形评估网络（Wawenets）是直接在宽带音频波形上运行的卷积神经网络，以便对这些波形进行评估。在目前的工作中，这些评估赋予了电信语音的素质（例如嘈杂，清晰度，整体语音质量）。 Wawenets是无引用网络，因为它们不需要他们评估的波形的``参考''（原始或未经证实的）版本。我们最初的Wawenet出版物引入了四个Wawenets，并模拟了已建立的全参考语音质量或清晰度估计算法的输出。我们已经更新了Wawenet架构，以提高效率和有效性。在这里，我们提出了一个密切跟踪七个不同质量和可理解性值的单一Wawenet。我们创建了第二个网络，该网络还跟踪四个主观语音质量维度。我们提供第三个网络，专注于公正的质量分数并达到很高的共识。这项工作用13种语言利用了334小时的演讲，超过200万个全参考目标值和超过93,000个主观意见分数。我们还解释了Wawenets的操作，并使用信号处理的语言确定其操作的关键：Relus从战略上将光谱信息从非DC组件移动到DC组件中。 96输出信号的直流值在96-D潜在空间中定义了一个向量，然后将该向量映射到输入波形的质量或清晰度值。

对语音增强系统的培训通常不会纳入人类感知的知识，因此可能导致不自然的声音结果。通过预测网络将精神上动机的语音感知指标纳入模型培训的一部分，最近引起了人们的兴趣。但是，此类预测因子的性能受到培训数据中出现的度量分数的分布的限制。在这项工作中，我们提出了Metricgan +/-（Metricgan+的扩展，一个这样的度量动机系统），该系统引入了一个额外的网络 - 一个“脱发器”，该网络试图改善预测网络的稳健性（并通过扩展。发电机）通过确保观察训练中更广泛的度量得分。VoiceBank数据集的实验结果显示，PESQ得分的相对改善为3.8％（3.05 vs 3.22 PESQ得分），以及更好地概括对看不见的噪音和语音。

我们研究了在不利环境中学习强大声学模型的问题，其特征是训练和测试条件之间存在显着不匹配。这个问题对于需要在看不见的环境中表现良好的语音识别系统的部署至关重要。首先，我们从理论上将数据增强表征为笼子风险最小化的实例，该实例旨在通过替换在输入空间上定义经验密度的三角洲函数来改善培训期间的风险估计，并具有近似值的近似值。培训样品。更具体地说，我们假设可以使用高斯人的混合物来近似以训练样品为中心的当地社区，并从理论上证明这可以将强大的电感偏置纳入学习过程。然后，我们通过数据增强方案隐式地指定各个混合物组件，旨在解决声学模型中伪造相关性的常见来源。为了避免由于信息丢失而引起的鲁棒性的潜在混杂影响，这与标准特征提取技术（例如Fbank和MFCC功能）有关，我们重点关注基于波形的设置。我们的经验结果表明，该方法可以推广到看不见的噪声条件，与使用标准风险最小化原则进行训练相比，分布外概括的相对改善150％。此外，结果证明了相对于使用旨在匹配测试话语特征的训练样本的模型，相对于模型的竞争性能。

当需要域专家来执行复杂的机器学习任务的数据注释时，减少注释工作对于缩短时间和费用至关重要。对于没有可用注释的情况，一种方法是利用特征空间的结构进行基于聚类的活动学习（AL）方法。但是，这些方法在很大程度上取决于样品在特征空间中的组织方式以及使用哪种距离度量。无监督的方法，例如对比性预测编码（CPC），可以潜在地用于学习有组织的特征空间，但是这些方法通常会产生高维特征，这对于估计数据密度可能具有挑战性。在本文中，我们将CPC和多个维度降低方法结合在一起，以搜索基于聚类的AL的功能实践。我们用于模拟语音情感识别系统部署的实验表明，该特征空间的本地和全球拓扑都可以成功用于AL，并且CPC可用于改善基于聚类的AL性能，而不是传统信号功能。此外，我们观察到，压缩数据维度并不损害AL性能，并且当注释数量不是很低时，2-D特征表示与高维表示相似。

人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。

使用多个麦克风进行语音增强的主要优点是，可以使用空间滤波来补充节奏光谱处理。在传统的环境中，通常单独执行线性空间滤波（波束形成）和单通道后过滤。相比之下，采用深层神经网络（DNN）有一种趋势来学习联合空间和速度 - 光谱非线性滤波器，这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是，尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此，在这项工作中，我们通过仔细控制网络可用的信息源（空间，光谱和时间）来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性，该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器，以低于0.24的POLQA得分，较少数量的麦克风。我们的分析表明，在特定的光谱信息中应与空间信息共同处理，因为这会提高过滤器的空间选择性。然后，我们的系统评估会导致一个简单的网络体系结构，该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分，而CHIME3数据上的POLQA得分为0.32。

神经音频/语音编码表明其能力比最近的传统方法低得多的比特率。但是，现有的神经音频/语音编解码器采用声学特征或具有卷积神经网络的学术盲功能来编码，通过该特征，编码功能中仍有时间冗余。本文将潜在域预测性编码引入VQ-VAE框架中，以完全删除此类冗余，并以端到端的方式提出了低延迟神经语音编码的TF-CODEC。具体而言，提取的特征是根据过去量化潜在框架的预测进行编码的，以便进一步删除时间相关性。更重要的是，我们在时间频输入上引入了可学习的压缩，以适应对不同比特率的主要频率和细节的关注。提出了一种基于距离映射和Gumbel-softmax的可区分矢量量化方案，以更好地模拟具有速率约束的潜在分布。多语言语音数据集的主观结果表明，在40ms的潜伏期中，提议的1kbps的TF-Codec可以比Opus 9Kbps和3Kbps的TF-Codec取得更好的质量，而3Kbps的表现都优于EVS 9.6kbps和Opus 12kbps。进行了许多研究以显示这些技术的有效性。