在计算机音乐和心理声学中，感知响度与身体属性之间的关系是一个重要的主题。对“相等大通轮廓”的早期研究可以追溯到1920年代，从那以后，对强度和频率进行了测量的响度已被修订了多次。然而，大多数研究仅关注合成的声音，并且很少有合理的自然色调理论。为此，我们通过建模钢琴音调在本文中研究了天然音调感知的理论和应用。该理论部分包含：1）对音高的钢琴相等大小轮廓的准确测量，以及2）一个机器学习模型，能够纯粹基于基于人类主题测量的光谱特征来推断响度。至于应用程序，我们将理论应用于钢琴控制转移，其中我们调整了两个不同玩家钢琴（在不同的声学环境中）上的MIDI速度，以达到相同的感知效果。实验表明，我们的理论响度建模和相应的性能控制转移算法都显着优于其基准。

最近，对抗机器学习攻击对实用音频信号分类系统构成了严重的安全威胁，包括语音识别，说话者识别和音乐版权检测。先前的研究主要集中在确保通过在原始信号上产生类似小噪声的扰动来攻击音频信号分类器的有效性。目前尚不清楚攻击者是否能够创建音频信号扰动，除了其攻击效果外，人类还可以很好地看待。这对于音乐信号尤其重要，因为它们经过精心制作，具有可让人的音频特征。在这项工作中，我们将对音乐信号的对抗性攻击作为一种新的感知攻击框架，将人类研究纳入对抗性攻击设计中。具体而言，我们进行了一项人类研究，以量化人类对音乐信号的变化的看法。我们邀请人类参与者根据对原始和扰动的音乐信号对进行评分，并通过回归分析对人类感知过程进行反向工程，以预测给定信号的人类感知的偏差。然后将感知感知的攻击作为优化问题提出，该问题找到了最佳的扰动信号，以最大程度地减少对回归人类感知模型的感知偏差的预测。我们使用感知感知的框架来设计对YouTube版权探测器的现实对抗音乐攻击。实验表明，感知意识攻击会产生对抗性音乐的感知质量明显优于先前的工作。

在最先进的心理学研究中，我们注意到，用现有的自动音乐转录（AMT）方法转录的钢琴表演不能成功地重新合成，而不会影响表演的艺术内容。这是由于1）不同乐器使用的MIDI参数之间的不同映射，以及2）音乐家适应周围声学环境的方式。为了面对这个问题，我们提出了一种方法来构建特定于声学的AMT系统，该系统能够模拟音乐家对传达其解释的适应性的建模。具体而言，我们在模块化体系结构中量身定制的虚拟仪器模型，该模型将音频记录和相对对齐的音乐得分作为输入，并输出每个音符的声学特定速度。我们测试不同的模型形状，并表明所提出的方法通常优于通常的AMT管道，该管道不考虑仪器和声学环境的特殊性。有趣的是，这种方法可以简单地扩展，因为仅需要轻微的努力来训练模型来推断其他钢琴参数，例如踩踏。

在本文中，介绍了文本到读取/唱歌系统，可以适应任何扬声器的声音。它利用基于TacoTron的多级箱子声学模型在只读语音数据训练，并且在音素级别提供韵律控制。还研究了基于传统DSP算法的数据集增强和额外的韵律操纵。神经TTS模型对看不见的扬声器的有限录音进行了微调，允许与目标的扬声器语音进行敲击/歌唱合成。描述了系统的详细管道，其包括从Capella歌曲的目标音调和持续时间值提取，并将其转换为在合成之前的目标扬声器的有效音符范围内。还研究了通过WSOLA输出的输出的韵律操纵的另外的阶段，以便更好地匹配目标持续时间值。合成的话语可以与乐器伴奏轨道混合以产生完整的歌曲。通过主观聆听测试评估所提出的系统，以及与可用的备用系统相比，该系统还旨在从只读训练数据产生合成歌唱语音。结果表明，该拟议的方法可以产生高质量的敲击/歌声，具有增加的自然。

近年来，通过深层生成模型，音频合成的进展很大。但是，最新的很难量化。在报告结果时，不同的研究通常使用不同的评估方法和不同的指标，从而直接与其他系统进行比较，即使不是不可能。此外，在大多数情况下，报告指标的感知相关性和含义都未知，禁止对实际的可用性和音频质量的任何结论性见解。本文介绍了一项研究，该研究与（i）一组先前提出的用于音频重建的客观指标以及（ii）一项听力研究，研究了最先进的方法。结果表明，当前使用的客观指标不足以描述当前系统的感知质量。

我们提出了一种使用嵌入式麦克风和扬声器来测量不同执行器特性的软气动执行器的感应方法。执行器的物理状态确定声音通过结构传播时的特定调制。使用简单的机器学习，我们创建了一个计算传感器，该传感器从声音录音中渗透相应的状态。我们在软气动连续执行器上演示了声传感器，并使用它来测量接触位置，接触力，对象材料，执行器通胀和执行器温度。我们表明该传感器是可靠的（六个接触位置的平均分类速率为93％），精确（平均空间精度为3.7毫米），并且可抵抗常见的干扰（如背景噪声）。最后，我们比较了不同的声音和学习方法，并以20毫秒的白噪声和支持向量分类器作为传感器模型获得最佳结果。

听力损失是人类的重大健康问题和心理负担。小鼠模型提供了阐明参与潜在发育和病理生理机制的基因的可能性。为此，大规模的鼠标表型计划包括单基因敲除小鼠线的听觉表型。使用听觉脑干响应（ABR）程序，德国鼠标诊所和全球类似设施已经产生了大型均匀的突变体和野生型小鼠的ABR原料数据。在标准ABR分析过程中，听力阈值通过训练有素的工作人员从增加声压水平的信号曲线进行视觉评估。这是令人耗时的，并且容易被读者偏向，以及图形显示质量和规模。为了减少工作量并提高质量和再现性，我们开发并比较了两种方法，用于从平均ABR原始数据中实现自动听力阈值识别：一个受监督方法，涉及在人生成的标签和自我监督方法上训练的两个组合神经网络，利用信号功率谱利用信号功率谱并将随机森林声级估计与转换曲线拟合算法结合起来进行阈值查找。我们表明，两种型号都很好地，胜过人类阈值检测，并且适用于快速，可靠和无偏见的听力阈值检测和质量控制。在高通量鼠标表型环境中，两种方法都以自动端到端筛选管道的一部分表现良好，以检测用于听力参与的候选基因。两种模型的代码以及用于此工作的数据都可以自由使用。

情绪转换（EVC）寻求转换话语的情绪状态，同时保留语言内容和扬声器身份。在EVC，情绪通常被视为离散类别，忽略了言论也传达了听众可以感知的各种强度水平的情绪。在本文中，我们的目标是明确地表征和控制情绪强度。我们建议解开语言内容的扬声器风格，并将扬声器风格编码成一个嵌入的嵌入空间，形成情绪嵌入的原型。我们进一步从情感标记的数据库中了解实际的情感编码器，并研究使用相对属性来表示细粒度的情绪强度。为确保情绪可理解性，我们将情感分类损失和情感嵌入了EVC网络培训中的相似性损失。根据需要，所提出的网络控制输出语音中的细粒度情绪强度。通过目标和主观评估，我们验证了建议网络的情感表达和情感强度控制的有效性。

用全球性结构（例如编织）合成人体运动是一个具有挑战性的任务。现有方法倾向于集中在局部光滑的姿势过渡并忽视全球背景或运动的主题。在这项工作中，我们提出了一种音乐驱动的运动综合框架，其产生与输入节拍同步的人类运动的长期序列，并共同形成尊重特定舞蹈类型的全局结构。此外，我们的框架可以实现由音乐内容控制的不同运动，而不仅仅是由节拍。我们的音乐驱动舞蹈综合框架是一个分层系统，包括三个层次：姿势，图案和编排。姿势水平由LSTM组件组成，该组件产生时间相干的姿势。图案级别引导一组连续姿势，形成一个使用新颖运动感知损失所属的特定分布的运动。并且舞蹈级别选择所执行的运动的顺序，并驱动系统遵循舞蹈类型的全球结构。我们的结果展示了我们的音乐驱动框架的有效性，以在各种舞蹈类型上产生自然和一致的运动，控制合成运动的内容，并尊重舞蹈的整体结构。

重音文本到语音（TTS）合成旨在以重音（L2）作为标准版本（L1）的变体生成语音。强调TTS合成具有挑战性，因为在语音渲染和韵律模式方面，L2在L1上都不同。此外，在话语中无法控制重音强度的解决方案。在这项工作中，我们提出了一种神经TTS体系结构，使我们能够控制重音及其在推理过程中的强度。这是通过三种新型机制来实现的，1）一种重音方差适配器，可以用三个韵律控制因子（即俯仰，能量和持续时间）对复杂的重音方差进行建模； 2）一种重音强度建模策略来量化重音强度； 3）一个一致性约束模块，以鼓励TTS系统在良好的水平上呈现预期的重音强度。实验表明，在重音渲染和强度控制方面，所提出的系统在基线模型上的性能优于基线模型。据我们所知，这是对具有明确强度控制的重音TT合成的首次研究。

我们听到的每种声音都是连续的卷积操作的结果（例如，室内声学，麦克风特性，仪器本身的共振特性，更不用说声音复制系统的特征和局限性了）。在这项工作中，我们试图确定使用AI执行特定作品的最佳空间。此外，我们使用房间声学作为增强给定声音的感知品质的一种方式。从历史上看，房间（尤其是教堂和音乐厅）旨在主持和提供特定的音乐功能。在某些情况下，建筑声学品质增强了那里的音乐。我们试图通过指定房间冲动响应来模仿这一步骤，这些响应与为特定音乐产生增强的声音质量相关。首先，对卷积架构进行了培训，可以采用音频样本，并模仿各种仪器家族准确性约78％的专家的评分，并具有感知品质的笔记。这为我们提供了任何音频样本的评分功能，可以自动评分音符的感知愉悦度。现在，通过一个大约有60,000个合成冲动响应的库，模仿了各种房间，材料等，我们使用简单的卷积操作来改变声音，就好像它在特定的房间里播放一样。感知评估者用于对音乐声音进行排名，并产生“最佳房间或音乐厅”来播放声音。作为副产品，它还可以使用房间声学将质量差的声音变成“好”声音。

我们介绍了一个新的系统，用于围绕两个不同的神经网络体系结构建立的数据驱动音频声音模型设计，即生成对抗网络（GAN）和一个经常性的神经网络（RNN），它利用了每个系统的优势，以实现每个系统的独特特征目标都不能单独解决的目标。该系统的目的是生成给定的可交互性声音模型（a）该模型应能够合成的声音范围，以及（b）参数控件的规范，用于导航声音的空间。声音范围由设计器提供的数据集定义，而导航的方式由数据标签的组合以及从GAN学到的潜在空间中选择的子曼属的选择来定义。我们提出的系统利用了gan的丰富潜在空间，它由“真实数据般的声音”之间的声音组成。立即不断地更改参数并在无限的时间内生成音频。此外，我们开发了一种自组织的地图技术，用于``平滑''gan的潜在空间，从而导致音频音调之间的感知平滑插值。我们通过用户研究来验证这一过程。该系统为生成声音模型设计的最新技术做出了贡献，其中包括系统配置和用于改善插值的组件以及音乐音调和打击乐器的声音以外的音频建模功能的扩展，以使音频纹理的空间更加复杂。

深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提高，该技术证明了在许多任务中与人类听力相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。但是，现有的研究表明，DNN很容易受到轻微干扰的干扰，并且会出现错误的识别，这对于由声音控制的智能语音应用非常危险。

基于光学传感器的运动跟踪系统通常遭受问题，例如差的照明条件，遮挡，有限的覆盖，并且可以提高隐私问题。最近，已经出现了使用商业WiFi设备的基于射频（RF）的方法，这些方法提供了低成本的普遍感感知，同时保留隐私。然而，RF感测系统的输出，例如范围多普勒谱图，不能直观地代表人类运动，并且通常需要进一步处理。在本研究中，提出了基于WiFi微多普勒签名的人类骨骼运动重建的新颖框架。它提供了一种有效的解决方案，通过重建具有17个关键点的骨架模型来跟踪人类活动，这可以帮助以更易于理解的方式解释传统的RF感测输出。具体地，MDPose具有各种增量阶段来逐渐地解决一系列挑战：首先，实现去噪算法以去除可能影响特征提取的任何不需要的噪声，并增强弱多普勒签名。其次，应用卷积神经网络（CNN）-Recurrent神经网络（RNN）架构用于从清洁微多普勒签名和恢复关键点的速度信息学习时间空间依赖性。最后，采用姿势优化机制来估计骨架的初始状态并限制误差的增加。我们在各种环境中使用了许多受试者进行了全面的测试，其中许多受试者具有单个接收器雷达系统，以展示MDPOST的性能，并在所有关键点位置报告29.4mm的绝对误差，这优于最先进的RF-基于姿势估计系统。

我们介绍了视觉匹配任务，其中音频剪辑被转换为听起来像是在目标环境中记录的。鉴于目标环境的图像和源音频的波形，目标是重新合成音频，以匹配目标室声音的可见几何形状和材料所建议的。为了解决这一新颖的任务，我们提出了一个跨模式变压器模型，该模型使用视听注意力将视觉属性注入音频并生成真实的音频输出。此外，我们设计了一个自我监督的训练目标，尽管他们缺乏声学上不匹配的音频，但可以从野外网络视频中学习声学匹配。我们证明，我们的方法成功地将人类的言语转化为图像中描绘的各种现实环境，表现优于传统的声学匹配和更严格的监督基线。

音乐表达需要控制播放的笔记，以及如何执行它们。传统的音频合成器提供了详细的表达控制，但以现实主义的成本提供了详细的表达控制。黑匣子神经音频合成和连接采样器可以产生现实的音频，但有很少的控制机制。在这项工作中，我们介绍MIDI-DDSP乐器的分层模型，可以实现现实的神经音频合成和详细的用户控制。从可解释的可分辨率数字信号处理（DDSP）合成参数开始，我们推断出富有表现力性能的音符和高级属性（例如Timbre，Vibrato，Dynamics和Asticiculation）。这将创建3级层次结构（注释，性能，合成），提供个人选择在每个级别进行干预，或利用培训的前沿（表现给出备注，综合赋予绩效）进行创造性的帮助。通过定量实验和聆听测试，我们证明了该层次结构可以重建高保真音频，准确地预测音符序列的性能属性，独立地操纵给定性能的属性，以及作为完整的系统，从新颖的音符生成现实音频顺序。通过利用可解释的层次结构，具有多个粒度的粒度，MIDI-DDSP将门打开辅助工具的门，以赋予各种音乐体验的个人。

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

合成器是一种电子乐器，现在已在现代音乐制作和声音设计中广泛使用。合成器的每个参数配置都会产生独特的音色，可以看作是独特的仪器。估计一组最能恢复声音音色的参数配置的问题是一个重要但复杂的问题，即：合成器参数估计问题。我们提出了一个基于多模式的深度学习管道Sound2syth，以及一个专门设计用于解决此问题的网络结构原始卷积（PDC）。我们的方法不仅实现了SOTA，而且还获得了第一个现实世界中的第一个适用于Dexed合成器（一种流行的FM合成器）。

声音，尤其是音乐，包含散布在频率维度的各种谐波组件。正常的卷积神经网络很难观察这些泛音。本文引入了多个速率扩张的因果卷积（MRDC-CONV）方法，以有效地捕获对数量表中的谐波结构。谐波对音高估计很有帮助，这对于许多声音处理应用非常重要。我们建议在音高估计中评估MRDC-CONV和其他扩张卷积的Harmof0，旨在评估MRDC-CONV和其他扩张的卷积。结果表明，该模型的表现优于DEEPF0，在三个数据集中产生最先进的性能，同时减少了90％以上的参数。我们还发现它具有更强的噪声性和更少的八度误差。代码和预培训模型可在https://github.com/wx-wei/harmof0上找到。

情感语音综合旨在使人类的声音具有各种情感影响。当前的研究主要集中于模仿属于特定情感类型的平均风格。在本文中，我们试图在运行时与情感混合在一起。我们提出了一种新颖的表述，可以衡量不同情绪的语音样本之间的相对差异。然后，我们将公式纳入序列到序列情感文本到语音框架中。在培训期间，该框架不仅明确地表征了情感风格，而且还通过用其他情感量化差异来探索情绪的序数。在运行时，我们通过手动定义情感属性向量来控制模型以产生所需的情绪混合物。客观和主观评估验证了拟议框架的有效性。据我们所知，这项研究是关于言语中混合情绪的建模，综合和评估混合情绪的第一项研究。