本文介绍了Thuee团队的语音识别系统，用于IARPA Open自动语音识别挑战（OpenASR21），并进行了进一步的实验探索。我们在受限和受约束的训练条件下取得了出色的成果。对于受限的训练条件，我们基于标准混合体系结构构建基本ASR系统。为了减轻摄影库（OOV）的问题，我们使用针对OOV和潜在的新单词的素式至phoneme（G2P）技术扩展了发音词典。采用了标准的声学模型结构，例如CNN-TDNN-F和CNN-TDNN-F-A。此外，还应用了多种数据增强技术。对于约束训练条件，我们使用自我监督的学习框架WAV2VEC2.0。我们在公开可用的预训练XLSR-53的基础上使用连接式时间分类（CTC）标准进行各种微调技术。我们发现，在将WAV2VEC2.0预训练的模型应用于基于编码器的CTC/CTC/COATION ASR体系结构时，前端特征提取器在将WAV2VEC2.0预训练的模型应用时起着重要作用。通过将目标语言用作为前端功能提取器使用的CTC模型填充可以实现额外的改进。
translated by 谷歌翻译
我们介绍了DeepGen，这是一个在网络范围内部署的系统，用于自动为宾果派客户创建赞助的搜索广告（ADS）。我们利用最新的自然语言生成（NLG）模型以抽象的方式从广告商的网页中生成流利的广告，并解决了实际问题，例如事实和推理速度。此外，我们的系统可实时创建自定义的广告，以响应用户的搜索查询，因此根据用户所需的内容突出显示了同一产品的不同方面。为了实现这一目标，我们的系统会提前生成各种较小广告的选择，并在查询时间选择最相关的广告选择，以将其缝合为完整的广告。我们通过培训可控的NLG模型来改善发电多样性，以生成相同网页的多个广告，突出显示不同的销售点。我们的系统设计通过首先运行具有不同目标训练的生成模型的合奏，然后使用多样性采样算法来选择各种各样的生成结果以进行在线选择，从而进一步改善了多样性。实验结果显示了我们提出的系统设计的有效性。我们的系统目前已在生产中部署，为Bing提供的全球广告提供$ {\ sim} 4 \％$。
translated by 谷歌翻译
在非洲使用的2,000多种语言几乎都没有广泛可用的自动语音识别系统，并且所需的数据也仅适用于几种语言。我们已经尝试了两种技术，这些技术可能为非洲语言提供大型词汇识别的途径：多语言建模和自我监督学习。我们收集了可用的开源数据并收集了15种语言的数据，并使用这些技术训练了实验模型。我们的结果表明，汇总多语言端到端模型中可用的少量数据，并预先培训无监督的数据可以帮助提高许多非洲语言的语音识别质量。
translated by 谷歌翻译
任意神经风格转移是一个重要的主题，具有研究价值和工业应用前景，该主题旨在使用另一个样式呈现一个图像的结构。最近的研究已致力于任意风格转移（AST）的任务，以提高风格化质量。但是，关于AST图像的质量评估的探索很少，即使它可以指导不同算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），该数据库包括150个内容样式的图像对以及由八种典型AST算法产生的相应的1200个风格化图像。然后，在我们的AST-IQAD数据库上进行了一项主观研究，该研究获得了三种主观评估（即内容保存（CP），样式相似（SR）和整体视觉（OV），该数据库获得了所有风格化图像的主观评分评分。 。为了定量测量AST图像的质量，我们提出了一个新的基于稀疏表示的图像质量评估度量（SRQE），该指标（SRQE）使用稀疏特征相似性来计算质量。 AST-IQAD的实验结果证明了该方法的优越性。数据集和源代码将在https://github.com/hangwei-chen/ast-iqad-srqe上发布
translated by 谷歌翻译
电子设计自动化（EDA）社区一直在积极探索非常大规模的计算机辅助设计（VLSI CAD）的机器学习。许多研究探索了基于学习的技术，用于设计流中的跨阶段预测任务，以实现更快的设计收敛。尽管建筑机器学习（ML）模型通常需要大量数据，但由于缺乏大型公共数据集，大多数研究只能生成小型内部数据集进行验证。在本文中，我们介绍了第一个用于机器学习任务的开源数据集，称为CircuitNet。该数据集由基于6种开源RISC-V设计的商业设计工具的多功能运行中提取的10K以上样品组成。
translated by 谷歌翻译
创建和编辑3D对象的形状和颜色需要巨大的人类努力和专业知识。与3D接口中的直接操作相比，诸如草图和涂鸦之类的2D交互对用户通常更自然和直观。在本文中，我们提出了一个通用的多模式生成模型，该模型通过共享的潜在空间耦合2D模式和隐式3D表示。通过提出的模型，通过简单地通过潜在空间从特定的2D控制模式传播编辑，可以实现多功能3D生成和操纵。例如，通过绘制草图来编辑3D形状，通过绘画颜色在2D渲染上重新色彩，或者在一个或几个参考图像中生成特定类别的3D形状。与先前的作品不同，我们的模型不需要每个编辑任务进行重新训练或微调，并且在概念上也很简单，易于实现，对输入域移动的强大，并且可以在部分2D输入中进行多样化的重建。我们在灰度线草图和渲染颜色图像的两种代表性2D模态上评估了我们的框架，并证明我们的方法可以通过以下2D模态实现各种形状的操纵和生成任务。
translated by 谷歌翻译
从单眼图像中恢复纹理的3D网格是高度挑战的，尤其是对于缺乏3D地面真理的野外物体。在这项工作中，我们提出了网络文化，这是一个新的框架，可通过利用3D GAN预先训练的3D纹理网格合成的3D GAN的生成性先验。重建是通过在3D GAN中搜索最类似于目标网格的潜在空间来实现重建。由于预先训练的GAN以网状几何形状和纹理封装了丰富的3D语义，因此在GAN歧管内进行搜索，因此自然地使重建的真实性和忠诚度正常。重要的是，这种正则化直接应用于3D空间，从而提供了在2D空间中未观察到的网格零件的关键指导。标准基准测试的实验表明，我们的框架获得了忠实的3D重建，并在观察到的部分和未观察到的部分中都具有一致的几何形状和纹理。此外，它可以很好地推广到不太常见的网格中，例如可变形物体的扩展表达。代码在https://github.com/junzhezhang/mesh-inversion上发布
translated by 谷歌翻译
最近的研究表明，尽管在许多现实世界应用上达到了很高的精度，但深度神经网络（DNN）可以被换式：通过将触发的数据样本注入培训数据集中，对手可以将受过训练的模型误导到将任何测试数据分类为将任何测试数据分类为只要提出触发模式，目标类。为了消除此类后门威胁，已经提出了各种方法。特别是，一系列研究旨在净化潜在的损害模型。但是，这项工作的一个主要限制是访问足够的原始培训数据的要求：当可用的培训数据受到限制时，净化性能要差得多。在这项工作中，我们提出了对抗重量掩蔽（AWM），这是一种即使在单一设置中也能擦除神经后门的新颖方法。我们方法背后的关键思想是将其提出为最小最大优化问题：首先，对抗恢复触发模式，然后（软）掩盖对恢复模式敏感的网络权重。对几个基准数据集的全面评估表明，AWM在很大程度上可以改善对各种可用培训数据集大小的其他最先进方法的纯化效果。
translated by 谷歌翻译
随着机器学习模型在自动驾驶汽车（AV）的运动预测系统上变得越来越普遍，至关重要的是，我们必须确保模型预测是安全可靠的。但是，详尽地收集和标记充分测试稀有和挑战性场景的长尾所需的数据是困难且昂贵的。在这项工作中，我们构建了一个新的基准测试，用于通过将扰动应用于现有数据来评估和改善模型鲁棒性。具体而言，我们进行了广泛的标签努力，以识别因果因素，或者在Waymo Open Motion数据集（WOMD）中以任何方式影响人类驾驶员行为的代理，我们使用这些标签来通过删除非carusal剂来扰动数据从现场。然后，我们在我们提出的基准上评估了一套各种最先进的深度学习模型体系结构，并发现所有模型在扰动下均显示出很大的变化。在非作业扰动下，我们观察到$ 25 $ - $ 38 \％$ $相对变化，而与原始相比。然后，我们研究以提高模型鲁棒性的技术，包括增加训练数据集的大小以及使用靶向数据增强，这些数据增加在整个培训过程中都放下了代理。我们计划提供因果代理标签作为womd的附加属性，并释放稳健性基准，以帮助社区建立更可靠和安全的深度学习模型，以进行运动预测。
translated by 谷歌翻译
大多数现有对象检测工作都是基于边界框注释：每个对象都有一个精确的注释框。然而，对于肋骨骨折，边界盒注释非常有劳动力密集型且耗时，因为放射科医生需要以切片为基础调查和注释肋骨骨折。尽管一些研究提出了弱监督的方法或半监督方法，但他们不能同时处理不同形式的监督。在本文中，我们提出了一个新颖的Omni监督对象检测网络，该网络可以利用多种不同形式的注释数据以进一步改善检测性能。具体而言，所提出的网络包含一个监督的检测头，其中每种形式的注释数据对应于唯一的分类分支。此外，我们为不同的注释数据形式提出了动态标签分配策略，以促进每个分支的更好学习。此外，我们还设计了一种自信的分类损失，以高度信心强调样本并进一步改善模型的性能。在测试数据集上进行的广泛实验表明，我们所提出的方法始终超过其他最先进的方法，这证明了深度全米诺的学习对改善肋骨断裂检测性能的功效。
translated by 谷歌翻译