本文档描述了Spotify出于学术研究目的发布的葡萄牙语播客数据集。我们概述了如何采样数据，有关集合的一些基本统计数据，以及有关巴西和葡萄牙方言的分发信息的简要信息。

自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。

播客已经出现在大量消耗的在线内容中，特别是由于生产手段的可访问性和通过大型流平台进行缩放分布。分类系统和信息访问技术通常使用主题作为组织或导航播客集合的主要方式。然而，用主题注释播客仍然是非常有问题的，因为分配的编辑类型是广泛的，异构或误导性的，或者因为数据挑战（例如，MetaData文本短，嘈杂的成绩单）。在这里，我们使用主题建模技术来评估从播客元数据，标题和描述中发现相关主题的可行性。我们还提出了一种新的策略来利用命名实体（NES），通常存在于播客元数据中，以非负矩阵分解（NMF）主题建模框架。我们在Spotify和iTunes和Deezer中的两个现有数据集的实验，该数据来自提供播客目录的新数据集，显示我们所提出的文档表示Neice，导致基于基线的主题连贯性。我们释放了结果的实验​​性再现性的代码。

In this paper we present two datasets for Tamasheq, a developing language mainly spoken in Mali and Niger. These two datasets were made available for the IWSLT 2022 low-resource speech translation track, and they consist of collections of radio recordings from the Studio Kalangou (Niger) and Studio Tamani (Mali) daily broadcast news. We share (i) a massive amount of unlabeled audio data (671 hours) in five languages: French from Niger, Fulfulde, Hausa, Tamasheq and Zarma, and (ii) a smaller parallel corpus of audio recordings (17 hours) in Tamasheq, with utterance-level translations in the French language. All this data is shared under the Creative Commons BY-NC-ND 3.0 license. We hope these resources will inspire the speech community to develop and benchmark models using the Tamasheq language.

人民的言论是自由下载的30,000小时，并在CC-BY-SA下进行学术和商业用途的许可的受监管的会话英语语音识别数据集（具有CC-by子集）。通过使用现有转录搜索适当许可的音频数据来通过搜索互联网来收集数据。我们描述了我们的数据收集方法，并在Apache 2.0许可证下发布了我们的数据收集系统。我们表明，在此数据集上培训的模型在Librispeech的测试清洁测试集上实现了9.98％的单词错误率。最后，我们讨论了围绕创建一个相当大量的机器学习的法律和道德问题，并计划继续维护项目的计划根据MLCommons的赞助。

在这项工作中，我们介绍了BBC-oxford英国手语（Bobsl）数据集，这是英国手语的大规模视频集合（BSL）。Bobsl是一个基于以前工作中引入的BSL-1K数据集的扩展和公开发布的数据集。我们描述了数据集的动机，以及统计和可用注释。我们进行实验，为标志识别，手语对齐和手语翻译的任务提供基线。最后，我们从机器学习和语言学的角度描述了数据的几个优势和局限，注意数据集中存在的偏差源，并在手语技术背景下讨论Bobsl的潜在应用。数据集可在https://www.robots.ox.ac.uk/~vgg/data/bobsl/处获得。

自动语音识别和文本到语音系统主要以监督方式培训，需要高质量，准确标记的语音数据集。在这项工作中，我们研究语音数据的常见问题，并为语音数据集的构建和交互式错误分析引入工具箱。施工工具基于K \“urzinger等。工作，并且，尽我们所知，数据集探索工具是世界上第一个这类开源工具。我们演示了如何应用这些工具来创建一个俄语语音数据集并分析现有语音数据集（多语种LibrisPeech，Mozilla Common语音）。该工具是开放的，作为Nemo框架的一部分。

随着诸如播客的长形话语内容的数量，许多平台希望从完整内容中提取短，有意义的和逻辑上相干段。这些段可以通过用户消耗以在潜水前进行采样内容，以及平台使用以推广和推荐内容。然而，很少发布的工作主要集中在话语内容的分割中，其中自动语音识别（ASR）服务生成的成绩单中的错误（噪声）构成了许多挑战。在这里，我们构建了400多个播客剧集的完整转录的新型数据集，其中我们标记了每个集中的介绍的位置。这些介绍包含有关剧集主题，主机和客人的信息，提供了剧集内容的有价值的摘要，因为它由作者创建。我们进一步使用Word替换增强了我们的数据集以增加可用培训数据的数量。我们根据预先训练的BERT和不同的增强策略训练三种变压器模型，与静态嵌入模型相比，实现了明显更好的性能，表明可以从嘈杂，松散组织的演讲中捕获广义的大规模结构信息数据。通过对模型的内部架构的分析进一步证明了这一点。我们的方法和数据集可用于促进未来的工作基于结构的出言内容的分割。

我们探索跨语性多演讲者语音综合，并将跨语性语音转换应用于自动语音识别（ASR）系统的数据增强。通过广泛的实验，我们表明我们的方法允许语音合成和语音转换的应用，以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比，我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后，我们表明，只使用目标语言的单个真实扬声器，可以通过我们的数据增强方法获得有希望的ASR培训结果。

We investigate how humans perform the task of dubbing video content from one language into another, leveraging a novel corpus of 319.57 hours of video from 54 professionally produced titles. This is the first such large-scale study we are aware of. The results challenge a number of assumptions commonly made in both qualitative literature on human dubbing and machine-learning literature on automatic dubbing, arguing for the importance of vocal naturalness and translation quality over commonly emphasized isometric (character length) and lip-sync constraints, and for a more qualified view of the importance of isochronic (timing) constraints. We also find substantial influence of the source-side audio on human dubs through channels other than the words of the translation, pointing to the need for research on ways to preserve speech characteristics, as well as semantic transfer such as emphasis/emotion, in automatic dubbing systems.

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

本文提供了当前视频内容提取工具的比较，重点是比较基于任务的机器学习服务。在过去十年中，视频智能（VIDINT）数据已成为关键情报来源。基于AI的分析和自动化工具从视频中提取和构造内容的需求已迅速成为需要大规模搜索，分析和利用视频的组织的优先事项。随着机器学习技术的快速增长，机器转录，机器翻译，主题标签和对象识别任务的成熟度以指数级的速度提高，随着新应用程序的发展，速度和准确性的性能记录破坏了。本文的每个部分审查并根据与机器学习技术从视频中提取信息相关的任务进行了比较产品，软件资源和视频分析功能。

本文介绍了WenetsPeech，一个由10000多小时的高质量标记语音组成的多域普通话语料库，2400多小时弱贴言论，大约100万小时的语音，总共22400多小时。我们收集来自YouTube和Podcast的数据，涵盖各种演讲样式，场景，域名，主题和嘈杂的条件。引入了基于光学字符识别（OCR）的方法，以在其对应的视频字幕上为YouTube数据生成音频/文本分段候选，而高质量的ASR转录系统用于为播客数据生成音频/文本对候选。然后我们提出了一种新的端到端标签错误检测方法，可以进一步验证和过滤候选者。我们还提供三个手动标记的高质量测试集，以及WenetsPeech进行评估 - 开发用于训练中的交叉验证目的，从互联网收集的匹配测试，并从真实会议中记录的测试\ _MEETING，以获得更具挑战性的不匹配测试。使用有线exeeEX培训的基线系统，用于三个流行的语音识别工具包，即Kaldi，Espnet和Wenet，以及三个测试集的识别结果也被提供为基准。据我们所知，WenetsPeech是目前最大的开放式普通话语音语料库，其中有利于生产级语音识别的研究。

预先训练的语言模型已经建立了有关各种自然语言处理任务的最新技术，包括对话摘要，这使读者可以在会议，访谈或电话中的长时间对话中快速访问关键信息。但是，这种对话仍然很难使用当前的模型来处理，因为语言的自发性涉及在用于预先培训语言模型的语料库中很少存在的表达式。此外，在这一领域完成的绝大多数工作都集中在英语上。在这项工作中，我们介绍了一项研究，使用几种特定语言的预培训模型：Barthez和Belgpt-2以及多语言预培训的模型：MBART，MBARTHEZ和MT5。实验是在Decoda（呼叫中心）对话语料库上进行的，其任务是根据情况在呼叫中心与一个或几个代理之间的呼叫中心对话中产生抽象介绍。结果表明，Barthez型号的性能最佳，远远超过了Decoda先前的最新性能。我们进一步讨论了此类预训练模型的局限性以及总结自发对话所需的挑战。

世界各地的隐私法律和法规的景观是复杂而不断变化的。国家和超国家法律，协议，法令和其他政府发行的规则构成了公司必须遵循的拼凑而成才能在国际上进行运作。为了检查该拼凑而成的状态和演变，我们介绍了1,043条隐私法，法规和准则的政府隐私指示语料库或GPI语料库，涵盖了182个司法管辖区。该语料库可以对法律焦点进行大规模定量和定性检查。我们检查了创建GPI的时间分布，并说明了过去50年中隐私立法的急剧增加，尽管较细粒度的检查表明，增加的速度取决于GPIS所说的个人数据类型。我们的探索还表明，大多数隐私法分别解决了相对较少的个人数据类型，这表明全面的隐私立法仍然很少见。此外，主题建模结果显示了GPI中常见主题的普遍性，例如财务，医疗保健和电信。最后，我们将语料库释放到研究界，以促进进一步的研究。

在本文中，我们介绍了一个高质量的大规模基准数据集，用于英语 - 越南语音翻译，其中有508音频小时，由331k的三胞胎组成（句子长度的音频，英语源笔录句，越南人目标subtitle句子）。我们还使用强基础进行了经验实验，发现传统的“级联”方法仍然优于现代“端到端”方法。据我们所知，这是第一个大规模的英语 - 越南语音翻译研究。我们希望我们的公开数据集和研究都可以作为未来研究和英语语音翻译应用的起点。我们的数据集可从https://github.com/vinairesearch/phost获得

语音翻译模型无法直接处理较长的音频，例如TED Talks，必须将其分为较短的段。语音翻译数据集提供了音频的手动分割，这些音频在现实世界中不可用，而现有的分割方法通常会在推理时大大降低翻译质量。为了弥合训练的手动分割与推理的自动分割之间的差距，我们提出了有监督的混合音频分割（SHAS），该方法可以有效地从任何手动分段语音语料库中学习最佳分割。首先，我们使用预先训练的WAV2VEC 2.0的语音表示形式来训练分类器，以识别分段中所包含的帧。然后，通过概率分裂和诱导算法找到最佳的分裂点，该算法逐渐在最低概率的框架下逐渐分裂，直到所有段都低于预先指定的长度为止。在Mast-C和MedX上进行的实验表明，通过我们的方法生成的片段的翻译方法将手动分割的质量在5个语言对上进行质量。也就是说，SHAS保留了手动细分的95-98％的BLEU分数，而现有方法的87-93％。我们的方法还可以推广到不同的域，并以看不见的语言实现高零弹性性能。

语音到语音翻译（S2ST）将输入语音转换为另一种语言。实时交付S2ST的挑战是翻译和语音合成模块之间的累积延迟。尽管最近增量的文本到语音（ITTS）模型已显示出巨大的质量改进，但它们通常需要其他未来的文本输入才能达到最佳性能。在这项工作中，我们通过调整上游语音翻译器来为语音合成器生成高质量的伪lookahead来最大程度地减少ITT的最初等待时间。缓解初始延迟后，我们证明了合成语音的持续时间在延迟中也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的持续时间缩放方法，以减少延迟。我们的方法始终将延迟减少0.2-0.5秒，而无需牺牲语音翻译质量。

Learning text-video embeddings usually requires a dataset of video clips with manually provided captions. However, such datasets are expensive and time consuming to create and therefore difficult to obtain on a large scale. In this work, we propose instead to learn such embeddings from video data with readily available natural language annotations in the form of automatically transcribed narrations. The contributions of this work are three-fold. First, we introduce HowTo100M: a large-scale dataset of 136 million video clips sourced from 1.22M narrated instructional web videos depicting humans performing and describing over 23k different visual tasks. Our data collection procedure is fast, scalable and does not require any additional manual annotation. Second, we demonstrate that a text-video embedding trained on this data leads to state-ofthe-art results for text-to-video retrieval and action localization on instructional video datasets such as YouCook2 or CrossTask. Finally, we show that this embedding transfers well to other domains: fine-tuning on generic Youtube videos (MSR-VTT dataset) and movies (LSMDC dataset) outperforms models trained on these datasets alone. Our dataset, code and models are publicly available [1]. * Equal contribution.

本文经验研究了不同数据拆分和分裂策略对功能障碍检测系统性能的影响。为此，我们使用具有分类头的WAV2VEC 2.0模型以及支持向量机（SVM）以及从WAV2VEC 2.0模型中提取的功能进行实验。我们使用播客（SEP-28K）数据集中的口吃事件的不同非说明书和说话者的分裂训练和评估系统，以阐明结果W.R.T.的可变性。使用使用的分区方法。此外，我们表明SEP-28K数据集仅由少数扬声器主导，因此很难评估。为了解决这个问题，我们创建了Sep-28k扩展（Sep-28k-e），其中包含半自动生成的扬声器和性别信息，为SEP-28K语料库，建议不同的数据拆分，每个数据分配有用，可用于评估方法的其他方面用于功能障碍检测。