分销语义提供了研究形态学语义的新方法。这项研究的重点是名词奇异人的语义及其在英语中的复数变种变体。我们的目标是比较两个模型的多元化概念化。一个模型（FRACSS）提出，在预测来自单数语义的复数语义时，应考虑所有奇异对。另一个模型（CCA）认为，多元化的概念化主要取决于基本单词的语义类别。我们根据大量的美国英语语音与两个模型预测的语义矢量相一致的大量语料库中复数代币的语音信号的方式进行比较。采用了两项措施：表单与义映射的性能以及形式距离和含义距离之间的相关性。结果收敛于CCA的优质比对。我们的结果表明，基于用法的多元化方法，其中给定单词自己的语义社区的优先级优于理论，根据该理论，多元化被概念化为基于高级抽象的过程。我们看到，经常被认为是一个高度抽象的概念，[+复数]可以通过中级部分概括的家庭更好地捕获。

该研究解决了在用线性鉴别学习建模拐点形态时出现的一系列方法问题。以半成本德国名词系统为例，我们说明了如何对表单和意义的代表作出的决策如何影响模型性能。我们澄清，为了建模频率效应在学习中，必须利用增量学习而不是学习的肠胃。我们还讨论如何设置模型，以近似语境中的流动词的学习。此外，我们说明了如何在这种方法中如何以相当大的细节建模。通常，该模型为已知的单词提供了优异的存储器，但适当地对未经展示数据进行了更有限的性能，符合德国原住民的德国名词拐点和泛化性能的半生产力。

启动和抗精气可以通过错误驱动的学习来建模（Marsolek，2008），假设学习质量的影响对目标刺激的处理进行了学习。这意味着参与者在启动研究中不断学习，并预测他们在其他心理语言实验的每项试验中也在学习。这项研究调查了在词汇决策实验中是否可以检测到试验学习。我们使用了判别词典模型（DLM; Baayen等，2019），这是一种具有分布语义的含义表示的精神词典模型，该模型具有分布语义的含义表示，该模型以Widrow-hoff规则为增量学习模型。我们使用了英国词典项目（BLP； Keuleers等，2012）的数据，并对每个受试者单独进行试用基础进行了DLM模拟词汇决策实验。然后，使用源自DLM模拟作为预测因子的措施预测单词和非单词的反应时间。使用两个受试者的数据开发模型，并对所有其他受试者进行了测试。我们从两个模拟中为每个主题提取了措施（一个在试验之间进行了学习更新，一个没有），并将其用作两个GAM的输入。基于学习的模型比大多数受试者的非学习模型表现出更好的模型拟合度。我们的措施还提供了有关词汇处理的见解，并使我们能够通过线性混合模型探索个体差异。这证明了DLM对行为数据进行建模的潜力，并得出这样的结论：在心理语言实验中确实可以检测到试验到审判的学习。

在本文中，我们使用一系列建模技术来调查抽象手机是否可以从接触语音声音中出现。实际上，该研究代表了尝试从语言使用的抽象出现的基于使用的语言学理论设备的尝试。我们的任务侧重于最简单的这样的假设抽象。我们测试了两个关于语言知识在语言上的语言知识的反对原则：基于内存的学习（MBL）和纠错学习（ECL）。泛化的过程得到了抽象语言学家与之运作，我们探讨了MBL和ECL是否可以产生类似语言抽象的语言知识。每个模型都有一个由一个扬声器产生的大量预处理语音。我们评估了这些简单模型所学到的一致性或稳定性以及它们引起抽象类别的能力。两种类型的模型在这些测试方面的票价不同。我们表明ECL模型可以从输入中可靠地识别了ECL模型可以学习抽象，并且至少可以从输入中可靠地识别到传统类型中的电话库存和分组。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

我们对基于上下文化的基于嵌入的方法的（可能错误的）输出进行了定性分析，以检测直接性语义变化。首先，我们引入了一种合奏方法优于先前描述的上下文化方法。该方法被用作对5年英语单词预测的语义变化程度进行深入分析的基础。我们的发现表明，上下文化的方法通常可以预测单词的高变化分数，这些单词在术语的词典意义上没有经历任何实际的历时语义转移（或至少这些转移的状态值得怀疑）。详细讨论了此类具有挑战性的案例，并提出了它们的语言分类。我们的结论是，预训练的情境化语言模型容易产生词典感官和上下文方差变化的变化，这自然源于它们的分布性质，但与基于静态嵌入的方法中观察到的问题类型不同。此外，他们经常将词汇实体的句法和语义方面合并在一起。我们为这些问题提出了一系列可能的未来解决方案。

人类语言中发现的最强大的模式之一是ZIPF的缩写定律，即更短的单词的趋势。自ZIPF开创性研究以来，该定律被视为压缩的体现，即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚，但衡量语言优化程度的尝试却相当稀缺。在这里，我们证明压缩在无例外的大量语言中表现出来，并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外，为了衡量优化程度，我们得出了一个随机基线的简单公式，并提出了两个分数归一化的分数，即，它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数，我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时，语言平均被优化至62％或67％（取决于源），当单词长度及时测量时，平均而言，平均而言，平均而言，平均而言，平均而言，平均而言，平均至65％。通常，口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外，我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法，并将其与书面，口语或签名的人类语言进行比较。

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

近年来，机器学习已被广​​泛采用以自动化音频混合过程。自动混合系统已应用于各种音频效应，例如增益调整，均衡和混响。可以通过视觉接口来控制这些系统，使用旋钮和语义描述符提供音频示例。使用语义描述符或文本信息来控制这些系统是艺术家传达其创意目标的有效方法。在本文中，我们探讨了使用单词嵌入代表语义描述符的新颖想法。通常通过在大型书面文本中培训神经网络来获得单词嵌入。这些嵌入是神经网络的输入层，以创建从单词到eq设置的翻译。使用此技术，机器学习模型还可以生成以前从未见过的语义描述符的EQ设置。我们将人类的EQ设置与神经网络的预测进行比较，以评估预测的质量。结果表明，嵌入层使神经网络能够了解语义描述符。我们观察到，具有嵌入层的模型的性能要比没有嵌入层的模型更好，但仍然不如人类标签。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

本地语言识别（NLI）是培训（通过监督机器学习）的任务，该分类器猜测文本作者的母语。在过去的十年中，这项任务已经进行了广泛的研究，多年来，NLI系统的性能稳步改善。我们专注于NLI任务的另一个方面，即分析由\ emph {Aupplable}机器学习算法培训的NLI分类器的内部组件，以获取其分类决策的解释，并具有获得的最终目标，即获得最终的目标。深入了解语言现象````赋予说话者''的母语''。我们使用这种观点来解决NLI和（研究得多的）伴侣任务，即猜测是由本地人还是非本地人说的文本。使用三个不同出处的数据集（英语学习者论文的两个数据集和社交媒体帖子的数据集），我们研究哪种语言特征（词汇，形态学，句法和统计）最有效地解决了我们的两项任务，即，最大的表明说话者的L1。我们还提出了两个案例研究，一个关于西班牙语，另一个关于意大利英语学习者，其中我们分析了分类器对发现这些L1最重要的单个语言特征。总体而言，我们的研究表明，使用可解释的机器学习可能是TH的宝贵工具

本文报告了在应用多维缩放（MDS）技术中以创建语言研究中的语义地图的最先进。 MDS指的是一种统计技术，其表示对象（词汇项，语言上下文，语言等）作为空间中的点，使得对象之间的密切相似性对应于表示表示中的对应点之间的距离。我们专注于使用MDS与在跨语言变异研究中使用的并行语料库数据相结合。我们首先介绍了MD的数学基础，然后略微概述过去的研究，采用MDS技术与并行语料库数据结合使用。我们提出了一组术语，以简便地描述特定MDS应用程序的关键参数。然后，我们表明，这种计算方法是理论中立的，即它可以用来在各种语言理论框架中回答研究问题。最后，我们展示了这在语言学中的MDS研究中的两条发展程度的发展。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

儿童的早期演讲通常与成人演讲形式或内容几乎没有相似之处，但照顾者经常发现幼儿的话语中的意义。确切地说，护理人员能够做到这一点仍然知之甚少。我们建议，成功的早期沟通（语言发展的基本构建基础）不仅依赖儿童的语言知识，还依赖于成年人的复杂推论。我们进一步提出，这些推论是针对儿童说话的细节细节进行了优化的。我们使用基于深度学习和贝叶斯推论的一系列口语识别的候选计算模型评估这些想法，这些模型就成年人用于了解儿童的信息来源实例化了相互竞争的假设。我们发现，表现最佳的模型（对儿童言语解释的数据集进行了评估）是那些对孩子可能想交流的事先期望的，而不是儿童所说的实际语音内容。我们进一步发现，成年人的行为是对特定儿童的表征最好的特征：单词识别模型越接近单个孩子的实际语言行为的细节，它越好预测成年人对孩子的推论的推论越好说。这些结果对照顾者作为指导儿童的听众的作用进行了全面的调查，对语言获取理论的影响更大。

跨语言嵌入技术（CLWE）的技术在应对低资源语言的自然语言处理挑战方面起着基本作用。它的主要方法假设嵌入之间的关系可以由线性映射表示，但是没有探索该假设所存在的条件。这种研究差距最近变得非常危急，因为已经证明，放松映射是非线性的，在某些情况下可以提高性能。我们首次提出了一个理论分析，该分析将单词嵌入中编码的类比保存是一种必要且充分的条件，用于在这些嵌入之间的地面clwe映射是线性的。在一个涵盖十二种不同语言的五个代表性类比类别的新型跨语性类比数据集中，我们进行了实验，为我们的理论主张提供直接的经验支持。这些结果提供了对其他研究人员的观察结果的更多见解，并为制定更有效的跨语性代表性学习策略做出了贡献。

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

多模式培训的最新进展使用文本描述，可以显着增强机器对图像和视频的理解。然而，目前尚不清楚语言在多大程度上可以完全捕捉不同方式的感官体验。一种表征感官体验的良好方法取决于相似性判断，即人们认为两个截然不同的刺激是相似的程度。我们在一系列大规模的行为研究（$ n = 1,823美元的参与者）中探讨了人类相似性判断与语言之间的关系，这三种模式（图像，音频和视频）和两种类型的文本描述符：简单的文字描述符： - 文本字幕。在此过程中，我们引入了一条新型的自适应管道，用于标签挖掘，既有高效又是领域。我们表明，基于文本描述符的预测管道表现出色，我们将其与基于视觉，音频和视频处理体系结构的611基线模型进行了比较。我们进一步表明，文本描述符和模型在多种方式之间和模型之间预测人类相似性的程度各不相同。综上所述，这些研究说明了整合机器学习和认知科学方法的价值，以更好地了解人类和机器表示之间的相似性和差异。我们在https://words-are-are-all-you-need.s3.amazonaws.com/index.html上介绍了交互式可视化，以探索人类所经历的刺激和本文中报道的不同方法之间的相似性。

Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.