当说话者将思想变成句子时，他们在单词和语法的复杂性之间保持平衡。但是，目前尚不清楚这种语法 - 里程碑的权衡是否是在快速在线处理压力下的口语制作所独有的。另外，无论生产方式如何，权衡是语言的基本属性。这项工作评估了在三个不同主题上的神经典型个体的书面语言中单词的复杂性与句法规则之间的关系。我们发现与说话类似，以书面形式构建句子涉及词汇和句法项目的复杂性之间的权衡。我们还表明，在写作过程中减少的在线处理需求可以以更简单的语法为代价检索更复杂的单词。这项工作进一步凸显了句子要素作为语法折衷方案出现的驱动力的可及性的作用。

为什么孩子们在别人面前学习一些话？了解儿童的个性变异性以及跨文字的可变性，可能是借助语言学习的学习过程的信息。我们使用来自儿童定向语音的大语料库的分布统计数据的词汇属性来研究基于物品的可变性。与以前的分析不同，我们预测了横截一性的词轨迹，阐明了在单个时间点可能没有明显的词汇发展的趋势。我们还表明，人们是否看一下单个年龄组或整个年龄，孩子是否知道一个词的最佳分配预测因子是其他已知单词的数量，其中该词往往会发生共同。关键词：收购年龄;词汇发展;词汇多样性;儿童定向演讲;

启动和抗精气可以通过错误驱动的学习来建模（Marsolek，2008），假设学习质量的影响对目标刺激的处理进行了学习。这意味着参与者在启动研究中不断学习，并预测他们在其他心理语言实验的每项试验中也在学习。这项研究调查了在词汇决策实验中是否可以检测到试验学习。我们使用了判别词典模型（DLM; Baayen等，2019），这是一种具有分布语义的含义表示的精神词典模型，该模型具有分布语义的含义表示，该模型以Widrow-hoff规则为增量学习模型。我们使用了英国词典项目（BLP； Keuleers等，2012）的数据，并对每个受试者单独进行试用基础进行了DLM模拟词汇决策实验。然后，使用源自DLM模拟作为预测因子的措施预测单词和非单词的反应时间。使用两个受试者的数据开发模型，并对所有其他受试者进行了测试。我们从两个模拟中为每个主题提取了措施（一个在试验之间进行了学习更新，一个没有），并将其用作两个GAM的输入。基于学习的模型比大多数受试者的非学习模型表现出更好的模型拟合度。我们的措施还提供了有关词汇处理的见解，并使我们能够通过线性混合模型探索个体差异。这证明了DLM对行为数据进行建模的潜力，并得出这样的结论：在心理语言实验中确实可以检测到试验到审判的学习。

语法提示有时具有自然语言的单词含义。例如，英语单词顺序规则限制了句子的单词顺序，例如“狗咀嚼骨头”，即使可以从世界知识和合理性中推断出“狗”作为代理人和“骨头”的状态。量化这种冗余的发生频率，以及冗余水平如何在类型上多样化的语言中变化，可以阐明语法的功能和演变。为此，我们在英语和俄语中进行了一个行为实验，并进行了跨语言计算分析，以测量从自然主义文本中提取的及物子句中语法线索的冗余性。从自然发生的句子中提取的主题，动词和物体（按随机顺序和形态标记）提出了英语和俄罗斯说话者（n = 484），并被要求确定哪个名词是该动作的推动者。两种语言的准确性都很高（英语约为89％，俄语为87％）。接下来，我们在类似的任务上训练了神经网络机分类器：预测主题对象三合会中的哪个名义是主题。在来自八个语言家庭的30种语言中，性能始终很高：中位准确性为87％，与人类实验中观察到的准确性相当。结论是，语法提示（例如单词顺序）对于仅在10-15％的自然句子中传达了代理和耐心是必要的。然而，他们可以（a）提供重要的冗余来源，（b）对于传达无法从单词中推断出的预期含义至关重要，包括对人类互动的描述，在这些含义中，角色通常是可逆的（例如，雷（Ray）帮助lu/ Lu帮助雷），表达了非典型的含义（例如，“骨头咀嚼狗”。）。

关于人类阅读的研究长期以来一直记录在阅读行为表明特定于任务的效果，但是建立一个通用模型来预测人类在给定任务中将显示什么的通用模型。我们介绍了Neat，这是人类阅读中注意力分配的计算模型，基于人类阅读优化了一项任务中关注经济和成功之间的权衡。我们的模型是使用当代神经网络建模技术实施的，并对注意力分配的分配方式在不同任务中如何变化做出明确的测试预测。我们在一项针对阅读理解任务的两个版本的眼影研究中对此进行了测试，发现我们的模型成功说明了整个任务的阅读行为。因此，我们的工作提供了证据表明，任务效果可以建模为对任务需求的最佳适应。

Neurodegeneration characterizes individuals with different dementia subtypes (e.g., individuals with Alzheimer's Disease, Primary Progressive Aphasia, and Parkinson's Disease), leading to progressive decline in cognitive, linguistic, and social functioning. Speech and language impairments are early symptoms in individuals with focal forms of neurodegenerative conditions, coupled with deficits in cognitive, social, and behavioral domains. This paper reviews the findings on language and communication deficits and identifies the effects of dementia on the production and perception of discourse. It discusses findings concerning (i) language function, cognitive representation, and impairment, (ii) communicative competence, emotions, empathy, and theory-of-mind, and (iii) speech-in-interaction. It argues that clinical discourse analysis can provide a comprehensive assessment of language and communication skills in individuals, which complements the existing neurolinguistic evaluation for (differential) diagnosis, prognosis, and treatment efficacy evaluation.

成语与大多数短语不同。首先，成语中的单词具有非规范含义。其次，习语中单词的非传统含义取决于习惯中其他单词的存在。语言理论在这些特性是否相互依赖，以及是否需要特殊的理论机制来容纳成语方面有所不同。我们定义了与上述属性相对应的两个度量，并使用BERT（Devlin等，2019）和XLNet实施它们（Yang等，2019）。我们表明，成语落在两个维度的预期交集处，但是尺寸本身并不相关。我们的结果表明，处理习语的特殊机械可能不保证。

我们研究了现代神经语言模型容易受到结构启动的程度，这种现象使句子的结构在后续句子中更有可能使相同的结构更有可能。我们探索如何使用启动来研究这些模型学习抽象结构信息的潜力，这是需要自然语言理解技能的任务良好表现的先决条件。我们引入了一种新型的度量标准和释放Prime-LM，这是一个大型语料库，我们可以控制与启动强度相互作用的各种语言因素。我们发现，变压器模型确实显示了结构启动的证据，但他们所学到的概括在某种程度上是由语义信息调节的。我们的实验还表明，模型获得的表示不仅可以编码抽象的顺序结构，而且还涉及一定级别的层次句法信息。更普遍的是，我们的研究表明，启动范式是一种有用的，可用于洞悉语言模型能力的有用的，并为未来的基于底漆的调查打开了探测模型内部状态的未来大门。

语言在句法结构上有很大差异。世界上约40％的语言具有主语对象顺序，约40％的语言具有对象 - 对象 - 动词顺序。广泛的工作试图解释跨语言的单词顺序变化。但是，现有的方法无法用单个语言的单词顺序解释频率分布和演变。我们建议，单词顺序的变化反映了平衡依赖性区域和信息局部性的竞争压力的不同方式，当元素在语法上相关或彼此之间有上下文信息时，语言偏爱将它们放在一起。使用来自17个语言家族的80种语言的数据和系统发育建模，我们证明了语言的发展以平衡这些压力，因此单词顺序变化伴随着句法结构的频率分布的变化，这些句法结构的频率分布会说话，以维持整体效率。因此，单词顺序的可变性反映了语言解决这些进化压力的不同方式。我们确定了该关节优化产生的相关特征，尤其是对同一动词共同表达对象和对象的频率。我们的发现表明，跨语言的句法结构和用法共同适应有限的认知资源，以支持有效的沟通。

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

中国人在马来群岛各国的中国社区中突出特征。在这些国家，中国人经历了对当地语言和文化的调整过程，这导致每个国家发生中国变体。在本文中，我们对从五个马来群岛国家收集的中国新闻文本进行了定量分析看法。统计结果表明，这五个国家中使用的中国变体与现代中国大陆同行不同。同时，我们设法提取并分类了每个国家使用的几个中文单词。所有这些差异反映了中国人如何在海外发展，并证明了ROM当地社会和文化对中国发展的深远影响。

本地语言识别（NLI）是培训（通过监督机器学习）的任务，该分类器猜测文本作者的母语。在过去的十年中，这项任务已经进行了广泛的研究，多年来，NLI系统的性能稳步改善。我们专注于NLI任务的另一个方面，即分析由\ emph {Aupplable}机器学习算法培训的NLI分类器的内部组件，以获取其分类决策的解释，并具有获得的最终目标，即获得最终的目标。深入了解语言现象````赋予说话者''的母语''。我们使用这种观点来解决NLI和（研究得多的）伴侣任务，即猜测是由本地人还是非本地人说的文本。使用三个不同出处的数据集（英语学习者论文的两个数据集和社交媒体帖子的数据集），我们研究哪种语言特征（词汇，形态学，句法和统计）最有效地解决了我们的两项任务，即，最大的表明说话者的L1。我们还提出了两个案例研究，一个关于西班牙语，另一个关于意大利英语学习者，其中我们分析了分类器对发现这些L1最重要的单个语言特征。总体而言，我们的研究表明，使用可解释的机器学习可能是TH的宝贵工具

我们提出了一项探索性定性研究，以了解作家如何与下一页建议相互作用。尽管对建议系统对写作的影响进行了一些定量研究，但几乎没有定性的工作来理解作家如何与建议系统互动及其如何影响他们的写作过程 - 特别是针对非本地但英国作家的。我们进行了一项研究，要求业余作家分别写两部电影评论，一本没有建议。我们发现作家以各种复杂的方式与下一页建议互动 - 作家能够抽象建议的多个部分并将其纳入他们的写作中 - 即使他们不同意整个建议。建议系统对写作过程也有各种影响 - 以独特的方式为写作过程的不同方面做出了影响。我们提出了一种用于与GPT-2写作的作家 - 探索互动模型，用于电影评论写作任务，然后是该模型可用于未来研究的方式，并概述了研究和设计的机会。

Automatic speech recognition (ASR) meets more informal and free-form input data as voice user interfaces and conversational agents such as the voice assistants such as Alexa, Google Home, etc., gain popularity. Conversational speech is both the most difficult and environmentally relevant sort of data for speech recognition. In this paper, we take a linguistic perspective, and take the French language as a case study toward disambiguation of the French homophones. Our contribution aims to provide more insight into human speech transcription accuracy in conditions to reproduce those of state-of-the-art ASR systems, although in a much focused situation. We investigate a case study involving the most common errors encountered in the automatic transcription of French language.

This case study investigates the extent to which a language model (GPT-2) is able to capture native speakers' intuitions about implicit causality in a sentence completion task. We first reproduce earlier results (showing lower surprisal values for pronouns that are congruent with either the subject or object, depending on which one corresponds to the implicit causality bias of the verb), and then examine the effects of gender and verb frequency on model performance. Our second study examines the reasoning ability of GPT-2: is the model able to produce more sensible motivations for why the subject VERBed the object if the verbs have stronger causality biases? We also developed a methodology to avoid human raters being biased by obscenities and disfluencies generated by the model.

This work presents a detailed linguistic analysis into why larger Transformer-based pre-trained language models with more parameters and lower perplexity nonetheless yield surprisal estimates that are less predictive of human reading times. First, regression analyses show a strictly monotonic, positive log-linear relationship between perplexity and fit to reading times for the more recently released five GPT-Neo variants and eight OPT variants on two separate datasets, replicating earlier results limited to just GPT-2 (Oh et al., 2022). Subsequently, analysis of residual errors reveals a systematic deviation of the larger variants, such as underpredicting reading times of named entities and making compensatory overpredictions for reading times of function words such as modals and conjunctions. These results suggest that the propensity of larger Transformer-based models to 'memorize' sequences during training makes their surprisal estimates diverge from humanlike expectations, which warrants caution in using pre-trained language models to study human language processing.

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

除了文献计量学之外，还有兴趣表征科学论文中思想数量的演变。调查此问题的一种常见方法是分析出版物的标题，以检测随着时间的推移词汇变化。以这样的概念，即短语或更具体的键形酶代表概念，将词汇多样性指标应用于标题的短语版本。因此，词汇多样性的变化被视为研究的指标，甚至可能扩展研究。因此，优化键形检测是该过程的重要方面。我们建议使用多个短语检测模型的目标，而不是仅一个，而是从源代码语料库中生产出更全面的钥匙串。这种方法的另一个潜在优势是，这些集合的联合和差异可能会提供自动化技术，以识别和省略非特异性短语。我们比较了几个短语检测模型的性能，分析每个短语集的输出，并使用四个通用的词汇多样性指标计算包含每个模型的键形的Corpora变体的词汇多样性。

语言是协调问题的强大解决方案：他们提供了稳定的，有关我们所说的单词如何对应于我们头脑中的信仰和意图的共同期望。然而，在变量和非静止社会环境中的语言使用需要语言表征来灵活：旧词在飞行中获取新的临时或合作伙伴特定含义。在本文中，我们介绍了柴（通过推理的连续分层适应），一个分层贝叶斯的协调理论和会议组织，旨在在这两个基本观察之间调和长期张力。我们认为，沟通的中央计算问题不仅仅是传输，如在经典配方中，而是在多个时间尺度上持续学习和适应。合作伙伴特定的共同点迅速出现在数型互动中的社会推论中，而社群范围内的社会公约是稳定的前锋，这些前锋已经抽象出与多个合作伙伴的互动。我们展示了新的实证数据，展示了我们的模型为多个现象提供了对先前账户挑战的计算基础：（1）与同一合作伙伴的重复互动的更有效的参考表达的融合（2）将合作伙伴特定的共同基础转移到陌生人，并（3）交际范围的影响最终会形成。

This report summarizes the work carried out by the authors during the Twelfth Montreal Industrial Problem Solving Workshop, held at Universit\'e de Montr\'eal in August 2022. The team tackled a problem submitted by CBC/Radio-Canada on the theme of Automatic Text Simplification (ATS).