我们开发了具有软子凸起的Lambek微积分的向量空间语义，应用微积分以构建寄生间隙名词短语和话语单位的组成载体解释，以及用APAPHORA和省略的话语，并在分布句相似性任务中进行构建。与以前的工作相反，其中使用具有相关方式的Lambek微积分本文中使用的微积分使用界限版本的模态，并且是可解除的。这种新模型的矢量空间语义允许我们将收缩与投影有意义地定义，并在我们以前只能通过非线性映射实现的内容之后提供线性理论。

我们使用具有软次指数模式的兰贝克微积分来建模和理由，例如Anaphora和Ellipsis。该逻辑的语义是通过使用截短的Fock空间获得的，这是我们以前的工作中开发的。我们通过新的字符串图描述了这些语义计算。Fock Space语义的优势是，使用机器学习可以从大量数据中学到其术语，并且可以在主流自然语言任务上进行实验。此外，由于从向量空间到量子电路的现有翻译，我们还可以在量子计算机及其模拟器（例如IBMQ范围）上学习这些术语。我们将现有的翻译扩展到Fock空间，并为话语关系开发量子电路语义。然后，我们在确定的代词分辨率任务中对这些电路的IBMQ进行了模拟，其中在解析过度时，模型记录了最高精度。

十年自2010年以来，人工智能成功一直处于计算机科学和技术的最前沿，传染媒介空间模型已经巩固了人工智能最前沿的位置。与此同时，量子计算机已经变得更加强大，主要进步的公告经常在新闻中。这些区域的基础的数学技术比有时意识到更多的共同之处。传染媒介空间在20世纪30年代的量子力学的公理心脏上采取了位置，这一采用是从矢量空间的线性几何形状推导逻辑和概率的关键动机。粒子之间的量子相互作用是使用张量产品进行建模的，其也用于表达人工神经网络中的物体和操作。本文介绍了这些常见的数学区域中的一些，包括如何在人工智能（AI）中使用的示例，特别是在自动推理和自然语言处理（NLP）中。讨论的技术包括矢量空间，标量产品，子空间和含义，正交投影和否定，双向矩阵，密度矩阵，正算子和张量产品。应用领域包括信息检索，分类和含义，建模字传感和歧义，知识库的推断和语义构成。其中一些方法可能会在量子硬件上实现。该实施中的许多实际步骤都处于早期阶段，其中一些已经实现了。解释一些常见的数学工具可以帮助AI和量子计算中的研究人员进一步利用这些重叠，识别和沿途探索新方向。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

歧义是一种自然语言现象，发生在不同级别的语法，语义和语用学水平。它经过广泛的研究；例如，在心理语言学中，我们对人类的歧义过程进行了各种竞争性研究。这些研究是经验性的，并且基于眼影测量。在这里，我们迈出了对这些过程进行正式化的语义歧义的第一步，在该过程中我们确定了两个特征的存在：（1）不同可能解释的联合合理性度，（2）因果结构，根据某些单词在过程中在过程中起着更为重要的作用。 Gogioso和Pinzani在QPL 2021中开发的确定因果关系的新型横扫理论模型提供了建模和理由的工具。我们将该理论应用于从心理语言学文献中提取的模棱两可短语的数据集，以及我们使用亚马逊机械Turk发动机收集的人类合理性判断。我们测量了短语中不同歧义顺序的因果分数，并发现了两个突出的顺序：从主语动词中从主语到动词，从对象到动词对象短语中的动词。我们还发现了延迟歧义多义与同义动词的证据，再次与心理语言发现兼容。

用于音乐的人工智能（AI）的巨大进展，特别是对于音乐作品和访问大型数据库来通过互联网进行商业化。我们有兴趣进一步推进这一领域，专注于构成。与目前的黑盒AI方法相比，我们正在为生成音乐系统支持可解释的组成前景。特别是，我们正在从分布组成分类（Discocat）建模框架中导入方法，用于自然语言处理（NLP），由音乐语法激励。量子计算是一种新生的技术，它很可能及时影响音乐行业。因此，我们正在开创Quantum自然语言处理（QNLP）方法来开发新一代智能音乐系统。这项工作从Quantum Hardware上的孤立语言模型的先前实验实施中。在Quanthoven，曾经构建的第一概念证明，（a）表明可以编程量子计算机来学习对传送不同含义和（b）的音乐来说明这种能力如何可能会利用开发一个系统来组成有意义的音乐。在讨论当前对音乐的理解作为通信介质及其与自然语言的关系之后，本章侧重于开发的技术（a）编码音乐组合物作为量子电路，（b）设计量子分类器。章节以与系统创建的组合物的演示结束。

成语与大多数短语不同。首先，成语中的单词具有非规范含义。其次，习语中单词的非传统含义取决于习惯中其他单词的存在。语言理论在这些特性是否相互依赖，以及是否需要特殊的理论机制来容纳成语方面有所不同。我们定义了与上述属性相对应的两个度量，并使用BERT（Devlin等，2019）和XLNet实施它们（Yang等，2019）。我们表明，成语落在两个维度的预期交集处，但是尺寸本身并不相关。我们的结果表明，处理习语的特殊机械可能不保证。

在这项调查中，我们回顾了动态认知逻辑，具有量化信息变化的方式。在此类逻辑中，我们提出了完整的公理化，重点关注涉及知识与此类量化器之间相互作用的公理，我们报告了它们的相对表现，可定义性以及模型检查和满意度的复杂性以及应用程序的复杂性。我们专注于开放问题和新的研究方向。

这是第两部分综合调查的第二部分，专门用于计算框架，最常见于名称超高规范计算和矢量符号架构（HDC / VSA）。这两个名称都指的是一系列使用高维分布式表示的计算模型，并依赖于其关键操作的代数属性来结合结构化符号表示和矢量分布式表示的优点。全息减少的表示是一种有影响力的HDC / VSA模型，在机器学习域中是众所周知的，通常用于指整个家庭。但是，为了一致性，我们使用HDC / VSA来参考该区域。该调查的第I部分涵盖了该地区的基本方面，例如历史背景，导致HDC / VSA的开发，任何HDC / VSA模型的关键要素，已知的HDC / VSA模型，以及将各种类型的输入数据转换为高 - 适用于HDC / VSA的尺寸载体。第二部分调查现有的应用程序，HDC / VSA在认知计算和架构中的作用，以及未来工作的方向。大多数应用程序位于机器学习/人工智能域内，但我们还涵盖其他应用程序来提供彻底的照片。该调查是对新人和从业者有用的。

Winograd架构挑战 - 一套涉及代词参考消歧的双句话，似乎需要使用致辞知识 - 是由2011年的赫克托勒维克斯提出的。到2019年，基于大型预先训练的变压器的一些AI系统基于语言模型和微调这些问题，精度优于90％。在本文中，我们审查了Winograd架构挑战的历史并评估了其重要性。

In this paper I will present a novel way of combining proof net proof search with neural networks. It contrasts with the 'standard' approach which has been applied to proof search in type-logical grammars in various different forms. In the standard approach, we first transform words to formulas (supertagging) then match atomic formulas to obtain a proof. I will introduce an alternative way to split the task into two: first, we generate the graph structure in a way which guarantees it corresponds to a lambda-term, then we obtain the detailed structure using vertex labelling. Vertex labelling is a well-studied task in graph neural networks, and different ways of implementing graph generation using neural networks will be explored.

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

我们使用释义作为独特的数据来源来分析上下文化的嵌入，特别关注BERT。由于释义自然编码一致的单词和短语语义，因此它们提供了一种独特的镜头来研究嵌入的特性。使用释义数据库的比对，我们在释义和短语表示中研究单词。我们发现，上下文嵌入有效地处理多义单词，但在许多情况下给出了同义词，具有令人惊讶的不同表示。我们证实了先前的发现，即Bert对单词顺序敏感，但是就BERT层的情境化水平而言，发现与先前工作的模式略有不同。

本文探讨了关系特级逻辑，这是一个与推理古典三段论的扩展中关系相关的逻辑系统系列。这些都是可判定的逻辑系统。我们证明了基于关系特级逻辑的自然亚家族的完整性定理和复杂性，由构造函数参加术语和句子。

For natural language understanding (NLU) technology to be maximally useful, it must be able to process language in a way that is not exclusive to a single task, genre, or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation (GLUE) benchmark, a collection of tools for evaluating the performance of models across a diverse set of existing NLU tasks. By including tasks with limited training data, GLUE is designed to favor and encourage models that share general linguistic knowledge across tasks. GLUE also includes a hand-crafted diagnostic test suite that enables detailed linguistic analysis of models. We evaluate baselines based on current methods for transfer and representation learning and find that multi-task training on all tasks performs better than training a separate model per task. However, the low absolute performance of our best model indicates the need for improved general NLU systems.

自然语言处理（NLP）已成为当前人工智能繁荣中的主要应用领域之一。转移学习已经启用了大量深入学习的神经网络，接受了语言建模任务，以大大提高了所有语言任务的性能。有趣的是，当模型培训使用包含软件代码的数据培训时，它们在从自然语言规范中生成功能计算机代码时展示了显着的能力。我们认为这是一种难题，用于神经模型为生成词组结构语法提供了一种替代理论，以说明语言有效。由于编程语言的语法由短语结构语法决定，因此成功的神经模型显然是对编程语言的理论基础的理论基础，以及通过扩展，自然语言来实现。我们认为语言模型的术语模型是误导性的，因为深度学习模型不是语言的理论模型，并提出采用语料库模型，这更好地反映了模型的成因和内容。

当前的语言模型可以产生高质量的文本。他们只是复制他们之前看到的文本，或者他们学习了普遍的语言抽象吗？要取笑这些可能性，我们介绍了乌鸦，这是一套评估生成文本的新颖性，专注于顺序结构（n-gram）和句法结构。我们将这些分析应用于四种神经语言模型（LSTM，变压器，变换器-XL和GPT-2）。对于本地结构 - 例如，单个依赖性 - 模型生成的文本比来自每个模型的测试集的人类生成文本的基线显着不那么新颖。对于大规模结构 - 例如，总句结构 - 模型生成的文本与人生成的基线一样新颖甚至更新颖，但模型仍然有时复制，在某些情况下，在训练集中重复超过1000字超过1,000字的通道。我们还表现了广泛的手动分析，表明GPT-2的新文本通常在形态学和语法中形成良好，但具有合理的语义问题（例如，是自相矛盾）。

我们研究了现代神经语言模型容易受到结构启动的程度，这种现象使句子的结构在后续句子中更有可能使相同的结构更有可能。我们探索如何使用启动来研究这些模型学习抽象结构信息的潜力，这是需要自然语言理解技能的任务良好表现的先决条件。我们引入了一种新型的度量标准和释放Prime-LM，这是一个大型语料库，我们可以控制与启动强度相互作用的各种语言因素。我们发现，变压器模型确实显示了结构启动的证据，但他们所学到的概括在某种程度上是由语义信息调节的。我们的实验还表明，模型获得的表示不仅可以编码抽象的顺序结构，而且还涉及一定级别的层次句法信息。更普遍的是，我们的研究表明，启动范式是一种有用的，可用于洞悉语言模型能力的有用的，并为未来的基于底漆的调查打开了探测模型内部状态的未来大门。

It is well-known that typical word embedding methods such as Word2Vec and GloVe have the property that the meaning can be composed by adding up the embeddings (additive compositionality). Several theories have been proposed to explain additive compositionality, but the following questions remain unanswered: (Q1) The assumptions of those theories do not hold for the practical word embedding. (Q2) Ordinary additive compositionality can be seen as an AND operation of word meanings, but it is not well understood how other operations, such as OR and NOT, can be computed by the embeddings. We address these issues by the idea of frequency-weighted centering at its core. This paper proposes a post-processing method for bridging the gap between practical word embedding and the assumption of theory about additive compositionality as an answer to (Q1). It also gives a method for taking OR or NOT of the meaning by linear operation of word embedding as an answer to (Q2). Moreover, we confirm experimentally that the accuracy of AND operation, i.e., the ordinary additive compositionality, can be improved by our post-processing method (3.5x improvement in top-100 accuracy) and that OR and NOT operations can be performed correctly.