越来越多的自然语言处理研究（NLP）和自然语言理解（NLU）正在研究从大语言模型的嵌入一词中学习或编码的人类知识。这是了解哪些知识语言模型捕获的一步，类似于人类对语言和交流的理解。在这里，我们调查了单词（即价，唤醒，主导地位）的影响以及如何在大型神经网络中预先训练的单词嵌入中编码。我们将人类标记的数据集用作地面真理，并对四种单词嵌入方式进行了各种相关和分类测试。嵌入在静态或上下文化方面有所不同，以及在训练和微调阶段优先考虑特定信息的程度。我们的分析表明，嵌入Vanilla Bert模型的单词并未明显编码英语单词的影响信息。只有在与情绪相关的任务上进行微调或包含来自情感丰富的环境的额外上下文化信息时，只有在bert模型进行微调时，相应的嵌入方式可以编码更相关的影响信息。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

Word Embeddings从单词共同发生统计信息中捕获的语言规律学习隐式偏差。通过延长定量单词嵌入中的人类偏差的方法，我们介绍了valnorm，一种新的内在评估任务和方法，以量化人类级字体群体的价值维度与社会心理学。从七种语言（中文，英语，德语，波兰语，葡萄牙语，西班牙语和土耳其语）以及跨越200年的历史英语文本，将Valnorm应用于静态词嵌入式Valnorm在量化非歧视性的非社交组字集的价值方面达到了始终如一的高精度。具体而言，Valnorm实现了r = 0.88的Pearson相关性，用于399个单词的人类判断得分，以建立英语的愉快规范。相比之下，我们使用相同的单词嵌入品测量性别刻板印象，并发现社会偏见因语言而异。我们的结果表明，非歧视性，非社会群组词的价协会代表着七种语言和200多年的广泛共享的协会。

情绪分析的研究分散在不同的标签格式（例如，极性类型，基本情感类别和情感尺寸），语言水平（词与句子与话语），当然，（几乎没有资源但更多资源不足）自然语言和文本类型（例如，产品评论，推文，新闻）。由此产生的异质性使得在这些冲突的限制下开发的数据和软件难以比较和挑战整合。为了解决这种不满意的事态，我们在这里提出了一种培训计划，该培训计划学习与不同标签格式，自然语言，甚至不同的模型架构无关的情感共享潜在的情绪。在各种数据集上的实验表明该方法不会产生所需的互操作性，而不会惩罚预测质量。代码和数据在DOI 10.5281 / ZENODO.5466068下存档。

静态嵌入的后处理已成为提高其在词汇和序列级任务上的性能。但是，在上下文化嵌入的后处理是一个研究不足的问题。在这项工作中，我们质疑从不同训练的语言模型获得的上下文化嵌入的后处理的有用性。更具体地说，我们使用Z分数，Min-Max归一化以及使用全而top方法来删除顶部原理组件，将单个神经元激活标准化。此外，我们将单位长度标准化应用于单词表示。在各种预训练的模型集中，我们表明，在表示两个词汇任务（例如单词相似性和类比）和序列分类任务的表示后处理中存在重要信息。我们的发现提出了有关使用上下文表示表示的研究研究的有趣点，并建议在应用程序中使用Z分数归一化作为要考虑的重要步骤。

语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。

当社会机器人和其他智能机器进入家中时，人工情感智力（AEI）正在焦点，以应对用户对更深入，更有意义的人类机器互动的渴望。为了完成这种有效的互动，下一代AEI需要全面的人类情感模型才能进行训练。与情感理论（一直是心理学的历史重点）不同，情感模型是一种描述性工具。在实践中，最强的模型需要强大的覆盖范围，这意味着定义最小的情绪集可以从中得出所有其他情感。为了实现所需的覆盖范围，我们转向自然语言处理中的单词嵌入。我们的实验使用无监督的聚类技术表明，只有15个离散的情绪类别，我们可以在六种主要语言（阿拉伯语，中文，英语，法语，西班牙语和俄语）上提供最大的覆盖范围。为了支持我们的发现，我们还检查了来自两个大规模情感识别数据集的注释，以评估与人类观念的规模观念相比，评估现有情绪模型的有效性。由于强大的，全面的情感模型是开发现实世界情感计算应用的基础，因此这项工作对社会机器人技术，人机互动，心理保健和计算心理学具有广泛的影响。

我们使用释义作为独特的数据来源来分析上下文化的嵌入，特别关注BERT。由于释义自然编码一致的单词和短语语义，因此它们提供了一种独特的镜头来研究嵌入的特性。使用释义数据库的比对，我们在释义和短语表示中研究单词。我们发现，上下文嵌入有效地处理多义单词，但在许多情况下给出了同义词，具有令人惊讶的不同表示。我们证实了先前的发现，即Bert对单词顺序敏感，但是就BERT层的情境化水平而言，发现与先前工作的模式略有不同。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

隐喻检测的最先进方法比较他们的文字或核心 - 使用基于神经网络的顺序隐喻分类器的含义及其语境含义。表示字面含义的信号通常由（非语境）字嵌入式表示。然而，隐喻表达由于各种原因，例如文化和社会影响，随着时间的推移而发展。已知隐喻表达式通过语言和文字词含义，甚至在某种程度上驾驶这一进化。这升起了对文字含义不同，可能是特定于特定的，可能影响隐喻检测任务的问题。据我们所知，这是第一项研究，该研究在详细的探索性分析中检查了隐喻检测任务，其中使用不同的时间和静态字嵌入来占对字面意义的不同表示。我们的实验分析基于用于隐喻检测的三个流行基准，并从不同的Corpora中提取的单词嵌入式，并在时间上对齐到不同的最先进的方法。结果表明，不同的单词嵌入对隐喻检测任务的影响和一些时间字嵌入略高于一些性能措施的静态方法。然而，结果还表明，时间字嵌入可以提供单词“核心意义的表示，即使太接近其隐喻意义，因此令人困惑的分类器。总的来说，时间语言演化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集中出现了微小。这表明对这种重要语言现象的计算分析的未来工作应该首先创建一个新的数据集，其中这个交互是更好的代表。

预测过程的结果需要建模系统动态并观察状态。在社会行为的背景下，情感是系统的状态。影响控制理论（ACT）使用情感来表现潜在的相互作用。ACT是基于三维情感词典的文化和行为的生成理论。传统上，使用调查数据对情感进行量化，该数据被输入回归模型以解释社会行为。调查中使用的词典由于成本过高而受到限制。本文使用来自变压器（BERT）模型的微调双向编码器表示，以开发这些调查的替代品。该模型在估计情感含义，扩展情感词典并允许解释更多行为方面达到了最新的准确性。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

在NLP社区中有一个正在进行的辩论，无论现代语言模型是否包含语言知识，通过所谓的探针恢复。在本文中，我们研究了语言知识是否是现代语言模型良好表现的必要条件，我们称之为\ Texit {重新发现假设}。首先，我们展示了语言模型，这是显着压缩的，但在预先磨普目标上表现良好，以便在语言结构探讨时保持良好的分数。这一结果支持重新发现的假设，并导致我们的论文的第二款贡献：一个信息 - 理论框架，与语言建模目标相关。该框架还提供了测量语言信息对字词预测任务的影响的度量标准。我们通过英语综合和真正的NLP任务加固我们的分析结果。

In recent years, there has been increased interest in building predictive models that harness natural language processing and machine learning techniques to detect emotions from various text sources, including social media posts, micro-blogs or news articles. Yet, deployment of such models in real-world sentiment and emotion applications faces challenges, in particular poor out-of-domain generalizability. This is likely due to domain-specific differences (e.g., topics, communicative goals, and annotation schemes) that make transfer between different models of emotion recognition difficult. In this work we propose approaches for text-based emotion detection that leverage transformer models (BERT and RoBERTa) in combination with Bidirectional Long Short-Term Memory (BiLSTM) networks trained on a comprehensive set of psycholinguistic features. First, we evaluate the performance of our models within-domain on two benchmark datasets: GoEmotion and ISEAR. Second, we conduct transfer learning experiments on six datasets from the Unified Emotion Dataset to evaluate their out-of-domain robustness. We find that the proposed hybrid models improve the ability to generalize to out-of-distribution data compared to a standard transformer-based approach. Moreover, we observe that these models perform competitively on in-domain data.

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

Natural Language Understanding has seen an increasing number of publications in the last few years, especially after robust word embeddings models became prominent, when they proved themselves able to capture and represent semantic relationships from massive amounts of data. Nevertheless, traditional models often fall short in intrinsic issues of linguistics, such as polysemy and homonymy. Any expert system that makes use of natural language in its core, can be affected by a weak semantic representation of text, resulting in inaccurate outcomes based on poor decisions. To mitigate such issues, we propose a novel approach called Most Suitable Sense Annotation (MSSA), that disambiguates and annotates each word by its specific sense, considering the semantic effects of its context. Our approach brings three main contributions to the semantic representation scenario: (i) an unsupervised technique that disambiguates and annotates words by their senses, (ii) a multi-sense embeddings model that can be extended to any traditional word embeddings algorithm, and (iii) a recurrent methodology that allows our models to be re-used and their representations refined. We test our approach on six different benchmarks for the word similarity task, showing that our approach can produce state-of-the-art results and outperforms several more complex state-of-the-art systems.

如何相关的是神经语言模型，翻译模型和语言标记任务所学到的表示？我们通过调整计算机愿景的编码器 - 解码器传输学习方法来回回答这个问题，以研究从在培训的语言任务上训练的各种网络的隐藏表示中提取的100个不同的特征空间中的结构。该方法揭示了一种低维结构，其中语言模型和翻译模型在Word Embeddings，语法和语义任务中平滑地插入，以及未来的Word Embeddings。我们称之为这种低维结构的语言表示嵌入，因为它会对处理语言进行各种NLP任务所需的表示之间的关系。我们发现，这种代表性嵌入可以预测每个具有FMRI记录的自然语言刺激的人脑响应的每个特征空间映射如何。此外，我们发现这种结构的主要维度可用于创建一个突出大脑的自然语言处理层次结构的度量。这表明嵌入捕获了大脑的自然语言表示结构的某些部分。

情绪感知智能系统对于广泛的应用是必不可少的。这些系统由语言模型驱动，这主要落入两个范式：基于词汇和上下文。虽然最近的上下文模型越来越占主导地位，但由于它们的可解释性和易用性，我们仍然可以看到基于词汇的模型的需求。例如，基于词汇的模型允许研究人员容易地确定哪些单词和短语对测量情绪的变化有贡献。任何基于词汇的方法的挑战是，词典需要通过新的单词和表达进行常规扩展。在这里，我们提出了两个用于自动词典扩展的模型。我们的第一个模型建立了一种基线，采用简单而浅的神经网络，使用非上下文方法初始化了预先训练的单词嵌入。我们的第二种模式改进了我们的基线，具有深度变压器的网络，它带来了估计其词汇极性的单词定义。我们的评估表明，两种模型都能够以与亚马逊机械土耳其人的评论者相似的准确度，但是在成本的一小部分中，可以获得类似的准确性。

预先接受训练的语言模型的进展导致了对自然语言理解的下游任务的令人印象深刻的结果。探索预先训练的语言模型的最新工作揭示了在其上下围化表示中编码的广泛的语言属性。然而，目前尚不清楚他们是否编码对符号推理方法至关重要的语义知识。我们提出了一种用于探测预先接受训练的语言模型表示的逻辑推断的语言信息的方法。我们的探测数据集涵盖主要符号推理系统所需的语言现象列表。我们发现（i）预先接受的语言模型为推断编码几种类型的语言信息，但是还有一些类型的信息弱编码，（ii）语言模型可以通过微调有效地学习语言信息缺少语言信息。总体而言，我们的调查结果提供了逻辑推理语言模型的语言信息的洞察力，以及他们的预训练程序捕获。此外，我们已经证明了语言模型作为语义和背景知识库的潜力，用于支持符号推断方法。