解释视觉场景的含义不仅需要识别其成分对象，还需要对象相互关系的丰富语义表征。在这里，我们通过将现代计算技术应用于复杂自然场景引起的人类脑反应的大规模7T fMRI数据集，研究视觉语义转换的神经机制。使用通过将语言深度学习模型应用于人类生成的场景描述获得的语义嵌入，我们确定了编码语义场景描述的大脑区域的广泛分布网络。重要的是，这些语义嵌入比传统对象类别标签更好地解释了这些区域的活动。此外，尽管参与者没有积极从事语义任务，但它们还是活动的有效预测指标，这表明Visuo-Semantic转换是默认的视觉方式。为了支持这种观点，我们表明，可以直接通过大脑活动模式直接将场景字幕的高度精确重建。最后，经过语义嵌入训练的经常性卷积神经网络进一步超过了语义嵌入在预测大脑活动时的语义嵌入，从而提供了大脑视觉语义转换的机械模型。这些实验和计算结果在一起表明，将视觉输入转换为丰富的语义场景描述可能是视觉系统的核心目标，并且将重点放在这一新目标上可能会导致改进人类大脑中视觉信息处理的模型。

如何相关的是神经语言模型，翻译模型和语言标记任务所学到的表示？我们通过调整计算机愿景的编码器 - 解码器传输学习方法来回回答这个问题，以研究从在培训的语言任务上训练的各种网络的隐藏表示中提取的100个不同的特征空间中的结构。该方法揭示了一种低维结构，其中语言模型和翻译模型在Word Embeddings，语法和语义任务中平滑地插入，以及未来的Word Embeddings。我们称之为这种低维结构的语言表示嵌入，因为它会对处理语言进行各种NLP任务所需的表示之间的关系。我们发现，这种代表性嵌入可以预测每个具有FMRI记录的自然语言刺激的人脑响应的每个特征空间映射如何。此外，我们发现这种结构的主要维度可用于创建一个突出大脑的自然语言处理层次结构的度量。这表明嵌入捕获了大脑的自然语言表示结构的某些部分。

多模式学习，尤其是大规模的多模式预训练，在过去的几年中已经迅速发展，并带来了人工智能（AI）的最大进步。尽管具有有效性，但了解多模式预训练模型的潜在机制仍然是一个巨大的挑战。揭示此类模型的解释性可能会使AI领域中新型学习范式的突破。为此，鉴于人脑的多模式性质，我们建议借助非侵入性脑成像技术（例如功能磁共振成像（fMRI））探索多模式学习模型的解释性。具体而言，我们首先提出了1500万个图像文本对预训练的新设计的多模式基础模型，该模型在各种认知下游任务中显示出强烈的多模式理解和概括能力。此外，从神经编码的角度来看（基于我们的基础模型），我们发现，与单峰相比，经过多模式训练的视觉和舌编码器都更像脑状。特别是，我们确定了许多大脑区域，其中多模式训练的编码器表现出更好的神经编码性能。这与现有有关探索大脑多感觉整合的研究的发现是一致的。因此，我们认为，多模式基础模型是神经科学家研究人脑中多模式信号处理机制的更合适的工具。我们的发现还证明了多模式基础模型作为理想的计算模拟器的潜力，以促进脑和大脑的AI研究。

Brain decoding is a field of computational neuroscience that uses measurable brain activity to infer mental states or internal representations of perceptual inputs. Therefore, we propose a novel approach to brain decoding that also relies on semantic and contextual similarity. We employ an fMRI dataset of natural image vision and create a deep learning decoding pipeline inspired by the existence of both bottom-up and top-down processes in human vision. We train a linear brain-to-feature model to map fMRI activity features to visual stimuli features, assuming that the brain projects visual information onto a space that is homeomorphic to the latent space represented by the last convolutional layer of a pretrained convolutional neural network, which typically collects a variety of semantic features that summarize and highlight similarities and differences between concepts. These features are then categorized in the latent space using a nearest-neighbor strategy, and the results are used to condition a generative latent diffusion model to create novel images. From fMRI data only, we produce reconstructions of visual stimuli that match the original content very well on a semantic level, surpassing the state of the art in previous literature. We evaluate our work and obtain good results using a quantitative semantic metric (the Wu-Palmer similarity metric over the WordNet lexicon, which had an average value of 0.57) and perform a human evaluation experiment that resulted in correct evaluation, according to the multiplicity of human criteria in evaluating image similarity, in over 80% of the test set.

当前的计算模型捕获单词的含义主要取决于文本语料库。尽管这些方法在过去几十年中取得了成功，但它们在现实世界中缺乏基础仍然是一个持续的问题。在本文中，我们专注于单词嵌入的视觉接地，并针对两个重要问题。首先，在视觉接地过程中，语言如何从视觉中受益？其次，视觉接地和抽象概念之间是否存在联系？我们通过提出一种简单而有效的方法来调查这些问题，在该方法中，语言在具体和抽象词的建模方面特别受益于视觉。我们的模型将单词嵌入与其相应的视觉表示形式对齐，而不会降低文本分布信息所捕获的知识。我们将模型应用于G \“ Unther等人（2020）报告的行为实验，该实验解决了抽象单词的视觉心理表示的合理性。我们的评估结果表明：（1）可以预测人类行为（2）与文本对应物相比，我们的接地嵌入方式在很大程度上更好地模型。（3）抽象的概念通过其与具体概念的连接而不是具有相应的视觉表现方式，从而从视觉接地中受益。

在过去的几年中，神经语言模型（NLM）取得了巨大进步，在各种语言任务上取得了令人印象深刻的表现。利用这一点，对神经科学的研究已开始使用NLMS在语言处理过程中研究人脑中的神经活动。但是，关于哪些因素决定了神经语言模型捕获大脑活动的能力（又称其“大脑评分”）的能力，许多问题仍未得到解决。在这里，我们朝这个方向迈出了第一步，并检查了测试丢失，训练语料库和模型架构的影响（比较手套，LSTM，GPT-2和BERT），对参与者的功能磁共振成像的预测时间表的预测时间表。 。我们发现（1）每个模型的未经训练的版本已经通过捕获相同单词的大脑响应的相似性来解释大脑中的大量信号，而未经训练的LSTM优于基于变压器的模型，受到上下文效果的影响较小。 （2）训练NLP模型可改善同一大脑区域的大脑评分，而与模型的结构无关； （3）困惑（测试损失）不是大脑评分的良好预测指标； （4）训练数据对结果有很大的影响，尤其是，现成的模型可能缺乏检测大脑激活的统计能力。总体而言，我们概述了模型训练选择的影响，并为未来的研究提出了良好的实践，旨在使用神经语言模型来解释人类语言系统。

类似于心血管和肌肉骨骼系统的熟练程度的差异如何预测个人的运动能力，同一大脑区域如何编码个人的差异可以解释他们的行为。然而，在研究大脑如何编码信息时，研究人员选择不同的神经影像任务（例如，语言或电机任务），其可以依赖于处理不同类型的信息并且可以调制不同的脑区。我们假设信息如何在大脑中编码信息的个人差异是特定于任务的，并预测不同的行为措施。我们提出了一种使用编码模型的框架，以识别大脑编码和测试中的单个差异，如果这些差异可以预测行为。我们使用任务功能磁共振成像数据评估我们的框架。我们的结果表明，编码模型显示的个体差异是预测行为的强大工具，并且研究人员应优化他们对其感兴趣行为的任务和编码模型的选择。

多模式培训的最新进展使用文本描述，可以显着增强机器对图像和视频的理解。然而，目前尚不清楚语言在多大程度上可以完全捕捉不同方式的感官体验。一种表征感官体验的良好方法取决于相似性判断，即人们认为两个截然不同的刺激是相似的程度。我们在一系列大规模的行为研究（$ n = 1,823美元的参与者）中探讨了人类相似性判断与语言之间的关系，这三种模式（图像，音频和视频）和两种类型的文本描述符：简单的文字描述符： - 文本字幕。在此过程中，我们引入了一条新型的自适应管道，用于标签挖掘，既有高效又是领域。我们表明，基于文本描述符的预测管道表现出色，我们将其与基于视觉，音频和视频处理体系结构的611基线模型进行了比较。我们进一步表明，文本描述符和模型在多种方式之间和模型之间预测人类相似性的程度各不相同。综上所述，这些研究说明了整合机器学习和认知科学方法的价值，以更好地了解人类和机器表示之间的相似性和差异。我们在https://words-are-are-all-you-need.s3.amazonaws.com/index.html上介绍了交互式可视化，以探索人类所经历的刺激和本文中报道的不同方法之间的相似性。

Our experience of the world is multimodal -we see objects, hear sounds, feel texture, smell odors, and taste flavors. Modality refers to the way in which something happens or is experienced and a research problem is characterized as multimodal when it includes multiple such modalities. In order for Artificial Intelligence to make progress in understanding the world around us, it needs to be able to interpret such multimodal signals together. Multimodal machine learning aims to build models that can process and relate information from multiple modalities. It is a vibrant multi-disciplinary field of increasing importance and with extraordinary potential. Instead of focusing on specific multimodal applications, this paper surveys the recent advances in multimodal machine learning itself and presents them in a common taxonomy. We go beyond the typical early and late fusion categorization and identify broader challenges that are faced by multimodal machine learning, namely: representation, translation, alignment, fusion, and co-learning. This new taxonomy will enable researchers to better understand the state of the field and identify directions for future research.

语言基础与视觉是一个积极的研究领域，旨在通过利用视觉感知知识来丰富基于文本的单词含义的表示。尽管进行了多次接地尝试，但仍不清楚如何以一种保持文本和视觉知识的适当平衡的方式将视觉知识注入语言嵌入一词。一些普遍的问题是以下内容。视觉基础对抽象单词有益吗？还是仅限于具体单词的贡献？弥合文本和视觉之间差距的最佳方法是什么？通过视觉接地的文本嵌入，我们可以获得多少收益？本研究通过提出一种简单但非常有效的基础方法来解决这些问题，以预先训练的单词嵌入。我们的模型将文本嵌入与视觉保持一致，同时在很大程度上保留了在文本语料库中使用单词使用的分布统计数据。通过应用学习的对齐方式，我们能够生成视觉接地的嵌入，用于看不见的单词，包括抽象单词。一系列对单词相似性基准的评估表明，视觉接地不仅对具体单词有益，而且对抽象单词也有益。我们还表明，我们的视觉接地方法为上下文化的嵌入提供了优势，但只有在对相对尺寸相对较小的语料库进行培训时，我们才能提供优势。可以在https://github.com/hazel1994/visaly_grounded_word_word_embeddings_2上获得英语的代码和接地嵌入。

Due to the low signal-to-noise ratio and limited resolution of functional MRI data, and the high complexity of natural images, reconstructing a visual stimulus from human brain fMRI measurements is a challenging task. In this work, we propose a novel approach for this task, which we call Cortex2Image, to decode visual stimuli with high semantic fidelity and rich fine-grained detail. In particular, we train a surface-based convolutional network model that maps from brain response to semantic image features first (Cortex2Semantic). We then combine this model with a high-quality image generator (Instance-Conditioned GAN) to train another mapping from brain response to fine-grained image features using a variational approach (Cortex2Detail). Image reconstructions obtained by our proposed method achieve state-of-the-art semantic fidelity, while yielding good fine-grained similarity with the ground-truth stimulus. Our code is available at: https://github.com/zijin-gu/meshconv-decoding.git.

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

深度学习最近在自然语言处理方面取得了显着进展。然而，所得到的算法仍然远离人类脑的语言能力。预测编码理论提供了对这种差异的潜在说明：虽然优化深语算法以预测相邻词，但是人类大脑将被调整以进行远程和分层预测。为了测试这一假设，我们分析了304名受试者的FMRI脑信号，每个受试者每张聆听70min的短篇小说。在确认深语算法的激活之后，我们表明，通过远程预测表示增强了这些模型，提高了他们的脑映射。结果进一步揭示了大脑中预测的层次，由此前景皮质预测比时间皮质更摘要和更远的差异。总体而言，这项研究增强了预测编码理论，并表明了在自然语言处理中的远程和分层预测的关键作用。

启动和抗精气可以通过错误驱动的学习来建模（Marsolek，2008），假设学习质量的影响对目标刺激的处理进行了学习。这意味着参与者在启动研究中不断学习，并预测他们在其他心理语言实验的每项试验中也在学习。这项研究调查了在词汇决策实验中是否可以检测到试验学习。我们使用了判别词典模型（DLM; Baayen等，2019），这是一种具有分布语义的含义表示的精神词典模型，该模型具有分布语义的含义表示，该模型以Widrow-hoff规则为增量学习模型。我们使用了英国词典项目（BLP； Keuleers等，2012）的数据，并对每个受试者单独进行试用基础进行了DLM模拟词汇决策实验。然后，使用源自DLM模拟作为预测因子的措施预测单词和非单词的反应时间。使用两个受试者的数据开发模型，并对所有其他受试者进行了测试。我们从两个模拟中为每个主题提取了措施（一个在试验之间进行了学习更新，一个没有），并将其用作两个GAM的输入。基于学习的模型比大多数受试者的非学习模型表现出更好的模型拟合度。我们的措施还提供了有关词汇处理的见解，并使我们能够通过线性混合模型探索个体差异。这证明了DLM对行为数据进行建模的潜力，并得出这样的结论：在心理语言实验中确实可以检测到试验到审判的学习。

生物视觉系统的神经基础在实验上研究很具有挑战性，特别是因为相对于视觉输入，神经元活性变得越来越非线性。人工神经网络（ANN）可以为改善我们对这一复杂系统的理解提供各种目标，不仅充当硅中新假设产生的感觉皮层的预测数字双胞胎，而且还融合了生物启发的建筑主题，以逐步桥接桥梁生物和机器视觉之间的差距。该鼠标最近已成为研究视觉信息处理的流行模型系统，但是尚未确定识别鼠标视觉系统最新模型的标准化大规模基准。为了填补这一空白，我们提出了感官基准竞赛。我们从小鼠初级视觉皮层中收集了一个大规模数据集，其中包含七个小鼠的28,000多个神经元的反应，并通过数千个自然图像刺激，以及同时的行为测量，包括跑步速度，瞳孔扩张和眼动。基准挑战将基于固定测试集​​中神经元响应的预测性能对模型进行对模型，其中包括两个模型输入的轨道，仅限于刺激（感觉到）或刺激加行为（感觉符号+）。我们提供一个起始套件，以降低进入障碍的障碍，包括教程，预训练的基线模型以及带有一条线命令以进行数据加载和提交的API。我们希望将其视为定期挑战和数据发布的起点，也是衡量鼠标视觉系统及其他大规模神经系统识别模型中进度的标准工具。

各种工作表明，图像的令人难忘性在人们中一致，因此可以被视为图像的内在特性。使用计算机视觉模型，我们可以对人们记住或忘记做出具体的预测。虽然老工作已经使用了现在过时的深度学习架构来预测图像令人难忘，但该领域的创新使我们的新技术适用于这个问题。在这里，我们提出并评估了五个替代的深度学习模型，在过去五年中利用现场开发的替代深度学习模型，这主要是引入残余神经网络，这旨在允许模型在令人难忘的估计过程中使用语义信息。通过构建的组合数据集进行了本领域的先前状态测试这些新模型，以优化类别内和跨类别预测。我们的研究结果表明，关键的令人难忘网络夸大了其概括性，并在其培训集上被过度了。我们的新模型优于此前的模型，导致我们得出结论，残差网络在令人难忘的回归中占据了更简单的卷积神经网络。我们使新的最先进的模型容易获得研究界，允许内存研究人员对更广泛的图像上的难忘性进行预测。

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

Automatically generating a natural language description of an image has attracted interests recently both because of its importance in practical applications and because it connects two major artificial intelligence fields: computer vision and natural language processing. Existing approaches are either top-down, which start from a gist of an image and convert it into words, or bottom-up, which come up with words describing various aspects of an image and then combine them. In this paper, we propose a new algorithm that combines both approaches through a model of semantic attention. Our algorithm learns to selectively attend to semantic concept proposals and fuse them into hidden states and outputs of recurrent neural networks.The selection and fusion form a feedback connecting the top-down and bottom-up computation. We evaluate our algorithm on two public benchmarks: Microsoft COCO and Flickr30K. Experimental results show that our algorithm significantly outperforms the state-of-the-art approaches consistently across different evaluation metrics.

许多领域的研究表明，转移学习（TL）非常适合提高具有少量样品的数据集中深度学习（DL）模型的性能。这种经验成功引发了对具有功能神经影像数据的认知解码分析的应用的兴趣。这里，我们系统地评估了从全脑功能磁共振成像（FMRI）数据的认知状态（例如，观看面部或房屋图像）的解码的TL。我们首先在大型公共FMRI数据集中预先列出两个DL架构，随后在独立实验任务和完全独立的数据集中评估其性能。预先训练的模型始终如一地达到更高的解码精度，并且通常需要较少的训练时间和数据，而不是模型变形，这些模型变体没有预先接受培训，明确强调预制培训的好处。我们证明，这些益处是由于预先训练的模型在使用新数据培训时重用了许多学习功能的这些益处，从而深入了解导致预训练的好处的机制。然而，在解释预先训练模型的解码决策时，我们还通过DL模型对全脑认知解码进行了差别挑战，因为这些已经学会了在不可预见的情况下利用FMRI数据和识别单个认知状态的违反直觉方式。