分销模型从文本中学习了单词的表示，但由于缺乏基础或将文本与非语言世界的联系而受到批评。接地的语言模型在学习将名词和形容词等具体类别通过图像和视频连接到世界上的混凝土类别取得了成功，但是可以难以将动词本身的含义与通常发生的上下文隔离。在本文中，我们研究了自然编码动词语义的轨迹（即物体的位置和旋转）的程度。我们构建一个程序生成的代理 - 对象相互作用数据集，获取该数据中发生的动词的人体注释，并比较给定轨迹的几种表示学习方法。我们发现，轨迹与某些动词（例如秋季）相关联，并且通过自我监督预处理的额外抽象可以进一步捕获动词含义的细微差异（例如，滚动与幻灯片）。

词汇语义和认知科学指出，负担能力（即对反对支持的行为）对于理解和代表名词和动词至关重要。但是，对这些语义特征的研究尚未与当前主导语言表示研究的“基础”模型集成。我们假设随着时间的推移，对象状态的预测建模将导致“免费”编码对象负担信息的表示。我们训练神经网络在模拟交互中预测对象的轨迹，并表明我们网络的潜在表示区分了观察到的和未观察到的负担。我们发现，使用空间数据集中的3D模拟训练的模型优于传统的2D计算机视觉模型，该模型训练了类似任务，并且在初步检查时，概念之间的差异与预期功能相对应（例如，滚动需要旋转）。我们的结果提出了一种方法，即可以将现代深度学习方法与词汇表达的传统语义概念融合在一起。

最近围绕语言处理模型的复杂性的最新炒作使人们对机器获得了类似人类自然语言的指挥的乐观情绪。人工智能中自然语言理解的领域声称在这一领域取得了长足的进步，但是，在这方面和其他学科中使用“理解”的概念性清晰，使我们很难辨别我们实际上有多近的距离。目前的方法和剩余挑战的全面，跨学科的概述尚待进行。除了语言知识之外，这还需要考虑我们特定于物种的能力，以对，记忆，标签和传达我们（足够相似的）体现和位置经验。此外，测量实际约束需要严格分析当前模型的技术能力，以及对理论可能性和局限性的更深入的哲学反思。在本文中，我将所有这些观点（哲学，认知语言和技术）团结在一起，以揭开达到真实（人类般的）语言理解所涉及的挑战。通过解开当前方法固有的理论假设，我希望说明我们距离实现这一目标的实际程度，如果确实是目标。

尽管当前的视觉算法在许多具有挑战性的任务上都表现出色，但尚不清楚他们如何理解现实世界环境的物理动态。在这里，我们介绍了Physion，一种数据集和基准，用于严格评估预测物理场景如何随着时间而发展的能力。我们的数据集具有对各种物理现象的现实模拟，包括刚性和软体体碰撞，稳定的多对象配置，滚动，滑动和弹丸运动，因此比以前的基准提供了更全面的挑战。我们使用Physion来基准一套模型，其体系结构，学习目标，投入输出结构和培训数据各不相同。同时，我们在同一场景上获得了人类预测行为的精确测量，从而使我们能够直接评估任何模型能够近似人类行为的效果。我们发现，学习以对象为中心的表示的视觉算法通常优于那些没有人的表现，但仍未达到人类绩效。另一方面，绘制具有直接访问物理状态信息的神经网络的表现效果更好，并且做出与人类制作的预测更相似。这些结果表明，提取场景的物理表征是在视力算法中实现人类水平和类似人类的物理理解的主要瓶颈。我们已公开发布了所有数据和代码，以促进使用物理以完全可重现的方式对其他模型进行基准测试，从而使对视觉算法的进度进行系统的评估，这些算法像人们一样坚固地了解物理环境。

Neural networks trained on datasets such as ImageNet have led to major advances in visual object classification. One obstacle that prevents networks from reasoning more deeply about complex scenes and situations, and from integrating visual knowledge with natural language, like humans do, is their lack of common sense knowledge about the physical world. Videos, unlike still images, contain a wealth of detailed information about the physical world. However, most labelled video datasets represent high-level concepts rather than detailed physical aspects about actions and scenes. In this work, we describe our ongoing collection of the "something-something" database of video prediction tasks whose solutions require a common sense understanding of the depicted situation. The database currently contains more than 100,000 videos across 174 classes, which are defined as caption-templates. We also describe the challenges in crowd-sourcing this data at scale.

第一人称视频在其持续环境的背景下突出了摄影师的活动。但是，当前的视频理解方法是从短视频剪辑中的视觉特征的原因，这些视频片段与基础物理空间分离，只捕获直接看到的东西。我们提出了一种方法，该方法通过学习摄影师（潜在看不见的）本地环境来促进以人为中心的环境的了解来链接以自我为中心的视频和摄像机随着时间的推移而张开。我们使用来自模拟的3D环境中的代理商的视频进行训练，在该环境中，环境完全可以观察到，并在看不见的环境的房屋旅行的真实视频中对其进行测试。我们表明，通过将视频接地在其物理环境中，我们的模型超过了传统的场景分类模型，可以预测摄影师所处的哪个房间（其中帧级信息不足），并且可以利用这种基础来定位与环境相对应的视频瞬间 - 中心查询，优于先验方法。项目页面：http：//vision.cs.utexas.edu/projects/ego-scene-context/

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

作为人类，我们通过我们所有的感官来驾驭世界，使用每个人从每个人纠正其他人。我们介绍了Merlot Reserve，一个模型，该模型是联合随着时间的推移而表示视频的模型 - 通过从音频，字幕和视频帧学习的新培训目标。给出了一个视频，我们用掩模令牌替换文本和音频的片段;该模型通过选择正确的蒙版片段来学习。我们的目标比替代方面更快地学习，并在规模上表现良好：我们预先逼近2000万YouTube视频。经验结果表明，Merlot Reserve学会通过所有组成模式的视频的强烈陈述。在FineTuned时，它在VCR和TVQA上为VCR和TVQA进行了新的最先进，优先于前勤工作分别为5％和7％。消融表明，两个任务都受益于音频预制 - 甚至录像机，围绕图像中心的QA任务（没有声音）。此外，我们的客观使开箱即用的预测，揭示了强大的多式联合致辞理解。在一个完全零拍摄的环境中，我们的模型在四个视频理解任务中获得竞争结果，甚至优于最近提出的定位推理（星）基准的监督方法。我们分析为什么包含音频导致更好的视觉语言表示，这表明未来研究的重要机会。我们通过讨论多式联运预测的道德和社会影响来得出结论。

为了使AI安全地在医院，学校和工作场所等现实世界中安全部署，它必须能够坚定地理解物理世界。这种推理的基础是物理常识：了解可用对象的物理特性和提供的能力，如何被操纵以及它们如何与其他对象进行交互。物理常识性推理从根本上是一项多感官任务，因为物理特性是通过多种模式表现出来的，其中两个是视觉和声学。我们的论文通过贡献PACS来朝着现实世界中的物理常识推理：第一个用于物理常识属性注释的视听基准。 PACS包含13,400对答案对，涉及1,377个独特的物理常识性问题和1,526个视频。我们的数据集提供了新的机会来通过将音频作为此多模式问题的核心组成部分来推进物理推理的研究领域。使用PACS，我们在我们的新挑战性任务上评估了多种最先进的模型。尽管某些模型显示出令人鼓舞的结果（精度为70％），但它们都没有人类的绩效（精度为95％）。我们通过证明多模式推理的重要性并为未来的研究提供了可能的途径来结束本文。

拥有丰富的多模式内在语言是人类智力的重要组成部分，它可以实现多种必要的核心认知功能，例如多模式预测，翻译和生成。在有意识的图灵机（CTM）的基础上，这是Blum and Blum提出的意识模型（2021），我们描述了一种称为Brainish的多模式的Desiderata，包括单词，图像，音频和感觉，结合了CTM的表示形式处理器用来相互通信。我们在通过多模式人工智能的镜头进行操作之前定义了大脑的语法和语义，这是一个充满活力的研究区域，研究了处理和关联异质信号信息所需的计算工具。我们学习的一般框架涉及设计（1）单峰编码器以细分并表示非模态数据，（2）协调的表示空间，该空间将和编写单峰特征与多模式输入的整体含义相关联，以及（3）解码器以映射多模式表示形式。进入预测（用于融合）或原始数据（用于翻译或生成）。通过讨论为了在CTM中实现意识以及实施简单版本的脑部和评估其在几个现实世界图像，文本和文本和检索任务上展示智能的能力，通过讨论对沟通和协调的脑力至关重要音频数据集，我们认为这种内在语言对于机器智力和意识模型的进步将很重要。

Visual understanding goes well beyond object recognition. With one glance at an image, we can effortlessly imagine the world beyond the pixels: for instance, we can infer people's actions, goals, and mental states. While this task is easy for humans, it is tremendously difficult for today's vision systems, requiring higher-order cognition and commonsense reasoning about the world. We formalize this task as Visual Commonsense Reasoning. Given a challenging question about an image, a machine must answer correctly and then provide a rationale justifying its answer.Next, we introduce a new dataset, VCR, consisting of 290k multiple choice QA problems derived from 110k movie scenes. The key recipe for generating non-trivial and highquality problems at scale is Adversarial Matching, a new approach to transform rich annotations into multiple choice questions with minimal bias. Experimental results show that while humans find VCR easy (over 90% accuracy), state-of-the-art vision models struggle (∼45%).To move towards cognition-level understanding, we present a new reasoning engine, Recognition to Cognition Networks (R2C), that models the necessary layered inferences for grounding, contextualization, and reasoning. R2C helps narrow the gap between humans and machines (∼65%); still, the challenge is far from solved, and we provide analysis that suggests avenues for future work.

我们介绍了空间本地化叙述中的视频中的任务。我们的方法的关键是能够学会在与随附的叙述的视频中的大型视频中对自我监督进行空间地定位与自我监督的互动。为实现这一目标，我们提出了一种多层跨模型关注网络，可以在培训期间有效优化对比损失。我们介绍了一种分割的策略，可以通过视觉和自然语言方式计算和中间模态注意力之间的交替，这允许通过直接对比两种方式的表示来实现有效的培训。我们展示了我们对HOWTO100M教学数据集的自我训练的方法的有效性，并在YouCook2 DataSet中的本地化描述交互的新收集数据集上进行评估。我们展示了我们的方法优于替代基准，包括浅薄的共同关注和完全跨越的关注。我们还将我们的方法应用于在Flickr30k上的弱监管下的图像中的接地短语，并显示堆叠多个注意层是有效的，并且当与对区域丢失相结合时，在召回召回和指向时达到最先进的艺术状态手准确性。

我们介绍了遮阳板，一个新的像素注释的新数据集和一个基准套件，用于在以自我为中心的视频中分割手和活动对象。遮阳板注释Epic-kitchens的视频，其中带有当前视频分割数据集中未遇到的新挑战。具体而言，我们需要确保像素级注释作为对象经历变革性相互作用的短期和长期一致性，例如洋葱被剥皮，切成丁和煮熟 - 我们旨在获得果皮，洋葱块，斩波板，刀，锅以及表演手的准确像素级注释。遮阳板引入了一条注释管道，以零件为ai驱动，以进行可伸缩性和质量。总共，我们公开发布257个对象类的272K手册语义面具，990万个插值密集口罩，67K手动关系，涵盖36小时的179个未修剪视频。除了注释外，我们还引入了视频对象细分，互动理解和长期推理方面的三个挑战。有关数据，代码和排行榜：http：//epic-kitchens.github.io/visor

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

语言基础的挑战是通过在现实世界中的引用中充分理解自然语言。尽管可以使用AI技术，但此类技术对人类机器人团队的广泛采用和有效性依赖于用户信任。这项调查提供了有关语言基础的新兴信任领域的三项贡献，包括a）根据AI技术，数据集和用户界面的语言基础研究概述；b）与语言基础有关的六个假设信任因素，这些因素在人机清洁团队经验中进行了经验测试；c）对语言基础的信任的未来研究指示。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

Self-supervised learning has become increasingly important to leverage the abundance of unlabeled data available on platforms like YouTube. Whereas most existing approaches learn low-level representations, we propose a joint visual-linguistic model to learn high-level features without any explicit supervision. In particular, inspired by its recent success in language modeling, we build upon the BERT model to learn bidirectional joint distributions over sequences of visual and linguistic tokens, derived from vector quantization of video data and off-the-shelf speech recognition outputs, respectively. We use VideoBERT in numerous tasks, including action classification and video captioning. We show that it can be applied directly to openvocabulary classification, and confirm that large amounts of training data and cross-modal information are critical to performance. Furthermore, we outperform the state-of-theart on video captioning, and quantitative results verify that the model learns high-level semantic features.

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。