人类具有以零拍的方式识别和获取新颖的视觉概念的非凡能力。考虑到以前学到的视觉概念及其关系的高级，象征性的描述，人类可以识别新颖的概念而不看到任何例子。此外，他们可以通过学习视觉概念和关系来解析和传达符号结构来获取新概念。赋予机器中的这些功能在提高推理时提高其概括能力方面至关重要。在这项工作中，我们介绍了零拍的概念识别和获取（ZEROC），这是一种神经符号结构，可以以零拍的方式识别和获取新颖的概念。 ZEROC代表概念作为组成概念模型的图（作为节点）及其关系（作为边缘）。为了允许推理时间组成，我们采用基于能量的模型（EBM）来建模概念和关系。我们设计ZEROC架构，以便它允许在概念的符号图结构及其相应的EBM之间进行一对一的映射，该图是第一次允许获取新概念，传达其图形结构并将其应用于分类和分类和在推理时检测任务（甚至跨域）。我们介绍了用于学习和推断ZEROC的算法。我们在一个充满挑战的网格世界数据集上评估了零，该数据集旨在探测零拍的概念识别和获取，并展示其功能。

视觉关系构成了理解我们的构图世界的基础，因为视觉对象之间的关系捕获了场景中的关键信息。然后，从数据自动学习关系是有利的，因为使用预定义的标签学习无法捕获所有可能的关系。但是，当前的关系学习方法通​​常需要监督，并且并不是旨在概括与培训期间相比，具有更复杂关系结构的场景。在这里，我们介绍了Virel，这是一种使用图形级别类比的无监督发现和学习视觉关系的方法。在任务中的场景共享相同的基本关系子图结构的环境中，我们对比的同构和非同构图的学习方法以无聊的方式发现了跨任务的关系。一旦学习了关系，Virel就可以通过解析预测的关系结构来检索每个任务的共享关系图结构。使用基于网格世界和抽象推理语料库的数据集，我们表明我们的方法在关系分类中达到了95％的精度，发现了大多数任务的关系图结构，并进一步概括了具有更复杂关系结构的看不见的任务。

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

组成零射击学习（CZSL）是指识别已知视觉原始素的看不见的组成，这是人工智能系统学习和理解世界的重要能力。尽管在现有基准测试方面取得了长足的进展，但我们怀疑流行的CZSL方法是否可以解决几乎没有射击的挑战和很少的参考构成，这在现实世界中看不见的环境中学习时很常见。为此，我们研究了本文中具有挑战性的参考有限的零拍学习（RL-CZSL）问题，即，只有少数样品作为参考，应确定观察到的原始物的参考的有限参考组成。我们提出了一种新型的元组合图学习器（metaCGL），该图可以从不足的参考信息中有效地学习组成性并推广到看不见的组成。此外，我们通过两个新的大型数据集构建了一个基准测试，这些数据集由具有不同组成标签的自然图像组成，为RL-CZSL提供了更现实的环境。基准中的广泛实验表明，当参考文献受到构成学习的限制时，我们的方法在识别看不见的成分方面取得了最新的性能。

我们周围的视觉世界可以被描述为结构化的对象和相关关系。只有在底层对象的描述及其相关关系的描述中，可以将房间的图像召唤。虽然在设计可能将各个物体组成的深度神经网络上进行了重大工作，但在构图对象之间的各个关系方面取得了更少的工作。主要困难是，虽然对象的放置是相互独立的，但它们的关系彼此纠缠并依赖。为了规避这个问题，现有的作品主要通过利用文本或图形的形式来通过利用整体编码器来构成关系。在这项工作中，我们建议将每个关系作为非正规化密度（基于能量的模型）表示，使我们能够以分解方式构成单独的关系。我们表明这种分解分解允许模型生成和编辑具有多组关系的场景更忠实地。我们进一步表明，分解使我们的模型能够有效地理解底层关系场景结构。项目页面：https://comushvisual relations.github.io/。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

我们呈现深度区域竞争（DRC），这是一种旨在以完全无监督的方式从图像中提取前景对象的算法。前景提取可以被视为一种特殊的泛型图像分段的情况，专注于从背景中识别和解开对象。在这项工作中，我们通过以专家（MOE）的混合形式的生成图像建模和生成图像建模来重新思考前景提取，我们进一步介绍了学习的像素重新分配作为捕获规律的基本诱导偏差背景区域。通过这种建模，可以通过期望最大化（EM）自然地发现前景背景分区。我们表明，该方法有效利用了在分区过程中混合成分之间的相互作用，该分区过程紧密地连接到区域竞争，是通用图像分割的一个精细方法。实验表明，与现有方法相比，DRC在复杂的真实数据上表现出更具竞争力的性能和具有挑战性的多对象场景。此外，我们认为，即使在训练期间看不见的类别，DRC也可能概括为新的前景物体。

Humans recognize the visual world at multiple levels: we effortlessly categorize scenes and detect objects inside, while also identifying the textures and surfaces of the objects along with their different compositional parts. In this paper, we study a new task called Unified Perceptual Parsing, which requires the machine vision systems to recognize as many visual concepts as possible from a given image. A multi-task framework called UPerNet and a training strategy are developed to learn from heterogeneous image annotations. We benchmark our framework on Unified Perceptual Parsing and show that it is able to effectively segment a wide range of concepts from images. The trained networks are further applied to discover visual knowledge in natural scenes 1 .

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

视觉图形，例如绘图，图表和数字，广泛用于传达统计结论。直接从这种可视化提取信息是通过科学语料库，事实检查和数据提取有效搜索的关键子问题。本文介绍了自动提取与统计图表的比较变量的框架。由于图表样式，库和工具的多样性和变化，我们利用基于计算机视觉的框架来自动识别和本地化线图中的可视化面部，散点图或条形图，并且可以包括每个图的多个系列。该框架在Matplotlib图表的大型综合生成的语料库上培训，我们在其他图表数据集中评估培训的模型。在受控实验中，我们的框架能够以87.5％的准确性进行分类，图表变量与每个图形，不同颜色和实线样式的图表之间的相关性。部署在从互联网上刮掉的真实图表上，它的精度72.8％（排除“硬”图表时的准确性为72.8％）。部署在图答数据集上时，它的准确性准确度为84.7％。

People learning new concepts can often generalize successfully from just a single example, yet machine learning algorithms typically require tens or hundreds of examples to perform with similar accuracy. People can also use learned concepts in richer ways than conventional algorithms-for action, imagination, and explanation. We present a computational model that captures these human learning abilities for a large class of simple visual concepts: handwritten characters from the world's alphabets. The model represents concepts as simple programs that best explain observed examples under a Bayesian criterion. On a challenging one-shot classification task, the model achieves human-level performance while outperforming recent deep learning approaches. We also present several "visual Turing tests" probing the model's creative generalization abilities, which in many cases are indistinguishable from human behavior.

零件代表不同对象的几何和语义相似性的基本单位。我们争辩说，部分知识应与观察到的对象课程中有款组合。对此，我们将3D组成零射击学习作为从看作识的零件泛化的问题，从而看成了语义分割。我们通过将任务与所提出的组成部分数据集进行基准测试，提供结构化研究。该数据集是通过处理原始PartNet来创建的，以最大化不同对象的部分重叠。现有点云部分段方法未能在此设置中概括到未遵守的对象类。作为解决方案，我们提出了分解共识，其将零件分割网络与部分评分网络相结合。我们方法的关键直觉是某些部件的分割掩码应该具有与其部分分数分开的零件分数的共识。在生成最合适的分割掩模之前在每个对象部分中定义的不同部分组合的两个网络原因。我们展示了我们的方法允许组成零射分段和广义零拍分类，并在两个任务中建立最先进的状态。

代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。

我们研究了人类视觉系统（HVS）〜-〜形状，纹理和颜色〜-〜对对象分类的三个重要特征的贡献。我们构建了人形视觉引擎（HVE），该引擎明确和单独计算图像中的形状，纹理和颜色特征。然后将所得的特征向量连接以支持最终分类。我们表明，HVE可以总结和排序排序对对象识别的三个功能的贡献。我们使用人类实验来确认HVE和人类主要使用一些特定特征来支持特定类别的分类（例如，纹理是将斑马与其他四足动物区分开的主要特征，包括人类和HVE）。借助HVE的帮助，给定任何环境（数据集），我们可以总结整个任务的最重要功能（特定于任务的; （特定于类；为了证明HVE的更有用，我们使用它来模拟没有属性标签的人类的开放世界零射击学习能力。最后，我们表明HVE还可以通过不同特征的组合来模拟人类的想象力。我们将开源HVE引擎和相应的数据集。

Scene graph generation from images is a task of great interest to applications such as robotics, because graphs are the main way to represent knowledge about the world and regulate human-robot interactions in tasks such as Visual Question Answering (VQA). Unfortunately, its corresponding area of machine learning is still relatively in its infancy, and the solutions currently offered do not specialize well in concrete usage scenarios. Specifically, they do not take existing "expert" knowledge about the domain world into account; and that might indeed be necessary in order to provide the level of reliability demanded by the use case scenarios. In this paper, we propose an initial approximation to a framework called Ontology-Guided Scene Graph Generation (OG-SGG), that can improve the performance of an existing machine learning based scene graph generator using prior knowledge supplied in the form of an ontology (specifically, using the axioms defined within); and we present results evaluated on a specific scenario founded in telepresence robotics. These results show quantitative and qualitative improvements in the generated scene graphs.