人类在需要快速传达对象信息的游戏中显示出高级的抽象功能。他们将消息内容分解为多个部分，并以可解释的协议将它们传达。为了为机器提供这种功能，我们提出了基于原始的草图抽象任务，其目标是在预算影响下使用一组固定的绘图原始图表示草图。为了解决这项任务，我们的原始匹配网络（PMN）以自我监督的方式学习了草图的可解释抽象。具体而言，PMN将草图的每个笔划都映射到给定集中最相似的原始性，预测了仿射转换将所选原始词与目标冲程对齐的仿射转换。我们学习了端到端的这一笔触至关重要的映射，当原始草图精确地用预测的原语重建时，距离转换损失是最小的。我们的PMN抽象在经验上取得了素描识别和基于草图的图像检索的最高性能，同时也是高度可解释的。这为草图分析打开了新的可能性，例如通过提取定义对象类别的最相关的原始图来比较草图。代码可在https://github.com/explainableml/sketch-primitives上找到。

有证据表明，视觉通信前面的书面语言，并为其返回到史前的基础，以洞穴和岩石绘画描绘了我们遥远的祖先的痕迹。紧急沟通研究试图探索代理商如何学习沟通，以便协作解决任务。现有研究专注于语言，具有学习的通信信道在代理之间发送离散令牌的序列。在这项工作中，我们探索了允许使用简单笔划绘制的代理之间的可视通信通道。我们的代理商由深神经网络参数化，绘图程序是可微分的，允许最终的培训。在参考通信游戏的框架中，我们证明了代理商不仅可以通过绘图成功学习，而是通过适当的归纳偏见，可以以人类可以解释的方式这样做。我们希望鼓励未来的研究将视觉沟通视为培训协作代理人的更灵活和直接的可解释的替代方案。

已经提出了多个草图数据集，以了解人们如何绘制3D对象。但是，这样的数据集通常是小规模的，并且覆盖了一小部分对象或类别。此外，这些数据集包含大多来自专家用户的徒手草图，因此很难比较专家和新手用户的图纸，而这种比较对于告知对任何一个用户组的基于草图的界面更为有效的接口至关重要。这些观察结果激发了我们分析具有和没有足够绘图技能的人的不同程度的素描3D对象。我们邀请了70个新手用户和38位专家用户素描136 3D对象，这些对象是从多个视图中呈现的362张图像。这导致了3,620个徒手多视图草图的新数据集，在某些视图下，它们在其相应的3D对象上注册。我们的数据集比现有数据集大的数量级。我们在三个级别（即在空间和时间特征下以及跨越创建者组的内部和范围内）分析了三个级别的收集数据。我们发现，专业人士和新手的图纸在本质和外在的中风级别上显示出显着差异。我们在两个应用程序中演示了数据集的有用性：（i）徒手式的草图合成，（ii）将其作为基于草图的3D重建的潜在基准。我们的数据集和代码可在https://chufengxiao.github.io/differsketching/上获得。

我们解决了用草图和文本查询检索图像的问题。我们提出任务形成器（文本和草图变压器），这是一种可使用文本说明和草图作为输入的端到端训练模型。我们认为，两种输入方式都以一种单独的方式无法轻易实现的方式相互补充。任务形成器遵循延迟融合双编码方法，类似于剪辑，该方法允许有效且可扩展的检索，因为检索集可以独立于查询而独立于索引。我们从经验上证明，与传统的基于文本的图像检索相比，除文本外，使用输入草图（甚至是绘制的草图）大大增加了检索召回。为了评估我们的方法，我们在可可数据集的测试集中收集了5,000个手绘草图。收集的草图可获得https://janesjanes.github.io/tsbir/。

素描是一种常用于创新过程的自然和有效的视觉通信介质。深度学习模型的最新发展急剧改善了理解和生成视觉内容的机器能力。令人兴奋的发展领域探讨了用于模拟人类草图的深度学习方法，开设创造性应用的机会。本章介绍了开发深受学习驱动的创造性支持工具的三个基本步骤，这些步骤消耗和生成草图：1）在草图和移动用户界面之间生成新配对数据集的数据收集工作; 2）基于草图的用户界面检索系统，适用于最先进的计算机视觉技术; 3）一个对话的草图系统，支持基于自然语言的草图/批判创作过程的新颖互动。在本章中，我们在深度学习和人机互动社区中进行了对相关的事先工作，详细记录了数据收集过程和系统的架构，目前提供了定性和定量结果，并绘制了几个未来研究的景观在这个令人兴奋的地区的方向。

我们介绍了第一个单次个性化素描细分方法。我们的目标是分割属于与单个草图的相同类别的所有草图，其中包含给定部分注释，而（i）保留在示例中嵌入的零件语义，并且（ii）稳健地输入样式和抽象。我们将此方案称为个性化。因此，我们重要地为下游细粒度素描分析任务提供了绝望的个性化能力。要培训强大的分割模块，我们将示例草图对同一类别的每个可用草图进行了变形。我们的方法推广到培训期间未观察到的草图。我们的中央贡献是特定于草图的层级变形网络。给定通过图形卷积网络获得的多级草图笔划编码，我们的方法估计从对上层的参考的刚体变换。通过冲程明智的变形进一步通过较低水平进一步获得从示例到全球翘曲的参考素描的更精细的变形。两个变形水平都是通过在没有监督的情况下学习的关键点之间的平均平方距离引导，确保中风语义被保留。我们评估我们对最先进的分割和感知分组基线的方法，为单次设置和两次射击3D形状分割方法重新设计。我们表明，我们的方法平均超过10％的所有替代品。消融研究进一步证明我们的方法对个性化是强大的：输入部分语义和风格差异的变化。

In this paper, we present a method for converting a given scene image into a sketch using different types and multiple levels of abstraction. We distinguish between two types of abstraction. The first considers the fidelity of the sketch, varying its representation from a more precise portrayal of the input to a looser depiction. The second is defined by the visual simplicity of the sketch, moving from a detailed depiction to a sparse sketch. Using an explicit disentanglement into two abstraction axes -- and multiple levels for each one -- provides users additional control over selecting the desired sketch based on their personal goals and preferences. To form a sketch at a given level of fidelity and simplification, we train two MLP networks. The first network learns the desired placement of strokes, while the second network learns to gradually remove strokes from the sketch without harming its recognizability and semantics. Our approach is able to generate sketches of complex scenes including those with complex backgrounds (e.g., natural and urban settings) and subjects (e.g., animals and people) while depicting gradual abstractions of the input scene in terms of fidelity and simplicity.

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

生长免费的在线3D形状集合决定了3D检索的研究。然而，已经进行了积极的辩论（i）最佳输入方式是触发检索，以及（ii）这种检索的最终用法场景。在本文中，我们为回答这些问题提供了不同的观点 - 我们研究了3D草图作为输入方式，并提倡进行检索的VR-Scenario。因此，最终的愿景是用户可以通过在VR环境中自由空气供电来自由地检索3D模型。作为新的3D VR-Sketch的首次刺入3D形状检索问题，我们做出了四个贡献。首先，我们对VR实用程序进行编码以收集3D VR-Sketches并进行检索。其次，我们从ModelNet收集了两个形状类别的第一套$ 167 $ 3D VR-SKETCHES。第三，我们提出了一种新的方法，以生成不同抽象级别类似人类的3D草图的合成数据集，以训练深层网络。最后，我们比较了常见的多视图和体积方法：我们表明，与3D形状到3D形状检索相比，基于体积点的方法在3D草图上表现出卓越的性能，并且由于稀疏和抽象的性质而显示出3D形状的检索3D VR-Sketches。我们认为，这些贡献将集体成为未来在此问题的尝试的推动者。 VR接口，代码和数据集可在https://tinyurl.com/3dsketch3dv上找到。

我们介绍了1,497个3D VR草图和具有较大形状多样性的椅子类别的3D形状对的第一个细粒数据集。我们的数据集支持草图社区的最新趋势，以细粒度的数据分析，并将其扩展到主动开发的3D域。我们争辩说最方便的草图场景，其中草图由稀疏的线条组成，并且不需要任何草图技能，事先培训或耗时的准确绘图。然后，我们首次将细粒度3D VR草图的场景研究为3D形状检索，作为一种新颖的VR素描应用程序和一个探索基础，以推动通用见解以告知未来的研究。通过实验在这个新问题上精心选择的设计因素组合，我们得出重要的结论以帮助跟进工作。我们希望我们的数据集能够启用其他新颖的应用程序，尤其是那些需要细粒角的应用程序，例如细粒度的3D形状重建。该数据集可在tinyurl.com/vrsketch3dv21上获得。

我们使用徒手场景草图FS-Coco的第一个数据集将草图研究推向了场景。考虑到实用的应用，我们收集的草图很好地传达了场景内容，但可以在几分钟之内由具有素描技巧的人勾勒出来。我们的数据集包含10,000个徒手场景向量素描，每点时空信息由100个非专家个人提供，提供对象和场景级抽象。每个草图都用文本描述增强。使用我们的数据集，我们首次研究了徒手场景草图和草图标题的细粒度图像检索问题。我们了解以下内容：（i）使用笔触的时间顺序在草图中编码的场景显着性； （ii）从场景草图和图像标题中进行图像检索的性能比较； （iii）素描和图像标题中信息的互补性，以及结合两种方式的潜在优势。此外，我们扩展了一个流行的矢量草图基于LSTM的编码器，以处理比以前的工作所支持的更复杂性的草图。也就是说，我们提出了一个层次草图解码器，我们将其在特定于草图的“预文本”任务中利用。我们的数据集可以首次研究徒手场景素描理解及其实际应用。

It can be easy and even fun to sketch humans in different poses. In contrast, creating those same poses on a 3D graphics "mannequin" is comparatively tedious. Yet 3D body poses are necessary for various downstream applications. We seek to preserve the convenience of 2D sketching while giving users of different skill levels the flexibility to accurately and more quickly pose\slash refine a 3D mannequin. At the core of the interactive system, we propose a machine-learning model for inferring the 3D pose of a CG mannequin from sketches of humans drawn in a cylinder-person style. Training such a model is challenging because of artist variability, a lack of sketch training data with corresponding ground truth 3D poses, and the high dimensionality of human pose-space. Our unique approach to synthesizing vector graphics training data underpins our integrated ML-and-kinematics system. We validate the system by tightly coupling it with a user interface, and by performing a user study, in addition to quantitative comparisons.

基于细粒的草图的图像检索（FG-SBIR）旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性（例如，犯罪活动跟踪），但现有的方法仍然遭受低精度，同时对外部噪声敏感，例如草图中不必要的笔画。在更实际的在飞行环境下，检索性能将进一步恶化，其中仅具有少数（噪声）笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架，利用了一个独特设计的深度加强学习模型，该模型执行双层探索，以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施，对不必要的行程噪声仍然坚固，并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域，该模型在调整控制本地探索的定位器网络的标准偏差项时，该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的，融合了强化损失和监督损失。开发了一种动态排名奖励，以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明，我们的建议方法在部分草图基于图像检索上实现了最先进的性能。

在本文中，我们考虑一种用于图像的不同数据格式：矢量图形。与广泛用于图像识别的光栅图形相比，由于文档中的基元的分析表示，矢量图形可以向上或向下缩放或向下扩展到任何分辨率而不进行别名或信息丢失的分辨率。此外，向量图形能够提供有关低级别元素组如何一起形成高级形状或结构的额外结构信息。图形矢量的这些优点尚未完全利用现有方法。要探索此数据格式，我们针对基本识别任务：对象本地化和分类。我们提出了一个有效的无CNN的管道，不会将图形呈现为像素（即光栅化），并将向量图形的文本文档作为输入，称为Yolat（您只查看文本）。 Yolat构建多图来模拟矢量图形中的结构和空间信息，并提出了双流图形神经网络来检测图表中的对象。我们的实验表明，通过直接在向量图形上运行，在平均精度和效率方面，Yolat Out-ut-Proped基于的物体检测基线。

基于细粒的草图的图像检索（FG-SBIR）解决了在给定查询草图中检索特定照片的问题。然而，它的广泛适用性受到大多数人为大多数人绘制完整草图的事实的限制，并且绘图过程经常需要时间。在这项研究中，我们的目标是用最少数量的笔划检索目标照片（不完整草图），命名为vs-the-fry fg-sbir（bhunia等人.2020），它一旦尽快开始检索每个行程绘图开始。我们认为每张照片的草图绘图集中的这些不完整草图之间存在显着相关性。为了了解照片和ITS不完整的草图之间共享的更高效的联合嵌入空间，我们提出了一个多粒度关联学习框架，进一步优化了所有不完整草图的嵌入空间。具体地，基于草图的完整性，我们可以将完整的草图插曲分为几个阶段，每个阶段对应于简单的线性映射层。此外，我们的框架指导了当前草图的矢量空间表示，以近似速写，以实现草图的检索性能，以利用更多的笔触来接近草图的草图。在实验中，我们提出了更现实的挑战，我们的方法在两个公开的细粒草图检索数据集上实现了最先进的方法和替代基线的卓越的早期检索效率。

People learning new concepts can often generalize successfully from just a single example, yet machine learning algorithms typically require tens or hundreds of examples to perform with similar accuracy. People can also use learned concepts in richer ways than conventional algorithms-for action, imagination, and explanation. We present a computational model that captures these human learning abilities for a large class of simple visual concepts: handwritten characters from the world's alphabets. The model represents concepts as simple programs that best explain observed examples under a Bayesian criterion. On a challenging one-shot classification task, the model achieves human-level performance while outperforming recent deep learning approaches. We also present several "visual Turing tests" probing the model's creative generalization abilities, which in many cases are indistinguishable from human behavior.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

我们研究基于3D-VR-Sketch的细粒度3D形状检索的实际任务。此任务特别令人感兴趣，因为2D草图被证明是2D图像的有效查询。但是，由于域间隙，很难从2D草图中以3D形状的检索获得强劲的性能。最近的工作证明了3D VR素描在此任务上的优势。在我们的工作中，我们专注于3D VR草图中固有的不准确性造成的挑战。我们观察到，带有固定边缘值的三胞胎损失获得的检索结果，通常用于检索任务，包含许多无关的形状，通常只有一个或几个或几个具有与查询相似的结构。为了减轻此问题，我们首次在自适应边距值和形状相似性之间建立联系。特别是，我们建议使用由“拟合差距”驱动的自适应边距值的三重损失，这是在结构保护变形下的两个形状的相似性。我们还进行了一项用户研究，该研究确认这种拟合差距确实是评估形状结构相似性的合适标准。此外，我们介绍了202个VR草图的数据集，用于从内存而不是观察到的202个3D形状。代码和数据可在https://github.com/rowl1ng/structure-aware-aware-vr-sketch-shape-retrieval中找到。

我们研究了参考游戏（一种信令游戏），其中两个代理通过离散瓶颈互相通信，以实现共同的目标。在我们的参照游戏中，扬声器的目标是撰写消息或符号表示“重要的”图像修补程序，而侦听器的任务是将扬声器的消息与相同图像的不同视图匹配。我们表明，这两个代理确实可以在不明确或隐含监督的情况下开发通信协议。我们进一步调查了开发的协议，并通过仅使用重要补丁来展示加速最近的视觉变压器的应用程序，以及用于下游识别任务的预训练（例如，分类）。代码在https://github.com/kampta/patchgame提供。