文化遗产的理解和保存对于社会来说是一个重要的问题，因为它代表了其身份的基本方面。绘画代表了文化遗产的重要组成部分，并且是不断研究的主题。但是，观众认为绘画与所谓的HVS（人类视觉系统）行为严格相关。本文重点介绍了一定数量绘画的视觉体验期间观众的眼动分析。在进一步的详细信息中，我们引入了一种新的方法来预测人类的视觉关注，这影响了人类的几种认知功能，包括对场景的基本理解，然后将其扩展到绘画图像。拟议的新建筑摄入图像并返回扫描路径，这是一系列积分，具有引起观众注意力的很有可能性。我们使用FCNN（完全卷积的神经网络），其中利用了可区分的渠道选择和软弧度模块。我们还将可学习的高斯分布纳入网络瓶颈上，以模拟自然场景图像中的视觉注意力过程偏见。此外，为了减少不同域之间的变化影响（即自然图像，绘画），我们敦促模型使用梯度反转分类器从其他域中学习无监督的一般特征。在准确性和效率方面，我们的模型获得的结果优于现有的最先进的结果。

Visual ScanPath是人类凝视在观察图像时行进的固定点序列，其预测有助于建模图像的视觉注意。为此，使用复杂的深度学习架构和框架在文献中提出了多种模型。在这里，我们以简单的完全卷积回归方式探讨使用共同的深度学习架构的效率。我们尝试这些模型可以在2个数据集上预测扫描路径的程度。我们与使用不同指标的其他模型进行比较，并显示有时超越以前复杂的架构的竞争结果。我们还根据实验的表演比较不同的杠杆骨干架构，推断哪些是最适合任务的。

本文介绍了一种新的框架，以预测全向图像的视觉注意。我们的体系结构的关键设置是同时预测给定刺激的显着图和相应的扫描路径。该框架实现了一个完全编码器 - 解码器卷积神经网络，由注意模块增强以生成代表性显着图。另外，采用辅助网络通过SoftArgMax函数来生成可能的视口中心固定点。后者允许从特征映射派生固定点。为了利用扫描路径预测，然后应用自适应联合概率分布模型来通过利用基于编码器解码器的显着性图和基于扫描路径的显着热图来构建最终的不偏不倚的显着性图。在显着性和扫描路径预测方面评估所提出的框架，并将结果与​​Salient360上的最先进方法进行比较！数据集。结果表明，我们的框架和这种架构的益处的相关性，用于进一步全向视觉注意预测任务。

视觉和听觉信息对于确定视频中的显着区域都是有价值的。深度卷积神经网络（CNN）展示了应对视听显着性预测任务的强大能力。由于各种因素，例如拍摄场景和天气，源训练数据和目标测试数据之间通常存在适度的分布差异。域差异导致CNN模型目标测试数据的性能降解。本文提前尝试解决视听显着性预测的无监督域适应问题。我们提出了一种双重域交流学习算法，以减轻源数据和目标数据之间的域差异。首先，建立了一个特定的域歧视分支，以对齐听觉功能分布。然后，这些听觉功能通过跨模式自我发项模块融合到视觉特征中。设计了其他域歧视分支，以减少视觉特征的域差异和融合视听特征所隐含的视听相关性的差异。公共基准测试的实验表明，我们的方法可以减轻域差异引起的性能降解。

Saliency detection is one of the most challenging problems in image analysis and computer vision. Many approaches propose different architectures based on the psychological and biological properties of the human visual attention system. However, there is still no abstract framework that summarizes the existing methods. In this paper, we offered a general framework for saliency models, which consists of five main steps: pre-processing, feature extraction, saliency map generation, saliency map combination, and post-processing. Also, we study different saliency models containing each level and compare their performance. This framework helps researchers to have a comprehensive view of studying new methods.

使用变压器 - 卷积神经网络（CNN）的视觉显着性预测具有显着的高级计算模型，以实现显着性预测。但是，准确模拟人类皮层中视觉注意的机制仍然是一个学术挑战。将人类视力的属性集成到CNN体系结构的设计中，这是至关重要的，从而导致感知上更相关的显着性预测。由于CNN体系结构的固有归纳偏见，因此缺乏足够的长距离上下文编码能力。这阻碍了基于CNN的显着性模型，无法捕获模仿人类观看行为的属性。通过利用自我发项机制来编码远程信息，变形金刚在编码远程信息方面表现出了巨大潜力。在本文中，我们提出了一个新颖的显着性模型，该模型将变压器组件集成到CNNs以捕获远程上下文视觉信息。实验结果表明，变压器为显着性预测提供了附加的价值，从而增强了其在性能中的感知相关性。我们提出的使用变压器的显着性模型在公共基准和显着性预测模型的竞争上取得了卓越的成果。我们提出的显着模型TransAlnet的源代码可在以下网址获得：https：//github.com/ljovo/transalnet

本文解决了从第三人称角度捕获的单个图像中的目光目标检测问题。我们提出了一个多模式的深度建筑，以推断一个人在场景中所处的位置。该空间模型经过了代表丰富上下文信息的感兴趣人，场景和深度图的头部图像训练。我们的模型与几种先前的艺术不同，不需要对目光角度的监督，不依赖头部方向信息和/或利益人眼睛的位置。广泛的实验证明了我们方法在多个基准数据集上的性能更强。我们还通过改变多模式数据的联合学习来研究我们方法的几种变体。一些变化的表现也胜过一些先前的艺术。首次在本文中，我们检查了域名的凝视目标检测，并授权多模式网络有效地处理跨数据集的域间隙。该方法的代码可在https://github.com/francescotonini/multimodal-across-domains-domains-domains-domains-domains-warget-detection上获得。

显着对象检测是预测给定场景中人类参加区域的任务。融合深度信息已被证明在此任务中有效。该问题的主要挑战是如何从RGB模式和深度模式中汇总互补信息。但是，传统的深层模型在很大程度上依赖CNN特征提取器，并且通常会忽略远距离的依赖性。在这项工作中，我们提出了基于双Swin-Transformer的相互交互式网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，以模拟视觉输入中的远程依赖性。在将两个特征分支融合到一个分支之前，将应用基于注意力的模块来增强每​​种模式的特征。我们设计了一个基于自我注意力的跨模式交互模块和一个封闭式的模态注意模块，以利用两种方式之间的互补信息。对于显着解码，我们创建了通过密集的连接增强的不同阶段，并保持解码的内存，而多级编码功能则被同时考虑。考虑到不准确的深度图问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以提供从RGB模式到最终显着性预测的更多指导。此外，我们添加了边缘监督以使功能学习过程正常。对四个评估指标的五个标准RGB-D SOD基准数据集进行了全面的实验，证明了所提出的DTMINET方法的优势。

尽管有重要的表示能力，但馈通仅卷积神经网络（CNNS）可以忽略视觉任务中反馈连接的内在关系和潜在好处。在这项工作中，我们提出了一个反馈递归卷积框架（SALFBNET），可加于显着性检测。所提出的反馈模型可以通过从更高级别的特征块到低级层来缩小递归通路来学习丰富的上下文表示。此外，我们创建了一个大规模的伪显着数据集来缓解显着性检测的数据缺陷问题。我们首先使用所提出的反馈模型来从伪地面真理中学习显着分布。之后，我们微调现有眼固定数据集的反馈模型。此外，我们提出了一种新颖的选择性固定和非固定误差（SFNE）丢失，以使提出的反馈模型更好地学习可区分的基于眼固定的特征。广泛的实验结果表明，我们的SALFBNET具有较少参数的竞争结果对公共显着性检测基准进行了竞争力，这证明了提出的反馈模型和伪显着数据的有效性。源代码和伪显着数据集可以在https://github.com/gqding/salfbnet找到

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

我们提出了一种用于图像显着性预测的新方法，群集显着性预测。该方法根据其个人特征和已知的显着图将个体分为群集，并为每个群集生成单独的图像显着模型。我们在个性化显着图的公共数据集上测试了我们的方法，对个人特征因素的重要性各不相同，并观察了对集群的影响。对于每个群集，我们使用图像到图像翻译方法（主要是Pix2Pix模型）将通用显着性图转换为该群集的显着性图。我们尝试了三种最先进的普遍显着性预测方法，即Deepgaze II，ML-Net和Salgan，并看到它们对结果的影响。我们表明，我们的群集显着性预测技术优于最先进的普遍显着性预测模型。我们还通过使用通过受试者相似性聚类算法和两种基线方法比较聚类显着性预测的结果来证明聚类方法的有效性。我们提出了一种方法，将新朋友分配给最合适的集群，基于他们的个人功能和任何已知的显着图。在我们的实验中，我们看到这种将新人分配给群集的方法平均选择了具有更高显着性得分的群集。

Image manipulation localization aims at distinguishing forged regions from the whole test image. Although many outstanding prior arts have been proposed for this task, there are still two issues that need to be further studied: 1) how to fuse diverse types of features with forgery clues; 2) how to progressively integrate multistage features for better localization performance. In this paper, we propose a tripartite progressive integration network (TriPINet) for end-to-end image manipulation localization. First, we extract both visual perception information, e.g., RGB input images, and visual imperceptible features, e.g., frequency and noise traces for forensic feature learning. Second, we develop a guided cross-modality dual-attention (gCMDA) module to fuse different types of forged clues. Third, we design a set of progressive integration squeeze-and-excitation (PI-SE) modules to improve localization performance by appropriately incorporating multiscale features in the decoder. Extensive experiments are conducted to compare our method with state-of-the-art image forensics approaches. The proposed TriPINet obtains competitive results on several benchmark datasets.

由于规模和形状的极端复杂性以及预测位置的不确定性，光学遥感图像（RSI-SOD）中的显着对象检测是一项非常困难的任务。现有的SOD方法可以满足自然场景图像的检测性能，但是由于遥感图像中上述图像特性，它们不能很好地适应RSI-SOD。在本文中，我们为光学RSIS中的SOD提出了一个新颖的注意力指导网络（AGNET），包括位置增强阶段和细节细节阶段。具体而言，位置增强阶段由语义注意模块和上下文注意模块组成，以准确描述显着对象的大致位置。细节完善阶段使用提出的自我注册模块在注意力的指导下逐步完善预测结果并逆转注意力。此外，混合损失用于监督网络的培训，这可以从像素，区域和统计数据的三个角度来改善模型的性能。在两个流行的基准上进行的广泛实验表明，与其他最先进的方法相比，AGNET可以达到竞争性能。该代码将在https://github.com/nuaayh/agnet上找到。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

边缘检测是许多计算机视觉应用的基础。最先进的国家主要依赖于两个决定性因素的深度学习：数据集内容和网络的体系结构。大多数公共可用数据集未策划边缘检测任务。在这里，我们为此约束提供解决方案。首先，我们认为边缘，轮廓和边界尽管它们重叠，是需要单独的基准数据集的三个不同的视觉功能。为此，我们介绍了一个新的边缘数据集。其次，我们提出了一种新颖的架构，称为边缘检测（Dexined）的密集极端成立网络，可以从划痕的情况下培训，而没有任何预先训练的重量。Dexined优于所呈现的数据集中的其他算法。它还概括到其他数据集没有任何微调。由于IT输出的更锐利和更精细的边缘，所以更高的Dexined质量也显着显着。

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。