本文解决了从第三人称角度捕获的单个图像中的目光目标检测问题。我们提出了一个多模式的深度建筑，以推断一个人在场景中所处的位置。该空间模型经过了代表丰富上下文信息的感兴趣人，场景和深度图的头部图像训练。我们的模型与几种先前的艺术不同，不需要对目光角度的监督，不依赖头部方向信息和/或利益人眼睛的位置。广泛的实验证明了我们方法在多个基准数据集上的性能更强。我们还通过改变多模式数据的联合学习来研究我们方法的几种变体。一些变化的表现也胜过一些先前的艺术。首次在本文中，我们检查了域名的凝视目标检测，并授权多模式网络有效地处理跨数据集的域间隙。该方法的代码可在https://github.com/francescotonini/multimodal-across-domains-domains-domains-domains-domains-warget-detection上获得。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

培训RGB-D突出物体检测（SOD）的深层模型通常需要大量标记的RGB-D图像。然而，不容易获取RGB-D数据，这限制了RGB-D SOD技术的发展。为了减轻这个问题，我们介绍了双半RGB-D突出物体检测网络（DS-Net），以利用未标记的RGB图像来提高RGB-D显着性检测。我们首先设计了深度去耦卷积神经网络（DDCNN），其包含深度估计分支和显着性检测分支。深度估计分支用RGB-D图像训练，然后用于估计所有未标记的RGB图像的伪深度映射以形成配对数据。显着性检测分支用于熔断RGB特征和深度特征以预测RGB-D显着性。然后，整个DDCNN被分配为师生学生框架中的骨干，用于半监督学习。此外，我们还引入了对未标记数据的中间注意力和显着性图的一致性损失，以及标记数据的监督深度和显着性损失。七种广泛使用的基准数据集上的实验结果表明，我们的DDCNN定量和定性地优于最先进的方法。我们还证明，即使在使用具有伪深度图的RGB图像时，我们的半监控DS-Net也可以进一步提高性能。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

随着现代建筑倾向于使用大量玻璃面板，玻璃表面变得越来越无处不在。然而，这对机器人，自动驾驶汽车和无人机等自主系统的运营构成了重大挑战，因为玻璃板可能会成为导航的透明障碍。存在的工作试图利用各种线索，包括玻璃边界上下文或反思，例如先验。但是，它们都是基于输入RGB图像的。我们观察到3D深度传感器光线通过玻璃表面的传输通常会在深度图中产生空白区域，这可以提供其他见解以补充RGB图像特征以进行玻璃表面检测。在本文中，我们通过将RGB-D信息合并到两个新型模块中提出了一个新颖的玻璃表面检测框架：（1）一个跨模式环境挖掘（CCM）模块，以适应从RGB和深度学习个人和相互的上下文特征信息，以及（2）深度失误的注意力（DAA）模块，以明确利用空间位置，在这些空间位置存在缺失的深度以帮助检测玻璃表面的存在。此外，我们提出了一个大规模的RGB-D玻璃表面检测数据集，称为\ textit {RGB-D GSD}，用于RGB-D玻璃表面检测。我们的数据集包含3,009个现实世界的RGB-D玻璃表面图像，并具有精确的注释。广泛的实验结果表明，我们提出的模型优于最先进的方法。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

凝视和头部姿势估计模型的鲁棒性高度取决于标记的数据量。最近，生成建模在生成照片现实图像方面表现出了出色的结果，这可以减轻对标记数据的需求。但是，在新领域采用这种生成模型，同时保持其对不同图像属性的细粒度控制的能力，例如，凝视和头部姿势方向，是一个挑战性的问题。本文提出了Cuda-GHR，这是一种无监督的域适应框架，可以对凝视和头部姿势方向进行细粒度的控制，同时保留该人的外观相关因素。我们的框架同时学会了通过利用富含标签的源域和未标记的目标域来适应新的域和删除图像属性，例如外观，凝视方向和头部方向。基准测试数据集的广泛实验表明，所提出的方法在定量和定性评估上都可以胜过最先进的技术。此外，我们表明目标域中生成的图像标签对有效地传递知识并提高下游任务的性能。

我们提出了一条新型的神经管道Msgazenet，该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件，首先是一个用于隔离解剖眼区域的网络，以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的，我们使用合成数据集训练该网络，该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集，我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域，以生成真实世界图像的面具。为了成功进行转移，我们在训练过程中利用域随机化，这允许合成图像从较大的差异中受益，并在类似于伪影的增强的帮助下从更大的差异中受益。然后，生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集（Mpiigaze，Eyediap和Utmultiview）上评估框架，在那里我们通过分别获得7.57％和1.85％的性能，在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性，并证明我们的模型对噪声数据不太敏感。最后，我们执行各种实验，包括消融研究，以评估解决方案中不同组件和设计选择的贡献。

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

由于LIDAR传感器捕获的精确深度信息缺乏准确的深度信息，单眼3D对象检测是一个关键而挑战的自主驾驶任务。在本文中，我们提出了一种立体引导的单目3D对象检测网络，称为SGM3D，其利用立体图像提取的鲁棒3D特征来增强从单眼图像中学到的特征。我们创新地研究了多粒度域适配模块（MG-DA）以利用网络的能力，以便仅基于单手套提示产生立体模拟功能。利用粗均衡特征级以及精细锚级域适配，以引导单眼分支。我们介绍了一个基于IOO匹配的对齐模块（iou-ma），用于立体声和单眼域之间的对象级域适应，以减轻先前阶段中的不匹配。我们对最具挑战性的基蒂和Lyft数据集进行了广泛的实验，并实现了新的最先进的性能。此外，我们的方法可以集成到许多其他单眼的方法中以提高性能而不引入任何额外的计算成本。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

3D凝视估计是关于预测3D空间中人的视线。由于受试者的解剖学差异，与人无关的模型缺乏精确度，而特定于人的校准技术对可伸缩性增加了严格的限制。为了克服这些问题，我们提出了一种新颖的技术，面部标志热图激活的多模式凝视估计（火焰），作为使用Eye Landmark Heatmap的眼睛解剖信息结合的一种方式，以获得精确的凝视估计，而无需任何人特定的校准。我们的评估表明，在基准数据集Columbiagaze和Eyediap上的竞争性能提高了约10％。我们还进行了消融研究以验证我们的方法。

Depth cues are known to be useful for visual perception. However, direct measurement of depth is often impracticable. Fortunately, though, modern learning-based methods offer promising depth maps by inference in the wild. In this work, we adapt such depth inference models for object segmentation using the objects' ``pop-out'' prior in 3D. The ``pop-out'' is a simple composition prior that assumes objects reside on the background surface. Such compositional prior allows us to reason about objects in the 3D space. More specifically, we adapt the inferred depth maps such that objects can be localized using only 3D information. Such separation, however, requires knowledge about contact surface which we learn using the weak supervision of the segmentation mask. Our intermediate representation of contact surface, and thereby reasoning about objects purely in 3D, allows us to better transfer the depth knowledge into semantics. The proposed adaptation method uses only the depth model without needing the source data used for training, making the learning process efficient and practical. Our experiments on eight datasets of two challenging tasks, namely camouflaged object detection and salient object detection, consistently demonstrate the benefit of our method in terms of both performance and generalizability.

视觉和听觉信息对于确定视频中的显着区域都是有价值的。深度卷积神经网络（CNN）展示了应对视听显着性预测任务的强大能力。由于各种因素，例如拍摄场景和天气，源训练数据和目标测试数据之间通常存在适度的分布差异。域差异导致CNN模型目标测试数据的性能降解。本文提前尝试解决视听显着性预测的无监督域适应问题。我们提出了一种双重域交流学习算法，以减轻源数据和目标数据之间的域差异。首先，建立了一个特定的域歧视分支，以对齐听觉功能分布。然后，这些听觉功能通过跨模式自我发项模块融合到视觉特征中。设计了其他域歧视分支，以减少视觉特征的域差异和融合视听特征所隐含的视听相关性的差异。公共基准测试的实验表明，我们的方法可以减轻域差异引起的性能降解。

尽管近年来行动认可取得了令人印象深刻的结果，但视频培训数据的收集和注释仍然很耗时和成本密集。因此，已经提出了图像到视频改编，以利用无标签的Web图像源来适应未标记的目标视频。这提出了两个主要挑战：（1）Web图像和视频帧之间的空间域移动； （2）图像和视频数据之间的模态差距。为了应对这些挑战，我们提出了自行车域的适应（CYCDA），这是一种基于周期的方法，用于通过在图像和视频中利用图像和视频中的联合空间信息来适应无监督的图像到视频域，另一方面，训练一个独立的时空模型，用于弥合模式差距。我们在每个周期中的两者之间的知识转移之间在空间和时空学习之间交替。我们在基准数据集上评估了图像到视频的方法，以及用于实现最新结果的混合源域的适应性，并证明了我们的循环适应性的好处。

Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.