人类影响识别是一个完善的研究领域，具有许多应用，例如心理护理，但现有方法认为所有兴趣情绪都是先验的作为注释培训例子。然而，通过新颖的心理学理论的人类情感谱的粒度和改进的上升和改善语境中的情绪增加给数据收集和标签工作带来了相当大的压力。在本文中，我们在语境中概念化了对情绪的一次性识别 - 一种新的问题，旨在识别来自单个支持样品的更精细粒子水平的人体影响。为了解决这项具有挑战性的任务，我们遵循深度度量学习范例，并引入多模态情绪嵌入方法，通过利用人类外观的互补信息和通过语义分割网络获得的语义场景上下文来最大限度地减少相同情绪嵌入的距离。我们上下文感知模型的所有流都使用加权三态丢失和加权交叉熵损失来共同优化。我们对适应我们单次识别问题的Demotic DataSet的分类和数值情感识别任务进行了彻底的实验，揭示了从单一示例中分类人类影响是一项艰巨的任务。尽管如此，我们模型的所有变体都明显优于随机基线，同时利用语义场景上下文一致地提高了学习的表示，在一次射击情感识别中设置最先进的结果。为了促进对人类影响国家的更普遍表示的研究，我们将在https://github.com/kpeng9510/affect-dml下公开向社区公开提供我们的基准和模型。

我们提出了一种新的广义零射算法，以识别来自手势的感知情绪。我们的任务是将手势映射到培训中未遇到的新颖情感类别。我们介绍了一个对抗的基于AutoEncoder的表示学习，将3D运动捕获的手势序列与使用Word2Vec嵌入的自然语言感知情绪术语的矢量化表示相关联。语言 - 语义嵌入提供了情感标签空间的表示，我们利用这种底层分布将手势序列映射到适当的分类情绪标签。我们使用具有已知情绪术语的手势组合培训我们的方法，并且没有用任何情绪注释的手势。我们在MPI情绪体表达式数据库（EBEDB）上评估我们的方法，并获得58.43 \％$的准确性。这提高了当前最先进的算法的性能，以便在绝对的25美元 - 27 \％$ 27 \％$ 27 \％。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

闭塞是现实世界中不断存在的普遍破坏。特别是对于稀疏的表示，例如人类骨骼，一些封闭的点可能会破坏几何和时间连续性，从而严重影响结果。然而，从骨骼序列（例如单发操作识别）中对数据筛查识别的研究并未明确考虑阻塞，尽管它们日常普遍存在。在这项工作中，我们明确应对基于骨架的单杆动作识别（SOAR）的身体阻塞。我们主要考虑两种遮挡变体：1）随机闭塞和2）由多种日常对象引起的更现实的遮挡，我们通过将现有的IKEA 3D家具模型投影到3D骨架的摄像机坐标系统中而产生。我们利用拟议的管道将三个流行动作识别数据集（NTU-120，NTU-60和Toyota Smart Home）的骨骼序列的一部分融合在一起，并正式从部分遮挡的身体姿势开始了第一个soar的基准。这是考虑数据筛选作用识别的第一个基准。我们的基准测试的另一个关键特性是日常物体产生的更现实的遮挡，即使在3D骨架的标准识别中，也仅考虑了随机缺少的关节。根据这项新任务，我们重新评估了最新的框架，并进一步引入了Trans4Soar，这是一种新的基于变压器的模型，该模型利用三个数据流和混合注意融合机制来减轻遮挡引起的不良影响。尽管我们的实验表明缺少骨骼部分的精度明显下降，但Trans4SOAR的效果较小，Trans4Soar在所有数据集上的表现都优于其他架构。 Trans4SOAR还在标准SOAR中产生最先进的方法，在NTU-120上超过了2.85％的最佳方法。

很少有细粒度的分类和人搜索作为独特的任务和文学作品，已经分别对待了它们。但是，仔细观察揭示了重要的相似之处：这两个任务的目标类别只能由特定的对象细节歧视；相关模型应概括为新类别，而在培训期间看不到。我们提出了一个适用于这两个任务的新型统一查询引导网络（QGN）。QGN由一个查询引导的暹罗引文和兴奋子网组成，该子网还重新进行了所有网络层的查询和画廊功能，一个查询实习的区域建议特定于特定于特定的本地化以及查询指导的相似性子网络子网本网络用于公制学习。QGN在最近的一些少数细颗粒数据集上有所改善，在幼崽上的其他技术优于大幅度。QGN还对人搜索Cuhk-Sysu和PRW数据集进行了竞争性执行，我们在其中进行了深入的分析。

场景分类已确定为一个具有挑战性的研究问题。与单个对象的图像相比，场景图像在语义上可能更为复杂和抽象。它们的差异主要在于识别的粒度水平。然而，图像识别是场景识别良好表现的关键支柱，因为从对象图像中获得的知识可用于准确识别场景。现有场景识别方法仅考虑场景的类别标签。但是，我们发现包含详细的本地描述的上下文信息也有助于允许场景识别模型更具歧视性。在本文中，我们旨在使用对象中编码的属性和类别标签信息来改善场景识别。基于属性和类别标签的互补性，我们提出了一个多任务属性识别识别（MASR）网络，该网络学习一个类别嵌入式，同时预测场景属性。属性采集和对象注释是乏味且耗时的任务。我们通过提出部分监督的注释策略来解决该问题，其中人类干预大大减少。该策略为现实世界情景提供了更具成本效益的解决方案，并且需要减少注释工作。此外，考虑到对象检测到的分数所指示的重要性水平，我们重新进行了权威预测。使用提出的方法，我们有效地注释了四个大型数据集的属性标签，并系统地研究场景和属性识别如何相互受益。实验结果表明，与最先进的方法相比

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

最近对基于细粒的基于草图的图像检索（FG-SBIR）的重点已转向将模型概括为新类别，而没有任何培训数据。但是，在现实世界中，经过训练的FG-SBIR模型通常应用于新类别和不同的人类素描器，即不同的绘图样式。尽管这使概括问题复杂化，但幸运的是，通常可以使用一些示例，从而使模型适应新的类别/样式。在本文中，我们提供了一种新颖的视角 - 我们没有要求使用概括的模型，而是提倡快速适应的模型，在测试过程中只有很少的样本（以几种方式）。为了解决这个新问题，我们介绍了一种基于几个关键修改的基于新型的模型 - 静态元学习（MAML）框架：（1）作为基于边缘的对比度损失的检索任务，我们简化了内部循环中的MAML训练使其更稳定和易于处理。 （2）我们的对比度损失的边距也通过其余模型进行了元学习。 （3）在外循环中引入了另外三个正规化损失，以使元学习的FG-SBIR模型对类别/样式适应更有效。在公共数据集上进行的广泛实验表明，基于概括和基于零射的方法的增益很大，还有一些强大的射击基线。

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

广义零射击学习（GZSL）旨在培训一个模型，以在某些输出类别在监督学习过程中未知的情况下对数据样本进行分类。为了解决这一具有挑战性的任务，GZSL利用可见的（源）和看不见的（目标）类的语义信息来弥合所见类和看不见的类之间的差距。自引入以来，已经制定了许多GZSL模型。在这篇评论论文中，我们介绍了有关GZSL的全面评论。首先，我们提供了GZSL的概述，包括问题和挑战。然后，我们为GZSL方法介绍了分层分类，并讨论了每个类别中的代表性方法。此外，我们讨论了GZSL的可用基准数据集和应用程序，以及有关研究差距和未来研究方向的讨论。

很少有开放式识别旨在对可见类别的培训数据进行有限的培训数据进行分类和新颖的图像。这项任务的挑战是，该模型不仅需要学习判别性分类器，以用很少的培训数据对预定的类进行分类，而且还要拒绝从未见过的培训时间出现的未见类别的输入。在本文中，我们建议从两个新方面解决问题。首先，我们没有像在标准的封闭设置分类中那样学习看到类之间的决策边界，而是为看不见的类保留空间，因此位于这些区域中的图像被认为是看不见的类。其次，为了有效地学习此类决策边界，我们建议利用所见类的背景功能。由于这些背景区域没有显着促进近距离分类的决定，因此自然地将它们用作分类器学习的伪阶层。我们的广泛实验表明，我们提出的方法不仅要优于多个基线，而且还为三个流行的基准测试（即Tieredimagenet，Miniimagenet和Caltech-uscd Birds-birds-2011-2011（Cub））设定了新的最先进结果。

Human vision is able to immediately recognize novel visual categories after seeing just one or a few training examples. We describe how to add a similar capability to ConvNet classifiers by directly setting the final layer weights from novel training examples during low-shot learning. We call this process weight imprinting as it directly sets weights for a new category based on an appropriately scaled copy of the embedding layer activations for that training example. The imprinting process provides a valuable complement to training with stochastic gradient descent, as it provides immediate good classification performance and an initialization for any further fine-tuning in the future. We show how this imprinting process is related to proxy-based embeddings. However, it differs in that only a single imprinted weight vector is learned for each novel category, rather than relying on a nearest-neighbor distance to training instances as typically used with embedding methods. Our experiments show that using averaging of imprinted weights provides better generalization than using nearest-neighbor instance embeddings.

本文研究了几种皮肤疾病分类问题。基于至关重要的观察，即皮肤病图像通常存在于一类中的多个子群体（即，一类疾病中图像的外观变化并形成多个不同的子组），我们设计了一种新型的亚群集感知网络，即扫描，以提高准确性以稀有皮肤疾病诊断。由于几次学习的性能很大程度上取决于学习特征编码器的质量，因此指导扫描设计的主要原理是每个类的内在子簇表示学习，以便更好地描述特征分布。具体而言，扫描遵循双分支框架，第一个分支是学习范围的特征以区分不同的皮肤疾病，第二个分支是学习可以有效地将每个班级划分为几个组的特征，以保留子 - 每个类中的聚集结构。为了实现第二个分支的目标，我们提出了一个集群损失，可以通过无监督的聚类学习图像相似性。为了确保每个子集群中的样品来自同一类，我们进一步设计了纯度损失，以完善无监督的聚类结果。我们在两个公共数据集上评估了拟议方法，以进行几次皮肤疾病分类。实验结果验证了我们的框架在SD-198和DERM7PT数据集​​上优于其他最先进方法约为2％至4％。

在视觉识别任务中，很少的学习需要在很少的支持示例中学习对象类别的能力。鉴于深度学习的发展，它的重新流行主要是图像分类。这项工作着重于几片语义细分，这仍然是一个未开发的领域。最近的一些进步通常仅限于单级少量分段。在本文中，我们首先介绍了一个新颖的多通道（类）编码和解码体系结构，该体系结构有效地将多尺度查询信息和多类支持信息融合到一个查询支持嵌入中。多级分割直接在此嵌入后解码。为了获得更好的特征融合，在体系结构中提出了多层注意机制，其中包括对支持功能调制的关注和多尺度组合的注意力。最后，为了增强嵌入式空间学习，引入了一个额外的像素度量学习模块，并在输入图像的像素级嵌入式上提出了三重损失。对标准基准Pascal-5i和Coco-20i进行的广泛实验显示了我们方法对最新技术的明显好处

引入广义的少量拍摄语义分割以超越仅在新颖的类上评估几次分段模型，以包括测试他们记住基础类的能力。虽然目前所有方法都是基于Meta-Learning，但在观察只有几张镜头后，他们在学习中表现得差，并且在学习中达到差。我们提出了第一种微调解决方案，并证明它在两个数据集上实现最先进的结果时讨论了饱和度问题，Pascal-$ 5 ^ I $和Coco-$ 20 ^ i $。我们还表明它优于现有方法是否微调多个最终层或仅最终层。最后，我们提出了一个三重损失正常化，展示了如何重新分配新颖和基本类别之间的性能平衡，以便它们之间存在较小的差距。

在过去的几年里，几年枪支学习（FSL）引起了极大的关注，以最大限度地减少标有标记的训练示例的依赖。FSL中固有的困难是处理每个课程的培训样本太少的含糊不清的歧义。为了在FSL中解决这一基本挑战，我们的目标是培训可以利用关于新颖类别的先前语义知识来引导分类器合成过程的元学习模型。特别是，我们提出了语义调节的特征注意力和样本注意机制，估计表示尺寸和培训实例的重要性。我们还研究了FSL的样本噪声问题，以便在更现实和不完美的环境中利用Meta-Meverys。我们的实验结果展示了所提出的语义FSL模型的有效性，而没有样品噪声。

通过面部和物理表达表达和识别情绪是社会互动的重要组成部分。情绪识别是计算机愿景的基本任务，由于其各种应用，主要用于允许人类和机器之间更加自然的相互作用。情感识别侧重于分析面部表情的常见方法，需要图像中面部的自动定位。虽然这些方法可以在受控场景中正确地分类情绪，但是在处理无约束的日常交互时，这种技术有限。我们提出了一种基于自适应多线索的情感认可的新深度学习方法，从而提取来自上下文和身体姿势的信息，人类通常用于社会互动和沟通。我们将所提出的方法与CAER-S数据集中的最先进方法进行比较，评估达到89.30％的管道中的不同组件

与其2D图像对应物相比，3D点云数据上的零射击学习是一个相关的未置换问题。 3D数据由于不可用的预训练特征提取模型而带来了ZSL的新挑战。为了解决这个问题，我们提出了一种及时引导的3D场景生成和监督方法，该方法可以增强3D数据以更好地学习网络，从而探索可见和看不见的对象的复杂相互作用。首先，我们以提示描述的某些方式合并了两个3D模型的点云。提示的行为就像描述每个3D场景的注释一样。后来，我们进行对比学习，以端到端的方式培训我们所提出的建筑。我们认为，与单​​个对象相比，3D场景可以更有效地关联对象，因为当对象出现在上下文中时，流行的语言模型（如Bert）可以实现高性能。我们提出的及时引导场景生成方法封装了数据扩展和基于及时的注释/字幕，以提高3D ZSL性能。我们已经在合成（ModelNet40，ModelNet10）和实扫描（ScanoJbectnn）3D对象数据集上实现了最新的ZSL和广义ZSL性能。

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。