在过去十年中，深度神经网络已经证明是擅长图像分类任务，通常在准确性方面超越人类。然而，标准神经网络通常无法理解不同类别的分层结构的概念和相关的视觉相关任务。另一方面，人类似乎在概念上学习类别，从理解高级概念下降到粒度的类别。由于神经网络无法编码其学习结构中的这种依赖性而产生的一个问题是亚泊素班次 - 其中包含从训练集类别的移位群体中获取的新型看不见的课程。由于神经网络将每个类视为独立于所有其他课程，因此它努力对依赖于等级较高的依赖的转移群体进行分类。在这项工作中，我们通过新颖的条件监督培训框架的镜头研究上述问题。我们通过结构化的学习过程来解决亚泊位偏移，通过标签将分层信息包含在一起。此外，我们介绍了图形距离的概念，以模拟错误预测的灾难性影响。我们展示了这种结构化的分层方式的学习导致对亚泊素换档更加稳健的网络，在准确度和大约8.5±8.5°的图形距离上的标准换档基准上的标准模型的速度约为8.5％。

标签层次结构通常作为生物分类法或语言数据集的一部分可用。几项作品利用这些作品来学习层次结构意识到功能，以改善分类器，以在维持或减少总体错误的同时犯有语义有意义的错误。在本文中，我们提出了一种学习层次结构意识特征（HAF）的新方法，该方法利用分类器在每个层次结构级别上的分类器受到约束，以生成与标签层次结构一致的预测。分类器的训练是通过最大程度地减少从细粒分类器获​​得的目标软标签的Jensen Shannon差异来训练。此外，我们采用了简单的几何损失，该损失限制了特征空间几何形状以捕获标签空间的语义结构。 HAF是一种训练时间方法，可以改善错误，同时保持TOP-1错误，从而解决了跨凝性损失的问题，该问题将所有错误视为平等。我们在三个层次数据集上评估HAF，并在Inaturalist-19和Cifar-100数据集上实现最新结果。源代码可从https://github.com/07agarg/haf获得

分层分类旨在将对象对类别的层次进行。例如，可以根据订单，家庭和物种的三级层次分类来分类鸟类。现有方法通过将其解耦为几个多级分类任务来常见地解决分层分类。但是，这种多任务学习策略未能充分利用不同层次结构的各种类别之间的相关性。在本文中，我们提出了基于深度学习的统一概率框架的标签层次转换，以解决层次分类。具体地，我们明确地学习标签层次转换矩阵，其列向量表示两个相邻层次结构之间的类的条件标签分布，并且可以能够编码嵌入类层次结构中的相关性。我们进一步提出了混淆损失，这鼓励分类网络在训练期间学习不同标签层次结构的相关性。所提出的框架可以适用于任何现有的深网络，只有轻微的修改。我们尝试具有各种层次结构的三个公共基准数据集，结果证明了我们的方法超出现有技术的优势。源代码将公开可用。

我们提出了将粗大分类标签纳入细粒域中的图像分类器的技术。这种标签通常可以通过较小的努力来获得较小的粒状域，例如根据生物分类法组织类别的自然界。在三个王国组成的半inat数据集上，包括Phylum标签，在使用ImageNet预训练模型的转移学习设置中将物种级别分类精度提高了6％。使用称为FixMatch的最先进的半监督学习算法的分层标签结构提高了1.3％的性能。当提供诸如类或订单的详细标签或从头开始培训时，相对收益更大。但是，我们发现大多数方法对来自新类别的域名数据的存在并不强大。我们提出了一种技术来从层次结构引导的大量未标记图像中选择相关数据，这提高了鲁棒性。总体而言，我们的实验表明，具有粗大分类标签的半监督学习对于细粒度域中的培训分类器是实用的。

本文考虑了层次多标签分类（HMC）的问题，其中（i）每个示例都可以存在几个标签，并且（ii）标签通过特定于域的层次结构相关。在直觉的指导下，所有错误都不相等，我们提出了全面的层次结构意识到多标签预测（Champ），该框架会根据其严重性根据层次结构树惩罚错误预测。据我们所知，有一些作品将这种想法应用于单标签分类，但对于多标签分类，有限的作品侧重于错误的严重性。关键原因是没有明确的方法可以在多标签设置中量化错误预测的严重性。在这项工作中，我们提出了一个简单但有效的指标，以量化HMC中错误的严重性，自然会导致冠军。在跨模态六个公共HMC数据集（图像，音频和文本）上进行的广泛实验表明，纳入层次信息会带来可观的增长，因为Champ提高了AUPRC（2.6％的中位数改善）和层次指标（2.85％的中位数提高百分比）（超过2.85％）独立分层或多标签分类方法。与标准的多标记基线相比，Champ在鲁棒性（平均提高百分比8.87％）和数据制度更少的稳健性（8.87％）方面提供了改进的AUPRC。此外，我们的方法提供了一个框架来增强具有更好错误的现有多标签分类算法（平均百分比增量为18.1％）。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

Modern visual recognition systems are often limited in their ability to scale to large numbers of object categories. This limitation is in part due to the increasing difficulty of acquiring sufficient training data in the form of labeled images as the number of object categories grows. One remedy is to leverage data from other sources -such as text data -both to train visual models and to constrain their predictions. In this paper we present a new deep visual-semantic embedding model trained to identify visual objects using both labeled image data as well as semantic information gleaned from unannotated text. We demonstrate that this model matches state-of-the-art performance on the 1000-class ImageNet object recognition challenge while making more semantically reasonable errors, and also show that the semantic information can be exploited to make predictions about tens of thousands of image labels not observed during training. Semantic knowledge improves such zero-shot predictions achieving hit rates of up to 18% across thousands of novel labels never seen by the visual model.

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees

即使面对分布（OOD）样本，也必须信任机器学习方法在现实世界环境中做出适当的决定。当前的许多方法只是旨在检测OOD示例并在给出未识别的输入时提醒用户。但是，当OOD样本与训练数据显着重叠时，二进制异常检测是无法解释或解释的，并且很少向用户提供信息。我们提出了一个新的OOD检测模型，随着输入变得更加模棱两可，在不同水平的粒度水平上进行预测，模型预测变得更加粗糙，更保守。考虑一个遇到未知鸟类和汽车的动物分类器。两种情况都是OOD，但是如果分类器认识到其对特定物种的不确定性太大并预测鸟类而不是将其视为OOD，则用户获得了更多信息。此外，我们在层次结构的每个级别上诊断了分类器的性能，以改善模型预测的解释性和解释性。我们证明了分层分类器对细粒和粗粒的OOD任务的有效性。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

深度学习模型在逐步学习新任务时遭受灾难性遗忘。已经提出了增量学习，以保留旧课程的知识，同时学习识别新课程。一种典型的方法是使用一些示例来避免忘记旧知识。在这种情况下，旧类和新课之间的数据失衡是导致模型性能下降的关键问题。由于数据不平衡，已经设计了几种策略来纠正新类别的偏见。但是，他们在很大程度上依赖于新旧阶层之间偏见关系的假设。因此，它们不适合复杂的现实世界应用。在这项研究中，我们提出了一种假设不足的方法，即多粒性重新平衡（MGRB），以解决此问题。重新平衡方法用于减轻数据不平衡的影响；但是，我们从经验上发现，他们将拟合新的课程。为此，我们进一步设计了一个新颖的多晶正式化项，该项使模型还可以考虑除了重新平衡数据之外的类别的相关性。类层次结构首先是通过将语义或视觉上类似类分组来构建的。然后，多粒性正则化将单热标签向量转换为连续的标签分布，这反映了基于构造的类层次结构的目标类别和其他类之间的关系。因此，该模型可以学习类间的关系信息，这有助于增强新旧课程的学习。公共数据集和现实世界中的故障诊断数据集的实验结果验证了所提出的方法的有效性。

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

在图像分类任务中，深度神经网络通常是脆弱的，并且已知错误分类输入。虽然这些错误分类可能是不可避免的，但不能认为所有失败模式都是平等的。某些错误分类（例如，将狗的图像分类为飞机）可以困扰人类并导致系统中的人类信任丢失。更糟糕的是，这些错误（例如，被错误分类为灵长类动物的人）可以具有可憎的社会影响。因此，在这项工作中，我们的目标是降低差不可估量的错误。为了解决这一挑战，我们首先讨论获取捕获人类期望（$ M ^ H $）的类级语义的方法，这是关于哪些类的语义关闭{\ EM与}。我们表明，对于流行的图像基准（如CiFar-10，CiFar-100，Imagenet），可以通过利用人类主题研究或公开的人类策划知识库来容易地获得类级语义。其次，我们建议使用加权损失函数（WLF）以惩罚其无法解释的错误分类。最后，我们表明培训（或微调）现有分类器具有所提出的方法，导致具有（1）的深度神经网络，具有相当的前1个精度，（2）在分销和外部的更具可扩展的故障模式 - 与现有工程相比，分布（ood）测试数据，（3）额外的人类标签的收集成本明显较低。

无监督的域适应性（UDA）已成功地应用于没有标签的标记源域转移到目标域的知识。最近引入了可转移的原型网络（TPN），进一步解决了班级条件比对。在TPN中，虽然在潜在空间中明确执行了源和目标域之间的类中心的接近度，但尚未完全研究基础的细颗粒亚型结构和跨域紧凑性。为了解决这个问题，我们提出了一种新方法，以适应性地执行细粒度的亚型意识对准，以提高目标域的性能，而无需两个域中的子类型标签。我们方法的见解是，由于不同的条件和标签变化，同类中未标记的亚型在亚型内具有局部接近性，同时表现出不同的特征。具体而言，我们建议通过使用中间伪标签同时执行亚型的紧凑度和阶级分离。此外，我们系统地研究了有或不具有亚型数字的各种情况，并建议利用基本的亚型结构。此外，开发了一个动态队列框架，以使用替代处理方案稳步地进化亚型簇质心。与最先进的UDA方法相比，使用多视图的先天性心脏病数据和VISDA和域进行了实验结果，显示了我们的亚型意识UDA的有效性和有效性。

本文回顾了概念，建模方法和最新发现，沿着不同级别的神经网络模型的抽象范围，包括跨（1）样本跨（2）分布，（3）域，（4）任务，（5）模态的概括，（2） ，和（6）范围。 （1）样品概括的结果表明，对于ImageNet而言，几乎所有最近的改进都减少了训练误差，而过度拟合则保持平坦。几乎消除了所有训练错误，未来的进度将需要专注于减少过度拟合。统计数据的观点突出显示了（2）分布概括如何交替地视为样本权重的变化或输入输出关系的变化。总结了（3）域概括的转移学习方法，以及最新的进步和域适应性基准数据集的财富。在（4）任务概括中调查的最新突破包括很少的元学习方法和BERT NLP引擎以及最近（5）个模态概括研究，这些研究整合了图像和文本数据，并应用了跨嗅觉的生物学启发的网络，视觉和听觉方式。回顾了最近（6）个范围泛化结果，将知识图嵌入深度NLP方法中。此外，讨论了关于大脑的模块化结构以及多巴胺驱动的条件导致抽象思维的步骤。

We evaluate whether features extracted from the activation of a deep convolutional network trained in a fully supervised fashion on a large, fixed set of object recognition tasks can be repurposed to novel generic tasks. Our generic tasks may differ significantly from the originally trained tasks and there may be insufficient labeled or unlabeled data to conventionally train or adapt a deep architecture to the new tasks. We investigate and visualize the semantic clustering of deep convolutional features with respect to a variety of such tasks, including scene recognition, domain adaptation, and fine-grained recognition challenges. We compare the efficacy of relying on various network levels to define a fixed feature, and report novel results that significantly outperform the state-of-the-art on several important vision challenges. We are releasing DeCAF, an open-source implementation of these deep convolutional activation features, along with all associated network parameters to enable vision researchers to be able to conduct experimentation with deep representations across a range of visual concept learning paradigms.

机器学习从业者通常可以访问数据的频谱：目标任务（通常是有限），未标记的数据和辅助数据的标记数据，用于其他任务的许多可用标记的数据集。我们描述了TAGLET，一个系统为学习技术，用于自动利用所有三种类型的数据并创建高质量的可服装分类器。 TAGLET的关键组件是：（1）根据知识图组织组织的辅助数据，（2）封装用于利用辅助和未标记数据的不同方法的模块，以及（3）将被整合模块组合成可用的蒸馏阶段模型。我们将TAGLETS与最先进的传输学习和半监督学习方法进行比较，四个图像分类任务。我们的研究涵盖了一系列设置，改变了标记数据的量和辅助数据的语义相关性到目标任务。我们发现，辅助和未标记数据的智能融合到多个学习技术使Taglet能够匹配 - 并且最常见的是这些替代方案。 Taglets可作为Github.com/batsresearch/taglet的开源系统使用。