多任务学习是通过在任务中传输和利用共同知识来提高模型的性能。现有的MTL主要关注多个任务（MTS）之间标签集的场景通常是相同的，因此它们可以用于跨任务学习。虽然几乎罕见的作品探索了每个任务只有少量训练样本的情况，而其标签集只是部分重叠甚至不是。由于这些任务之间可用的相关信息，学习此类MTS更具挑战性。为此，我们提出了一个框架来通过共同利用来自学习的辅助大任务的大量信息，以足够多的类来涵盖所有这些任务的富力信息以及在部分重叠的任务中共享的信息。在我们实现使用所学习辅助任务的相同神经网络架构来学习各个任务的情况下，关键的想法是利用可用的标签信息来自适应地修剪辅助网络的隐藏层神经元，以构造每个任务的相应网络，同时伴随各个任务的联合学习。我们的实验结果表明其与最先进的方法相比其有效性。

多任务学习是一个框架，可执行多个学习任务以共享知识以提高其概括能力。虽然浅做多任务学习可以学习任务关系，但它只能处理预定义的功能。现代深度多任务学习可以共同学习潜在的功能和任务共享，但任务关系却很晦涩。同样，他们预先定义哪些层和神经元应该跨任务共享，并且不能适应地学习。为了应对这些挑战，本文提出了一个新的多任务学习框架，该框架通过补充现有浅层和深层多任务学习方案的强度，共同学习潜在特征和明确的任务关系。具体而言，我们建议将任务关系建模为任务输入梯度之间的相似性，并对它们的等效性进行理论分析。此外，我们创新地提出了一个多任务学习目标，该目标可以通过新的正规机明确学习任务关系。理论分析表明，由于提出的正常化程序，概括性误差已减少。在多个多任务学习和图像分类基准上进行的广泛实验证明了所提出的方法有效性，效率以及在学习任务关系模式中的合理性。

整合不同域的知识是人类学习的重要特征。学习范式如转移学习，元学习和多任务学习，通过利用新任务的先验知识，鼓励更快的学习和新任务的良好普遍来反映人类学习过程。本文提供了这些学习范例的详细视图以及比较分析。学习算法的弱点是另一个的力量，从而合并它们是文献中的一种普遍的特征。这项工作提供了对文章的文献综述，这些文章融合了两种算法来完成多个任务。这里还介绍了全球通用学习网络，在此介绍了元学习，转移学习和多任务学习的集合，以及一些开放的研究问题和未来研究的方向。

我们提出了一个统一的查看，即通过通用表示，一个深层神经网络共同学习多个视觉任务和视觉域。同时学习多个问题涉及最大程度地减少具有不同幅度和特征的多个损失函数的加权总和，从而导致一个损失的不平衡状态，与学习每个问题的单独模型相比，一个损失的不平衡状态主导了优化和差的结果。为此，我们提出了通过小容量适配器将多个任务/特定于域网络的知识提炼到单个深神经网络中的知识。我们严格地表明，通用表示在学习NYU-V2和CityScapes中多个密集的预测问题方面实现了最新的表现，来自视觉Decathlon数据集中的不同域中的多个图像分类问题以及MetadataSet中的跨域中的几个域中学习。最后，我们还通过消融和定性研究进行多次分析。

We propose a novel multi-task learning architecture, which allows learning of task-specific feature-level attention. Our design, the Multi-Task Attention Network (MTAN), consists of a single shared network containing a global feature pool, together with a soft-attention module for each task. These modules allow for learning of taskspecific features from the global features, whilst simultaneously allowing for features to be shared across different tasks. The architecture can be trained end-to-end and can be built upon any feed-forward neural network, is simple to implement, and is parameter efficient. We evaluate our approach on a variety of datasets, across both image-toimage predictions and image classification tasks. We show that our architecture is state-of-the-art in multi-task learning compared to existing methods, and is also less sensitive to various weighting schemes in the multi-task loss function. Code is available at https://github.com/ lorenmt/mtan.

近年来，多任务学习在各种应用程序中都取得了巨大的成功。尽管这些年来，单个模型培训已承诺取得出色的成果，但它忽略了有价值的信息，这些信息可能有助于我们更好地估计一个指标。在与学习相关的任务下，多任务学习能够更好地概括模型。我们试图通过在相关任务和归纳转移学习之间共享功能来增强多任务模型的功能映射。此外，我们的兴趣是学习各种任务之间的任务关系，以从多任务学习中获得更好的收益。在本章中，我们的目标是可视化现有的多任务模型，比较其性能，用于评估多任务模型性能的方法，讨论在各个领域的设计和实施过程中所面临的问题，以及他们实现的优势和里程碑

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

多任务学习（MTL）通过在任务之间共享参数共同学习一组任务。这是降低存储成本的一种有希望的方法，同时提高许多计算机视觉任务的任务准确性。 MTL的有效采用面临两个主要挑战。第一个挑战是确定在任务中共享哪些参数，以优化内存效率和任务准确性。第二个挑战是在不需要耗时的手动重新实现和重要的域专业知识的情况下自动将MTL算法应用于任意CNN主链。本文通过开发第一个编程框架AutoMTL来应对挑战，该框架自动化有效的MTL模型开发为视觉任务。 AUTOMTL作为输入作为任意的骨干卷积神经网络（CNN）以及一组学习的任务，并自动生成一个多任务模型，该模型同时实现了高精度和较小的记忆足迹。在三个流行的MTL基准测试（CityScapes，NYUV2，Tiny-Taskonomy）上进行的实验证明了AutoMTL对最先进方法的有效性以及在CNN跨CNN的AutoMTL的普遍性。 AutOmtl是开源的，可在https://github.com/zhanglijun95/automtl上找到。

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

神经过程最近被出现为一类强大的神经潜变模型，这些模型结合了神经网络和随机过程的优势。由于它们可以编码网络功能空间中的上下文数据，因此它们为多任务学习中的任务相关性提供了一种新方法。为了研究其潜力，我们开发多任务神经过程，是多任务学习的神经过程的新变种。特别是，我们建议探索功能空间中相关任务的可转让知识，以提供用于改善每个任务的归纳偏差。为此，我们派生在分层贝叶斯推理框架中的功能前导者，它使每个任务能够将相关任务提供的共享知识结合到预测函数的上下文中。我们的多任务神经工艺方法展开了Vanilla神经过程的范围，并提供了一种探索功能空间任务相关性的新方法，以获得多任务学习。所提出的多任务神经过程能够学习具有有限标记数据和域移位的有限的多个任务。我们对多任务回归和分类任务的几个基准进行了大量的实验评估。结果展示了多任务神经过程在多任务学习任务中转移有用知识的有效性以及多任务分类和大脑图像分割中的优越性。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

多任务学习旨在探索任务相关性，以改善各个任务，这在挑战性方案中是特别重要的，只有每个任务只有有限的数据。为了解决这一挑战，我们提出了变分的多任务学习（VMTL），是用于学习多个相关任务的一般概率推断框架。我们将多项任务学习作为变分贝叶斯推理问题，其中通过指定前沿以统一的方式探讨任务相关性。为了将共享知识合并到每个任务中，我们将任务的前期设计为可被学习的其他相关任务的变分后部的混合，这是由Gumbel-Softmax技术学习的。与以前的方法相比，我们的VMTL可以通过联合推断出后视前推断出的方式，我们的VMTL可以以原则的方式利用两个表示和分类器的任务相关性。这使得各个任务能够完全利用相关任务提供的归纳偏差，因此提高了所有任务的整体性能。实验结果表明，所提出的VMTL能够有效地解决各种具有挑战性的多任务学习设置，其中包括分类和回归的有限训练数据。我们的方法始终如一地超越以前的方法，包括强烈的贝叶斯方法，并在五个基准数据集中实现最先进的性能。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Benefiting from color independence, illumination invariance and location discrimination attributed by the depth map, it can provide important supplemental information for extracting salient objects in complex environments. However, high-quality depth sensors are expensive and can not be widely applied. While general depth sensors produce the noisy and sparse depth information, which brings the depth-based networks with irreversible interference. In this paper, we propose a novel multi-task and multi-modal filtered transformer (MMFT) network for RGB-D salient object detection (SOD). Specifically, we unify three complementary tasks: depth estimation, salient object detection and contour estimation. The multi-task mechanism promotes the model to learn the task-aware features from the auxiliary tasks. In this way, the depth information can be completed and purified. Moreover, we introduce a multi-modal filtered transformer (MFT) module, which equips with three modality-specific filters to generate the transformer-enhanced feature for each modality. The proposed model works in a depth-free style during the testing phase. Experiments show that it not only significantly surpasses the depth-based RGB-D SOD methods on multiple datasets, but also precisely predicts a high-quality depth map and salient contour at the same time. And, the resulted depth map can help existing RGB-D SOD methods obtain significant performance gain. The source code will be publicly available at https://github.com/Xiaoqi-Zhao-DLUT/MMFT.

Multi-task learning (MTL) models have demonstrated impressive results in computer vision, natural language processing, and recommender systems. Even though many approaches have been proposed, how well these approaches balance different tasks on each parameter still remains unclear. In this paper, we propose to measure the task dominance degree of a parameter by the total updates of each task on this parameter. Specifically, we compute the total updates by the exponentially decaying Average of the squared Updates (AU) on a parameter from the corresponding task.Based on this novel metric, we observe that many parameters in existing MTL methods, especially those in the higher shared layers, are still dominated by one or several tasks. The dominance of AU is mainly due to the dominance of accumulative gradients from one or several tasks. Motivated by this, we propose a Task-wise Adaptive learning rate approach, AdaTask in short, to separate the \emph{accumulative gradients} and hence the learning rate of each task for each parameter in adaptive learning rate approaches (e.g., AdaGrad, RMSProp, and Adam). Comprehensive experiments on computer vision and recommender system MTL datasets demonstrate that AdaTask significantly improves the performance of dominated tasks, resulting SOTA average task-wise performance. Analysis on both synthetic and real-world datasets shows AdaTask balance parameters in every shared layer well.

This work proposes Multi-task Meta Learning (MTML), integrating two learning paradigms Multi-Task Learning (MTL) and meta learning, to bring together the best of both worlds. In particular, it focuses simultaneous learning of multiple tasks, an element of MTL and promptly adapting to new tasks with fewer data, a quality of meta learning. It is important to highlight that we focus on heterogeneous tasks, which are of distinct kind, in contrast to typically considered homogeneous tasks (e.g., if all tasks are classification or if all tasks are regression tasks). The fundamental idea is to train a multi-task model, such that when an unseen task is introduced, it can learn in fewer steps whilst offering a performance at least as good as conventional single task learning on the new task or inclusion within the MTL. By conducting various experiments, we demonstrate this paradigm on two datasets and four tasks: NYU-v2 and the taskonomy dataset for which we perform semantic segmentation, depth estimation, surface normal estimation, and edge detection. MTML achieves state-of-the-art results for most of the tasks. Although semantic segmentation suffers quantitatively, our MTML method learns to identify segmentation classes absent in the pseudo labelled ground truth of the taskonomy dataset.

许多研究人员已经观察到多任务学习，该研究人员假设不同的任务可以共享低级别常见且潜在的子空间。它意味着学习多个任务，而不是独立学习它们。在本文中，我们提出了两种基于两种正则化术语的新型多任务学习制剂，这可以通过最小化恰好k $最小的奇异值来学习最佳共享潜在子空间。所提出的正则化术语比追踪规范更短的等级最小化的近似。但是解决了确切等级最小化问题是一个np难的问题。因此，我们设计一种新颖的基于重量的迭代策略来解决我们的模型，可以通过设置大惩罚参数来显微地处理确切的等级最小化问题。基准数据集的实验结果表明，我们的方法可以正确地恢复跨任务共享的低级结构，而优于相关的多任务学习方法。

多任务学习（MTL）在各种领域取得了巨大的成功，但是如何平衡不同的任务以避免负面影响仍然是一个关键问题。为实现任务平衡，存在许多有效的工作来平衡任务丢失或渐变。在本文中，我们统一了八个代表性的任务平衡方法，从损失加权的角度统一，并提供一致的实验比较。此外，我们令人惊讶地发现，培训具有从分配中采样的随机重量的MTL模型可以实现与最先进的基线相比的性能。基于此发现，我们提出了一种称为随机损失加权（RLW）的简单且有效的加权策略，其可以仅在现有工作中仅​​在一个附加的代码中实现。从理论上讲，我们分析了RLW的融合，并揭示了RLW的概率比具有固定任务权重的现有模型逃脱局部最小值，从而产生更好的概括能力。经验上，我们在六个图像数据集中广泛评估了所提出的RLW方法，以及来自Xtreme基准测试的四个多语言任务，以显示与最先进的策略相比所提出的RLW战略的有效性。

最近在灾害信息学的研究证明了人工智能的实用而重要的用例，以拯救人类生命和基于社交媒体内容（文本和图像）的自然灾害期间的痛苦。虽然使用文本的显着进度，但利用图像的研究仍然相对较低。要提前基于图像的方法，我们提出了Medic（可用于：https://crisisnlp.qcri.org/medic/index.html），这是人道主义响应的最大社交媒体图像分类数据集，由71,198个图像组成在多任务学习设置中的四个不同任务。这是它的第一个数据集：社交媒体图像，灾难响应和多任务学习研究。该数据集的一个重要属性是它的高潜力，可以为多任务学习进行贡献，该研究最近从机器学习界获得了很多兴趣，并在内存，推理速度，性能和泛化能力方面显示出显着的结果。因此，所提出的数据集是用于推进基于图像的灾害管理和多任务机器学习研究的重要资源。