最近的多任务学习研究旨在反对单一的标准化，其中培训只需最大限度地减少任务损失的总和。代替了几种Ad-hoc多任务优化算法，它受到各种假设的启发，关于使多任务设置困难的原因。这些优化器中的大多数都需要每个任务渐变，并引入重要的内存，运行时和实现开销。我们提出了一个理论分析，表明许多专业的多任务优化器可以被解释为正规化的形式。此外，我们表明，当与单任务学习的标准正则化和稳定技术耦合时，单一的标定化匹配或改善在监督和加固学习设置中复杂的多任务优化器的性能。我们相信我们的结果要求对该地区最近的研究进行关键重新评估。

在多任务学习（MTL）中，对联合模型进行了培训，可以同时对几个任务进行预测。联合培训降低了计算成本并提高数据效率；但是，由于这些不同任务的梯度可能需要冲突，因此训练MTL的联合模型通常比其相应的单任务对应人员产生的性能较低。减轻此问题的一种常见方法是使用特定的启发式方法将每个任务梯度组合到联合更新方向上。在本文中，我们建议将梯度组合步骤视为一个议价游戏，在该游戏中，任务就达成了有关参数更新联合方向的协议。在某些假设下，议价问题具有独特的解决方案，称为NASH讨价还价解决方案，我们建议将其用作多任务学习的原则方法。我们描述了一种新的MTL优化程序NASH-MTL，并为其收敛性得出了理论保证。从经验上讲，我们表明NASH-MTL在各个域中的多个MTL基准上实现了最新的结果。

In multi-task learning, multiple tasks are solved jointly, sharing inductive bias between them. Multi-task learning is inherently a multi-objective problem because different tasks may conflict, necessitating a trade-off. A common compromise is to optimize a proxy objective that minimizes a weighted linear combination of pertask losses. However, this workaround is only valid when the tasks do not compete, which is rarely the case. In this paper, we explicitly cast multi-task learning as multi-objective optimization, with the overall objective of finding a Pareto optimal solution. To this end, we use algorithms developed in the gradient-based multiobjective optimization literature. These algorithms are not directly applicable to large-scale learning problems since they scale poorly with the dimensionality of the gradients and the number of tasks. We therefore propose an upper bound for the multi-objective loss and show that it can be optimized efficiently. We further prove that optimizing this upper bound yields a Pareto optimal solution under realistic assumptions. We apply our method to a variety of multi-task deep learning problems including digit classification, scene understanding (joint semantic segmentation, instance segmentation, and depth estimation), and multilabel classification. Our method produces higher-performing models than recent multi-task learning formulations or per-task training.

最近的研究提出了一系列针对深度任务模型的专业优化算法。通常声称这些多任务优化（MTO）方法产生的解决方案优于仅通过优化任务损失的加权平均值而获得的解决方案。在本文中，我们对各种语言和视觉任务进行大规模实验，以检查这些主张的经验有效性。我们表明，尽管这些算法的设计和计算复杂性增加了，但MTO方法并未产生超出传统优化方法可实现的性能的任何改进。我们强调了替代策略，这些策略始终如一地提高性能概况，并指出可能导致次优效果的常见训练陷阱。最后，我们概述了可靠地评估MTO算法的性能并讨论潜在解决方案的挑战。

尽管经过过度公路化，但通过监督学习培训的深网络易于优化，表现出优异的概括。解释这一点的一个假设是，过正交的深网络享有随机梯度下降引起的隐含正规化的好处，这些梯度下降引起的促进解决方案概括了良好的测试输入。推动深度加强学习（RL）方法也可能受益于这种效果是合理的。在本文中，我们讨论了监督学习中SGD的隐式正则化效果如何在离线深度RL设置中有害，导致普遍性较差和退化特征表示。我们的理论分析表明，当存在对时间差异学习的现有模型的隐式正则化模型时，由此产生的衍生规则器有利于与监督学习案件的显着对比的过度“混叠”的退化解决方案。我们凭经验备份这些发现，显示通过引导训练的深网络值函数学习的特征表示确实可以变得堕落，别名出在Bellman备份的两侧出现的状态操作对的表示。要解决此问题，我们派生了这个隐式规范器的形式，并通过此推导的启发，提出了一种简单且有效的显式规范器，称为DR3，抵消了本隐式规范器的不良影响。当与现有的离线RL方法结合使用时，DR3大大提高了性能和稳定性，缓解了ATARI 2600游戏，D4RL域和来自图像的机器人操作。

Multi-task learning (MTL) models have demonstrated impressive results in computer vision, natural language processing, and recommender systems. Even though many approaches have been proposed, how well these approaches balance different tasks on each parameter still remains unclear. In this paper, we propose to measure the task dominance degree of a parameter by the total updates of each task on this parameter. Specifically, we compute the total updates by the exponentially decaying Average of the squared Updates (AU) on a parameter from the corresponding task.Based on this novel metric, we observe that many parameters in existing MTL methods, especially those in the higher shared layers, are still dominated by one or several tasks. The dominance of AU is mainly due to the dominance of accumulative gradients from one or several tasks. Motivated by this, we propose a Task-wise Adaptive learning rate approach, AdaTask in short, to separate the \emph{accumulative gradients} and hence the learning rate of each task for each parameter in adaptive learning rate approaches (e.g., AdaGrad, RMSProp, and Adam). Comprehensive experiments on computer vision and recommender system MTL datasets demonstrate that AdaTask significantly improves the performance of dominated tasks, resulting SOTA average task-wise performance. Analysis on both synthetic and real-world datasets shows AdaTask balance parameters in every shared layer well.

在本文中，我们考虑了多任务表示（MTR）的框架学习的目标是使用源任务来学习降低求解目标任务的样本复杂性的表示形式。我们首先回顾MTR理论的最新进展，并表明它们可以在此框架内进行分析时为流行的元学习算法提供新颖的见解。特别是，我们重点介绍了实践中基于梯度和基于度量的算法之间的根本差异，并提出了理论分析来解释它。最后，我们使用派生的见解来通过新的基于光谱的正则化项来提高元学习方法的性能，并通过对少量分类基准的实验研究确认其效率。据我们所知，这是将MTR理论的最新学习范围付诸实践的第一项贡献，以实现几乎没有射击分类的任务。

许多现代的机器学习应用程序，例如多任务学习，都需要查找最佳模型参数来权衡多个可能相互冲突的目标功能。帕累托集的概念使我们能够专注于不能严格改进的（通常是无限的）模型集。但是，它不能为选择一个或几个特殊型号返回实际用户提供可行的程序。在本文中，我们考虑\ emph {在Pareto Set（Opt-In-Pareto）中进行优化，这是找到Pareto模型，以优化Pareto集中的额外参考标准函数。此功能可以编码从用户的特定偏好，也可以代表代表整个帕累托集的一组多元化的帕累托模型来代表一组多元化的帕累托模型。不幸的是，尽管是一个非常有用的框架，但在深度学习中，尤其是对于大规模，非凸面和非线性目标而言，对选择性pareto的有效算法已经很大程度上遗失了。一种幼稚的方法是将Riemannian歧管梯度下降应用于帕累托集，该片段由于需要对Hessian矩阵的本征估计而产生高计算成本。我们提出了一种一阶算法，该算法仅使用梯度信息近似求解pareto，具有高实用效率和理论上保证的收敛属性。从经验上讲，我们证明我们的方法在各种具有挑战性的多任务相关问题方面有效地工作。

我们研究了任务不合时宜的持续强化学习方法（tACRL）。 TACRL是一种结合了部分观察RL（任务不可知论的结果）和持续学习的困难（CL）的困难，即在任务的非平稳序列上学习。我们将tACRL方法与以前文献规定的软上限进行比较：多任务学习（MTL）方法，这些方法不必处理非平稳数据分布以及任务感知方法，这些方法可以在完整的情况下进行操作可观察性。我们考虑了先前未开发的基线，用于基于重播的复发性RL（3RL），其中我们增强了具有复发机制的RL算法，以减轻部分可观察性和经验经验的重播机制，以使CL中的灾难性遗忘。通过研究一系列RL任务的经验性能，我们发现3RL匹配并克服MTL和任务感知的软上限的情况令人惊讶。我们提出假设，可以解释不断的和任务不足学习研究的这个拐点。通过对流行的多任务和持续学习基准元世界的大规模研究，我们的假设在连续控制任务中进行了经验检验。通过分析包括梯度冲突在内的不同培训统计数据，我们发现证据表明3RL的表现超出其能够快速推断新任务与以前的任务的关系，从而实现前进的转移。

我们开发了快速算法和可靠软件，以凸出具有Relu激活功能的两层神经网络的凸优化。我们的工作利用了标准的重量罚款训练问题作为一组组-YELL_1 $调查的数据本地模型的凸重新印度，其中局部由多面体锥体约束强制执行。在零规范化的特殊情况下，我们表明此问题完全等同于凸“ Gated Relu”网络的不受约束的优化。对于非零正则化的问题，我们表明凸面式relu模型获得了RELU训练问题的数据依赖性近似范围。为了优化凸的重新制定，我们开发了一种加速的近端梯度方法和实用的增强拉格朗日求解器。我们表明，这些方法比针对非凸问题（例如SGD）和超越商业内部点求解器的标准训练启发式方法要快。在实验上，我们验证了我们的理论结果，探索组-ELL_1 $正则化路径，并对神经网络进行比例凸的优化，以在MNIST和CIFAR-10上进行图像分类。

由于其令人鼓舞的性能，在各种控制任务中的令人鼓舞的表现，深增强学习（Deep RL）一直在受到更高的关注。然而，在训练神经网络中的常规正则化技术（例如，$ L_2 $正则化，辍学）已经在RL方法中被忽略，可能是因为代理通常在相同的环境中进行培训和评估，因为Deep RL社区重点关注更多-Level算法设计。在这项工作中，我们在连续控制任务中提出了具有多种策略优化算法的正则化技术的第一综合研究。有趣的是，我们发现策略网络上的传统正则化技术通常可以带来大量改进，特别是在更难的任务上。我们的研究结果显示在训练HyperParameter变化方面是强大的。我们还将这些技术与更广泛使用的熵正则化进行了比较。此外，我们还研究正规化不同的组件，并发现策略网络通常是最佳的。我们进一步分析了为什么正则化可能有助于从四个观点来帮助推广 - 样本复杂性，奖励分配，重量规范和噪音鲁棒性。我们希望我们的研究为未来的规则策略优化算法提供指导。我们的代码可在https://github.com/xuanlinli17/ICLRR2021_RLREG上获得。

多任务学习（MTL）在各种领域取得了巨大的成功，但是如何平衡不同的任务以避免负面影响仍然是一个关键问题。为实现任务平衡，存在许多有效的工作来平衡任务丢失或渐变。在本文中，我们统一了八个代表性的任务平衡方法，从损失加权的角度统一，并提供一致的实验比较。此外，我们令人惊讶地发现，培训具有从分配中采样的随机重量的MTL模型可以实现与最先进的基线相比的性能。基于此发现，我们提出了一种称为随机损失加权（RLW）的简单且有效的加权策略，其可以仅在现有工作中仅​​在一个附加的代码中实现。从理论上讲，我们分析了RLW的融合，并揭示了RLW的概率比具有固定任务权重的现有模型逃脱局部最小值，从而产生更好的概括能力。经验上，我们在六个图像数据集中广泛评估了所提出的RLW方法，以及来自Xtreme基准测试的四个多语言任务，以显示与最先进的策略相比所提出的RLW战略的有效性。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

We introduce a framework based on bilevel programming that unifies gradient-based hyperparameter optimization and meta-learning. We show that an approximate version of the bilevel problem can be solved by taking into explicit account the optimization dynamics for the inner objective. Depending on the specific setting, the outer variables take either the meaning of hyperparameters in a supervised learning problem or parameters of a meta-learner. We provide sufficient conditions under which solutions of the approximate problem converge to those of the exact problem. We instantiate our approach for meta-learning in the case of deep learning where representation layers are treated as hyperparameters shared across a set of training episodes. In experiments, we confirm our theoretical findings, present encouraging results for few-shot learning and contrast the bilevel approach against classical approaches for learning-to-learn.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。

现代深度学习模型通常在分布式机器集合中并行培训，以减少训练时间。在这种情况下，机器之间模型更新的通信变成了一个重要的性能瓶颈，并且已经提出了各种有损的压缩技术来减轻此问题。在这项工作中，我们介绍了一种新的，简单但理论上和实践上有效的压缩技术：自然压缩（NC）。我们的技术分别应用于要进行压缩的更新向量的所有条目，并通过随机舍入到两个的（负或正）两种功能，可以通过忽略Mantissa来以“自然”方式计算。我们表明，与没有压缩相比，NC将压缩向量的第二刻增加不超过微小因子$ \ frac {9} {8} $，这意味着NC对流行训练算法的收敛速度的影响，例如分布式SGD，可以忽略不计。但是，NC启用的通信节省是可观的，导致$ 3 $ - $ 4 \ times $ $改善整体理论运行时间。对于需要更具侵略性压缩的应用，我们将NC推广到自然抖动，我们证明这比常见的随机抖动技术要好得多。我们的压缩操作员可以自行使用，也可以与现有操作员结合使用，从而产生更具侵略性的结合效果，并在理论和实践中提供新的最先进。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

我们提出了一个统一的查看，即通过通用表示，一个深层神经网络共同学习多个视觉任务和视觉域。同时学习多个问题涉及最大程度地减少具有不同幅度和特征的多个损失函数的加权总和，从而导致一个损失的不平衡状态，与学习每个问题的单独模型相比，一个损失的不平衡状态主导了优化和差的结果。为此，我们提出了通过小容量适配器将多个任务/特定于域网络的知识提炼到单个深神经网络中的知识。我们严格地表明，通用表示在学习NYU-V2和CityScapes中多个密集的预测问题方面实现了最新的表现，来自视觉Decathlon数据集中的不同域中的多个图像分类问题以及MetadataSet中的跨域中的几个域中学习。最后，我们还通过消融和定性研究进行多次分析。

从非规范目标分布中抽样是概率推断中许多应用的基本问题。 Stein变异梯度下降（SVGD）已被证明是一种强大的方法，它迭代地更新一组粒子以近似关注的分布。此外，在分析其渐近性特性时，SVGD会准确地减少到单目标优化问题，并可以看作是此单目标优化问题的概率版本。然后出现一个自然的问题：“我们可以得出多目标优化的概率版本吗？”。为了回答这个问题，我们提出了随机多重目标采样梯度下降（MT-SGD），从而使我们能够从多个非差异目标分布中采样。具体而言，我们的MT-SGD进行了中间分布的流动，逐渐取向多个目标分布，这使采样颗粒可以移动到目标分布的关节高样区域。有趣的是，渐近分析表明，正如预期的那样，我们的方法准确地减少了多级下降算法以进行多目标优化。最后，我们进行全面的实验，以证明我们进行多任务学习方法的优点。