持续学习旨在使单个模型能够学习一系列任务，而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播，但是，由于隐私和内存约束，这会限制其实际价值。在这项工作中，我们提出了一个简单而有效的框架，即DualPrompt，该框架学习了一组称为提示的参数，以正确指示预先训练的模型，以依次学习到达的任务，而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法，可以将互补提示附加到预训练的主链上，然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证，双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是，双启示的表现优于最近的高级持续学习方法，其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R，以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。

学习不变表示是在数据集中虚假相关驱动的机器学习模型时的重要要求。这些杂散相关性，在输入样本和目标标签之间，错误地指导了神经网络预测，导致某些组的性能差，尤其是少数群体。针对这些虚假相关性的强大培训需要每个样本的组成员资格。这种要求在少数群体或稀有群体的数据标签努力的情况下是显着费力的，或者包括数据集的个人选择隐藏敏感信息的情况。另一方面，存在这种数据收集的存在力度导致包含部分标记的组信息的数据集。最近的作品解决了完全无监督的场景，没有用于组的标签。因此，我们的目标是通过解决更现实的设置来填补文献中的缺失差距，这可以在培训期间利用部分可用的敏感或群体信息。首先，我们构造一个约束集并导出组分配所属的高概率绑定到该集合。其次，我们提出了一种从约束集中优化了优化最严格的组分配的算法。通过对图像和表格数据集的实验，我们显示少数集团的性能的改进，同时在跨组中保持整体汇总精度。

我们介绍了异常聚类，其目标是将数据分组为语义相干的异常类型簇。这与异常检测不同，其目标是将异常从正常数据分开。与目标居中图像聚类应用程序不同，异常群集尤其具有挑战性，因为异常模式是微妙和本地的。我们使用基于补丁的预嵌入和现成的聚类方法提供了一个简单而有效的聚类框架。我们在图像之间定义距离功能，每个距离由加权平均嵌入的欧几里德距离表示为嵌入袋。重量定义了袋子中的实例（即贴片嵌入）的重要性，这可能会突出缺陷区域。如果标记为标记的正常数据，我们以无监督的方式计算权重或以半监督方式计算权重。广泛的实验研究表明，所提出的聚类框架的有效性以及在现有多实例或深簇框架上的新距离功能。总体而言，我们的框架在MVTEC对象和纹理类别上实现了0.451和0.674标准化的相互信息分数，并进一步改善了一些标记的正常数据（0.577,0.669），远远超过基线（0.244,0.273）或最先进的深层聚类方法（0.176,0.277）。

持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。

异常检测（AD），将异常与正常数据分开，从安全性到医疗保健都有许多范围内的应用程序。尽管大多数以前的作品都被证明对具有完全或部分标记数据的案例有效，但由于标记对此任务特别乏味，因此设置在实践中较不常见。在本文中，我们专注于完全无监督的AD，其中包含正常样本和异常样本的整个培训数据集未标记。为了有效地解决这个问题，我们建议通过使用数据改进过程来提高接受自我监督表示的一类分类的鲁棒性。我们提出的数据完善方法基于单级分类器（OCCS）的集合，每个分类器均经过培训的训练数据子集。随着数据改进的改进，通过自我监督学习学到的表示的表示。我们在具有图像和表格数据的各种无监督的AD任务上演示了我们的方法。 CIFAR-10图像数据的异常比率为10％ /甲状腺表格数据的2.5％异常比率，该方法的表现优于最先进的单级分类器，高于6.3 AUC和12.5平均精度 / 22.9 F1评分。 。

In this work, we connect two distinct concepts for unsupervised domain adaptation: feature distribution alignment between domains by utilizing the task-specific decision boundary [58] and the Wasserstein metric [73]. Our proposed sliced Wasserstein discrepancy (SWD) is designed to capture the natural notion of dissimilarity between the outputs of task-specific classifiers. It provides a geometrically meaningful guidance to detect target samples that are far from the support of the source and enables efficient distribution alignment in an end-to-end trainable fashion. In the experiments, we validate the effectiveness and genericness of our method on digit and sign recognition, image classification, semantic segmentation, and object detection.

Deep multitask networks, in which one neural network produces multiple predictive outputs, can offer better speed and performance than their single-task counterparts but are challenging to train properly. We present a gradient normalization (GradNorm) algorithm that automatically balances training in deep multitask models by dynamically tuning gradient magnitudes. We show that for various network architectures, for both regression and classification tasks, and on both synthetic and real datasets, GradNorm improves accuracy and reduces overfitting across multiple tasks when compared to single-task networks, static baselines, and other adaptive multitask loss balancing techniques. GradNorm also matches or surpasses the performance of exhaustive grid search methods, despite only involving a single asymmetry hyperparameter α. Thus, what was once a tedious search process that incurred exponentially more compute for each task added can now be accomplished within a few training runs, irrespective of the number of tasks. Ultimately, we will demonstrate that gradient manipulation affords us great control over the training dynamics of multitask networks and may be one of the keys to unlocking the potential of multitask learning.

大规模的机器学习系统通常涉及分布在用户集合中的数据。联合学习算法通过将模型更新传达给中央服务器而不是整个数据集来利用此结构。在本文中，我们研究了一个个性化联合学习设置的随机优化算法，涉及符合用户级别（联合）差异隐私的本地和全球模型。在学习私人全球模型的同时，促进了隐私成本，但本地学习是完全私人的。我们提供概括保证，表明与私人集中学习协调本地学习可以产生一种普遍有用和改进的精度和隐私之间的权衡。我们通过有关合成和现实世界数据集的实验来说明我们的理论结果。

我们研究了马尔可夫潜在游戏（MPG）中多机构增强学习（RL）问题的策略梯度方法的全球非反应收敛属性。要学习MPG的NASH平衡，在该MPG中，状态空间的大小和/或玩家数量可能非常大，我们建议使用TANDEM所有玩家运行的新的独立政策梯度算法。当梯度评估中没有不确定性时，我们表明我们的算法找到了$ \ epsilon $ -NASH平衡，$ o（1/\ epsilon^2）$迭代复杂性并不明确取决于状态空间大小。如果没有确切的梯度，我们建立$ O（1/\ epsilon^5）$样品复杂度在潜在的无限大型状态空间中，用于利用函数近似的基于样本的算法。此外，我们确定了一类独立的政策梯度算法，这些算法都可以融合零和马尔可夫游戏和马尔可夫合作游戏，并与玩家不喜欢玩的游戏类型。最后，我们提供了计算实验来证实理论发展的优点和有效性。

由于信息不对称，多智能经纪增强学习（Marl）问题是挑战。为了克服这一挑战，现有方法通常需要代理商之间的高度协调或沟通。我们考虑具有在应用中产生的分层信息结构的两个代理多武装匪徒（MAB）和MARKOV决策过程（MDP），我们利用不需要协调或通信的更简单和更高效的算法。在结构中，在每个步骤中，“领导者”首先选择她的行动，然后“追随者”在观察领导者的行动后，“追随者”决定他的行动。这两个代理观察了相同的奖励（以及MDP设置中的相同状态转换），这取决于其联合行动。对于强盗设置，我们提出了一种分层匪盗算法，实现了$ \ widetilde {\ mathcal {o}}（\ sqrt {abt}）$和近最佳差距依赖的近乎最佳的差距遗憾$ \ mathcal {o}（\ log（t））$，其中$ a $和$ b $分别是领导者和追随者的行动数，$ t $是步数。我们进一步延伸到多个追随者的情况，并且具有深层层次结构的情况，在那里我们都获得了近乎最佳的遗憾范围。对于MDP设置，我们获得$ \ widetilde {\ mathcal {o}}（\ sqrt {h ^ 7s ^ 2abt}）$后悔，其中$ h $是每集的步骤数，$ s $是数量各国，$ T $是剧集的数量。这与$ a，b $和$ t $的现有下限匹配。