Pareto Front Learning (PFL) was recently introduced as an effective approach to obtain a mapping function from a given trade-off vector to a solution on the Pareto front, which solves the multi-objective optimization (MOO) problem. Due to the inherent trade-off between conflicting objectives, PFL offers a flexible approach in many scenarios in which the decision makers can not specify the preference of one Pareto solution over another, and must switch between them depending on the situation. However, existing PFL methods ignore the relationship between the solutions during the optimization process, which hinders the quality of the obtained front. To overcome this issue, we propose a novel PFL framework namely \ourmodel, which employs a hypernetwork to generate multiple solutions from a set of diverse trade-off preferences and enhance the quality of the Pareto front by maximizing the Hypervolume indicator defined by these solutions. The experimental results on several MOO machine learning tasks show that the proposed framework significantly outperforms the baselines in producing the trade-off Pareto front.

无数据知识蒸馏（DFKD）最近引起了人们的关注，这要归功于其在不使用培训数据的情况下将知识从教师网络转移到学生网络的吸引力。主要思想是使用发电机合成数据以培训学生。随着发电机的更新，合成数据的分布将发生变化。如果发电机和学生接受对手的训练，使学生忘记了先前一步获得的知识，则这种分配转换可能会很大。为了减轻这个问题，我们提出了一种简单而有效的方法，称为动量对抗蒸馏（MAD），该方法维持了发电机的指数移动平均值（EMA）副本，并使用发电机和EMA生成器的合成样品来培训学生。由于EMA发电机可以被视为发电机旧版本的合奏，并且与发电机相比，更新的更改通常会发生较小的变化，因此对其合成样本进行培训可以帮助学生回顾过去的知识，并防止学生适应太快的速度发电机的新更新。我们在六个基准数据集上进行的实验，包括ImageNet和Place365，表明MAD的性能优于竞争方法来处理大型分配转移问题。我们的方法还与现有的DFKD方法相比，甚至在某些情况下达到了最新的方法。

引入了模型对帐问题（MRP），以解决可解释的AI计划中的问题。 MRP的解决方案是对人与计划代理（机器人）模型之间差异的解释。解决MRP的大多数方法都认为，需要提供解释的机器人知道人类模型。在几种情况下，这个假设并不总是现实的（例如，人可能会决定更新她的模型，并且机器人不知道更新）。在本文中，我们提出了一种基于对话的方法，用于计算MRP的解释，即（i）机器人不知道人类模型； （ii）人类和机器人共享计划域的谓词及其交换是关于行动描述和流利的价值； （iii）双方之间的沟通是完美的； （iv）各方是真实的。 MRP解决方案是通过对话框计算的，该对话框定义为机器人和人之间的一系列交换序列。在每回合中，机器人向人类发送了一个潜在的解释，称为提案，她对提案的评估回答称为回应。我们开发了用于计算机器人和人类响应的算法，并将这些算法实现在将命令式手段与使用Clingo的多拍功能的答案集编程相结合的系统中。

特洛伊木马对深度神经网络的攻击既危险又秘密。在过去的几年中，特洛伊木马的攻击从仅使用单个输入 - 不知不线的触发器和仅针对一个类别使用多个输入特异性触发器和定位多个类的类别。但是，特洛伊木马的防御尚未赶上这一发展。大多数防御方法仍然使对特洛伊木马触发器和目标类别的假设不足，因此，现代特洛伊木马的攻击很容易被规避。为了解决这个问题，我们提出了两种新颖的“过滤”防御措施，称为变分输入过滤（VIF）和对抗输入过滤（AIF），它们分别利用有损数据压缩和对抗性学习，以有效地纯化潜在的Trojan触发器，而无需在运行时间内触发潜在的Trojan触发器。对触发器/目标类的数量或触发器的输入依赖性属性做出假设。此外，我们还引入了一种称为“过滤 - 对抗性”（FTC）的新防御机制，该机制有助于避免通过“过滤”引起的清洁数据的分类准确性下降，并将其与VIF/AIF结合起来，从种类。广泛的实验结果和消融研究表明，我们提议的防御能力在减轻五次高级特洛伊木马攻击方面显着优于众所周知的基线防御能力，包括最近的两次最新一次，同时对少量训练数据和大型触发器非常强大。

虽然深度神经网络在分类任务方面取得了很大的表现，但最近的研究表明，训练有素的网络可以通过添加微妙的噪音来欺骗。本文介绍了一种新方法，通过将恢复过程应用于自然训练的分类器的顶部来提高神经网络鲁棒性。在这种方法中，图像将被一些重要操作员故意破坏，然后在通过分类器之前恢复。Sargan - 生成对抗网络（GaN）的延伸能够去噪雷达信号。本文将显示Sargan还可以通过去除对抗效应来恢复损坏的图像。我们的结果表明，这种方法确实提高了自然培训的网络的性能。

由于标记数据稀缺，提高概括是音频分类中的主要挑战。自我监督的学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用功能来解决这一点。在这项工作中，我们提出了一个增强的对比SSL框架，以从未标记数据学习不变的表示。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学学习，以便在这种扰动中学习鲁棒性。Audioset和Desed数据集上的实验结果表明，我们的框架显着优于最先进的SSL和Sound / Event分类任务的监督学习方法。

无监督的零射声语音转换（VC）旨在修改话语的扬声器特性，以匹配看不见的目标扬声器，而无需依赖并行培训数据。最近，已经显示了语音表示的自我监督学习在不使用转录物的情况下产生有用的语言单元，这可以直接传递给VC模型。在本文中，我们展示了通过使用长度重采样解码器来实现高质量的音频样本，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而无需它们以相同的序列长度运行。我们表明，我们的方法可以胜过VCTK数据集的许多基线。在不修改架构的情况下，我们进一步展示了a）使用来自同一扬声器的不同音频段，b）添加循环一致性损失，并且c）添加扬声器分类损失可以有助于学习更好的扬声器嵌入。我们的模型使用这些技术训练了Libritts，实现了最佳性能，产生了音频样本对目标扬声器的声音，同时保留了在字符错误率方面与实际人类话语相当的语言内容。

高级深度学习（DL）算法可以预测患者基于乳房成像报告和数据系统（BI-RAD）和密度标准的患者发育乳腺癌的风险。最近的研究表明，多视图分析的结合改善了整体乳房考试分类。在本文中，我们提出了一种新的多视图DL方法，用于乳房X线照片的Bi-RAD和密度评估。所提出的方法首先部署深度卷积网络，用于分别对每个视图进行特征提取。然后将提取的特征堆叠并馈入光梯度升压机（LightGBM）分类器中以预测Bi-RAD和密度分数。我们对内部乳房数据集和公共数据集数字数据库进行广泛的实验，用于筛选乳房X线摄影（DDSM）。实验结果表明，所提出的方法在两个基准数据集中突出了巨大的边距（内部数据集5％，DDSM数据集10％）优于两个基准分类方法。这些结果突出了组合多视图信息来改善乳腺癌风险预测性能的重要作用。

多头注意力是最先进的变压器背后的推动力，它在各种自然语言处理（NLP）和计算机视觉任务中实现了出色的性能。已经观察到，对于许多应用，这些注意力头会学习冗余嵌入，并且大多数可以在不降低模型性能的情况下去除。受到这一观察的启发，我们提出了变压器的混合物（变压器-MGK）的混合物，这是一种新型的变压器架构，用每个头部的钥匙混合了变压器中的冗余头部。这些键的混合物遵循高斯混合模型，并使每个注意力头有效地集中在输入序列的不同部分上。与传统的变压器对应物相比，变压器-MGK会加速训练和推理，具有较少的参数，并且需要更少的拖船来计算，同时实现跨任务的可比性或更高的准确性。 Transformer-MGK也可以轻松扩展到线性注意力。我们从经验上证明了在一系列实用应用中变形金属MGK的优势，包括语言建模和涉及非常长序列的任务。在Wikitext-103和远程竞技场基准中，具有4个头部的变压器MGK具有与基线变压器具有8个头的可比性或更好的性能。

Federated learning (FL) is a decentralized and privacy-preserving machine learning technique in which a group of clients collaborate with a server to learn a global model without sharing clients' data. One challenge associated with FL is statistical diversity among clients, which restricts the global model from delivering good performance on each client's task. To address this, we propose an algorithm for personalized FL (pFedMe) using Moreau envelopes as clients' regularized loss functions, which help decouple personalized model optimization from the global model learning in a bi-level problem stylized for personalized FL. Theoretically, we show that pFedMe's convergence rate is state-of-the-art: achieving quadratic speedup for strongly convex and sublinear speedup of order 2/3 for smooth nonconvex objectives. Experimentally, we verify that pFedMe excels at empirical performance compared with the vanilla FedAvg and Per-FedAvg, a meta-learning based personalized FL algorithm.