近年来，语言模型已在各种自然语言处理任务上实现了最先进的表现。随着这些模型的尺寸不断增长，探索方法使其更有效的方法变得越来越重要。同时，它们的增强认知能力增加了模型权重中隐式编码数据集中存在的社会偏见的危险。我们提出了一种架构，该体系结构同时使用两种技术来处理这两个挑战：差异和对抗性培训。结果是一个模块化体系结构，该体系结构将原始的差异设置扩展到使用，并将其他稀疏子网应用于掩盖，以减少推理时预定义的受保护属性的效果。

Recent works on Lottery Ticket Hypothesis have shown that pre-trained language models (PLMs) contain smaller matching subnetworks(winning tickets) which are capable of reaching accuracy comparable to the original models. However, these tickets are proved to be notrobust to adversarial examples, and even worse than their PLM counterparts. To address this problem, we propose a novel method based on learning binary weight masks to identify robust tickets hidden in the original PLMs. Since the loss is not differentiable for the binary mask, we assign the hard concrete distribution to the masks and encourage their sparsity using a smoothing approximation of L0 regularization.Furthermore, we design an adversarial loss objective to guide the search for robust tickets and ensure that the tickets perform well bothin accuracy and robustness. Experimental results show the significant improvement of the proposed method over previous work on adversarial robustness evaluation.

在基于典型的深度神经网络训练期间，所有模型的参数都在每次迭代时更新。最近的工作表明，在训练期间只能更新模型参数的小型子集，这可以减轻存储和通信要求。在本文中，我们表明，可以在模型的参数上诱导一个固定的稀疏掩码，该屏蔽选择要在许多迭代中更新的子集。我们的方法用最大的Fisher信息构造出k $参数的掩码，作为一个简单的近似，与手头的任务最重要的近似值。在参数高效转移学习和分布式培训的实验中，我们表明我们的方法与其他方法的性能相匹配或超出稀疏更新的其他方法的性能，同时在内存使用和通信成本方面更有效。我们公开发布我们的代码，以促进我们的方法的进一步应用。

Covid-19的早期检测是一个持续的研究领域，可以帮助潜在患者的潜在患者进行分类，监测和一般健康评估，并可能降低应对冠状病毒大流行病的医院的运营压力。在文献中使用了不同的机器学习技术，用于使用常规临床数据（血液测试和生命体征）来检测冠状病毒。使用这些型号时，数据漏洞和信息泄漏可以带来声誉损害并导致医院的法律问题。尽管如此，保护避免潜在敏感信息泄漏的医疗保健模型是一个被人吸引人的研究区。在这项工作中，我们检查了两种机器学习方法，旨在预测使用常规收集和易于使用的临床数据的患者的Covid-19状态。我们雇用对抗性培训来探索强大的深度学习架构，保护与有关患者的人口统计信息相关的属性。我们在这项工作中检查的两种模型旨在保持对抗对抗攻击和信息泄漏的敏感信息。在一系列使用来自牛津大学医院的数据集，Bedfordshire医院NHS Foundation Trust，大学医院伯明翰NHS基金会信托，而朴茨茅斯医院大学NHS信任我们训练并测试两个神经网络，以使用来自基本实验室血液的信息预测PCR测试结果的神经网络对患者到达医院的测试和生命体征。我们评估其每个模型的隐私水平可以提供和展示我们提出的架构对可比基线的效力和稳健性。我们的主要贡献之一是，我们专门针对具有内置机制的有效Covid-19检测模型的开发，以便选择性地保护对抗对抗攻击的敏感属性。

Adversarial training is one of the most powerful methods to improve the robustness of pre-trained language models (PLMs). However, this approach is typically more expensive than traditional fine-tuning because of the necessity to generate adversarial examples via gradient descent. Delving into the optimization process of adversarial training, we find that robust connectivity patterns emerge in the early training phase (typically $0.15\sim0.3$ epochs), far before parameters converge. Inspired by this finding, we dig out robust early-bird tickets (i.e., subnetworks) to develop an efficient adversarial training method: (1) searching for robust tickets with structured sparsity in the early stage; (2) fine-tuning robust tickets in the remaining time. To extract the robust tickets as early as possible, we design a ticket convergence metric to automatically terminate the searching process. Experiments show that the proposed efficient adversarial training method can achieve up to $7\times \sim 13 \times$ training speedups while maintaining comparable or even better robustness compared to the most competitive state-of-the-art adversarial training methods.

我们介绍了BitFit，这是一种稀疏的重点方法，其中仅修改了模型的偏差（或其中一个子集）。我们表明，通过在预训练的BERT模型上应用BITFIT的小型至中等训练数据具有竞争力（有时比）对整个模型进行微调。对于较大的数据，该方法与其他稀疏微调方法具有竞争力。除了它们的实际实用性外，这些发现与理解常用的填补过程的问题有关：它们支持以下假设：填充主要是关于揭示通过语言模型培训引起的知识，而不是学习新的任务特定的语言知识。

巨大的预训练模型已成为自然语言处理（NLP）的核心，它是针对一系列下游任务进行微调的起点。然而，此范式的两个疼痛点持续：（a）随着预训练的模型的增长越大（例如，GPT-3的175b参数），即使是微调过程也可能是耗时的，并且计算昂贵； （b）默认情况下，微调模型的大小与起点相同，由于其更专业的功能，这既不明智，也不是实际的，因为许多微调模型将部署在资源受限的环境中。为了解决这些疼痛点，我们通过在重量更新和最终模型权重中利用稀疏性来提出一个用于资源和参数有效的微调的框架。我们提出的框架被称为双重稀疏性的有效调整（DSEE），旨在实现两个关键目标：（i）参数有效的微调 - 通过在预训练的权重的顶部强制实施稀疏性的低级更新； （ii）资源有效的推论 - 通过鼓励对最终微调模型的稀疏重量结构。我们通过统一的方法在预训练的语言模型中利用非结构化和结构化的稀疏模式来利用这两个方向的稀疏性。广泛的实验和深入研究，对数十个数据集进行了不同的网络骨干（即Bert，Roberta和GPT-2），始终显示出令人印象深刻的参数 - /推理效率，同时保持竞争性下游性能。例如，DSEE在达到可比性能的同时节省了约25％的推理拖失lo，在BERT上具有0.5％的可训练参数。代码可在https://github.com/vita-group/dsee中找到。

具有数百万参数的基于变压器的预训练模型需要大量存储。最近的方法通过培训适配器解决了这一缺点，但是这些方法仍然需要相对较大的参数。在这项研究中，提出了一种令人惊讶的简单但有效的适配器体系结构的Adapterbias。AdapterBias向变压器层的隐藏输出添加了代币依赖性转移，以适应仅使用向量和线性层的下游任务。进行了广泛的实验，以证明适配性的有效性。实验表明，与先前的作品相比，我们提出的方法可以大大减少可训练的参数，而任务性能与微调的预训练模型相比最小。我们进一步发现，适应性比亚斯自动学习以将更重要的表示形式分配给与任务相关的代币转移。

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

训练有素的神经网络的性能至关重要。加上深度学习模型的不断增长的规模，这种观察激发了对学习稀疏模型的广泛研究。在这项工作中，我们专注于控制稀疏学习时的稀疏水平的任务。基于稀疏性惩罚的现有方法涉及对罚款因素的昂贵反复试验调整，因此缺乏直接控制所得模型的稀疏性。作为响应，我们采用了一个约束的公式：使用Louizos等人提出的栅极机制。 （2018年），我们制定了一个受约束的优化问题，其中稀疏以训练目标和所需的稀疏目标以端到端的方式指导。使用WIDERESNET和RESNET {18，50}模型进行了CIFAR-10/100，Tinyimagenet和ImageNet的实验验证了我们的提案的有效性，并证明我们可以可靠地实现预定的稀疏目标，而不会损害预测性能。

最近在各种领域中采用了关于下游任务的大型预训练模型。但是，更新大型预训练模型的整个参数集是昂贵的。尽管最近提出的参数效率转移学习（PETL）技术允许在预先训练的骨干网络内更新一小部分参数（例如，仅使用2％的参数）用于新任务，但它们只能通过最多减少训练记忆要求30％。这是因为可训练参数的梯度计算仍然需要通过大型预训练的骨干模型反向传播。为了解决这个问题，我们提出了梯子侧调（LST），这是一种新的PETL技术，可将训练记忆要求减少更多。与现有的参数效率方法不同，将其他参数插入骨干网络中，我们训练梯子侧网络，梯子侧网络是一个小而独立的网络，将中间激活作为通过快速连接（梯子）从骨干网络中获得的输入作为输入，并进行预测。 LST的内存要求明显低于以前的方法，因为它不需要通过骨干网络反向传播，而是仅通过侧网和梯子连接。我们使用NLP（胶）和视觉语言（VQA，GQA，NLVR2，MSCOCO）任务上的各种模型（T5，CLIP-T5）进行评估。 LST节省了69％的内存成本来微调整个网络，而其他方法仅将其中的26％保存在相似的参数使用中（因此，更多的内存节省了2.7倍）。此外，LST在低内存状态下的适配器和洛拉的精度高。为了进一步显示这种更好的记忆效率的优势，我们还将LST应用于较大的T5型号（T5-Large，T5-3B），比完整的微调和其他PETL方法获得更好的胶水性能。我们对VL任务的实验也完全相同。

协作过滤算法捕获了基本的消费模式，包括特定的特定人口统计信息或用户的受保护信息，例如性别，种族和位置。这些编码的偏见可以影响推荐系统（RS）的决策，以进一步分离提供给各种人口统计亚组的内容，并提出有关披露用户受保护属性的隐私问题。在这项工作中，我们研究了从RS算法的学习交互表示中删除用户特定保护信息的可能性和挑战，同时保持其有效性。具体而言，我们将对抗性训练纳入最先进的多体架构中，从而产生了一种新颖的模型，具有多项式可能性（Adv-Multvae）的对抗性变异自动编码器（Adv-Multvae），旨在消除在保存受保护属性的隐含信息的同时建议性能。我们对Movielens-1M和LFM-2B - demobias数据集进行了实验，并根据外部攻击者无法揭示模型中用户的性别信息来评估偏差缓解方法的有效性。与基线多腔相比，结果表明，adv-multvae的性能边缘恶化（W.R.T. NDCG和召回），在两个数据集中都大大减轻了模型中固有的偏见。

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

语言模型偏见已成为NLP社区的重要研究领域。提出了许多偏见技术，但偏见消融仍然是一个未解决的问题。我们展示了一个新颖的框架，用于通过运动修剪来检查预训练的基于变压器的语言模型的偏见。给定模型和一个偏见的目标，我们的框架找到了与原始模型相比，偏差少的模型子集。我们通过对模型进行修剪来实现我们的框架，同时将其按照歧义目标进行微调。优化仅是修剪分数 - 参数以及模型的权重，该参数充当门。我们尝试修剪注意力头，这是变形金刚的重要组成部分：我们修剪正方形块，并建立了一种修剪整个头部的新方法。最后，我们使用性别偏见证明了我们的框架的用法，并且根据我们的发现，我们提出了对现有辩论方法的改进。此外，我们重新发现了偏见 - 绩效权衡：模型执行越好，其包含的偏见就越多。

通过机器学习模型学到的文本表示通常编码用户的不良人口统计信息。基于这些表示形式的预测模型可以依靠此类信息，从而产生偏见的决策。我们提出了一种新颖的偏见技术，即公平意识的速率最大化（农场），该技术使用速率依赖函数来消除受保护的信息，以表示属于相同受保护的属性类别的实例不相关。Farm能够在有或没有目标任务的情况下进行辩论式表示。还可以适应农场同时删除有关多个受保护属性的信息。经验评估表明，Farm在几个数据集上实现了最新的性能，并且学会的表示形式泄漏了受保护的属性信息明显减少，以防止非线性探测网络攻击。

在NLP社区中有一个正在进行的辩论，无论现代语言模型是否包含语言知识，通过所谓的探针恢复。在本文中，我们研究了语言知识是否是现代语言模型良好表现的必要条件，我们称之为\ Texit {重新发现假设}。首先，我们展示了语言模型，这是显着压缩的，但在预先磨普目标上表现良好，以便在语言结构探讨时保持良好的分数。这一结果支持重新发现的假设，并导致我们的论文的第二款贡献：一个信息 - 理论框架，与语言建模目标相关。该框架还提供了测量语言信息对字词预测任务的影响的度量标准。我们通过英语综合和真正的NLP任务加固我们的分析结果。

大型审慎的语言模型（PLM）通常是通过微调或提示来适应域或任务的。填充需要修改所有参数，并具有足够的数据以避免过度拟合，同时提示不需要培训，也不需要示例，而是限制性能。取而代之的是，我们通过学习学习一般和适应性PLM之间的差异来为数据和参数有效适应。通过我们提出的动态低级别重新聚体和学识渊博的体系结构控制器，通过模型权重和子层结构来表示这种差异。实验对话完成，低资源抽象摘要以及多域语言建模的实验显示了通过域自适应预处理进行适应时间和性能的改善。消融表明我们的任务自适应重新聚体化（TARP）和模型搜索（TAMS）组件分别改进了其他参数效率转移（如适配器和结构学习方法），例如学习的稀疏。

深度学习有很多兴趣解决了在现实世界环境中应用神经网络模型的挑战。特别是，三个领域得到了相当大的关注：对抗性鲁棒性，参数稀疏性和输出稳定性。尽管有许多独立解决这些问题的尝试，但很少有效地解决了挑战。在本文中，我们通过提出组合解决这些问题的新型制定来解决构建整体深层学习模型的这个问题。关于表格和MNIST数据集的现实世界实验表明，我们的配方能够同时提高传统深度学习模型的准确性，鲁棒性，稳定性和稀疏性。

基于变压器的语言模型应用于自然语言处理的广泛应用程序。但是，它们效率低，难以部署。近年来，已经提出了许多压缩算法来提高目标硬件上大型变压器的模型的实现效率。在这项工作中，我们通过整合体重修剪和模型蒸馏来提出一种训练稀疏预训练的变压器语言模型的新方法。这些稀疏的预训练型号可用于在维护稀疏模式的同时传输广泛的任务。我们展示了我们有三个已知的架构的方法，以创建稀疏的预训练伯特基，BERT-MAT​​RY和DISTOLBERT。我们展示了压缩稀疏的预训练模型如何培训他们的知识，以最小的精度损失将他们的知识转移到五种不同的下游自然语言任务。此外，我们展示了如何使用量化感知培训进一步将稀疏模型的重量压缩为8位精度。例如，在SQUAdv1.1上使用我们稀疏预训练的BERT频率，并量化为8位，我们为编码器达到40美元的压缩比，而不是1 \％$精度损失。据我们所知，我们的结果表明Bert-Base，Bert-Light和Distilbert的最佳压缩至准确率。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.