网络修剪是一种广泛使用的压缩技术，能够以最小的准确性损失显着缩小过度参数化模型。本文表明，修剪可能会产生或加剧不同的影响。该论文阐明了导致这种差异的因素，表明梯度规范的差异以及跨组的决策边界的距离造成了这一关键问题。它详细分析了这些因素，提供了理论和经验支持，并提出了一种简单而有效的解决方案，可以减轻修剪造成的不同影响。

自然语言处理（NLP）技术可以使用人的话语来帮助诊断诸如抑郁症之类的医疗状况。抑郁症是一种严重的医学疾病，可能会对人们的感觉，思维和行为产生不利影响，这可能导致情绪和身体上的问题。由于此类数据的敏感性，需要采取隐私措施来使用此类数据处理和培训模型。在这项工作中，我们研究了差异隐私（DP）在集中式学习和联合学习（FL）设置中对培训上下文化语言模型（Bert，Albert，Roberta和Distilbert）的影响。我们提供有关如何私下培训NLP模型以及哪些架构和设置提供更理想的隐私公用事业权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究，以使病史保持私密。因此，我们提供了这项工作的开源实施。

Multi-Task Learning (MTL) has shown its importance at user products for fast training, data efficiency, reduced overfitting etc. MTL achieves it by sharing the network parameters and training a network for multiple tasks simultaneously. However, MTL does not provide the solution, if each task needs training from a different dataset. In order to solve the stated problem, we have proposed an architecture named TreeDNN along with it's training methodology. TreeDNN helps in training the model with multiple datasets simultaneously, where each branch of the tree may need a different training dataset. We have shown in the results that TreeDNN provides competitive performance with the advantage of reduced ROM requirement for parameter storage and increased responsiveness of the system by loading only specific branch at inference time.

我们在本文中解决了增量无监督域适应（IDA）的新问题。我们假设标记的源域和不同的未标记的目标域通过约束逐步观察到与当前域的数据仅一次可用。目标是为当前域概括为所有过去域的准确性。 IDA设置因域之间的突然差异以及包括源域内的过去数据的不可用。受到生成功能重放的概念的启发，我们提出了一种名为特征重放的增量域适应（Frida）的新颖框架，它利用了一个名为域 - 通用辅助分类GaN（DGAC-GaN）的新的增量生成对抗性网络（GAN）来生产域明确的特征表示无缝。对于域对齐，我们提出了一种简单的扩展名为Dann-Ib的流行域对抗神经网络（Dann），鼓励歧视域 - 不变和任务相关的特征学习。 Office-Home，Office-Caltech和Domainnet数据集的实验结果证实，FIDA维护了卓越的稳定性可塑性权衡，而不是文献。

NLP中最新的工作利用深度学习，这需要大量的培训数据和计算能力。本文研究了遗传算法（气体）的提取摘要，因为我们假设气体可以为摘要任务构建更有效的解决方案，因为它们相对于深度学习模型相对定制。这是通过构建词汇集来完成的，其中的单词表示为权重阵列，并用GA优化那些权重集合。这些权重可用于构建句子的总加权，然后可以传递到一些阈值进行提取。我们的研究结果表明，GA能够学习一个体重表示，这可能会过滤出过度的词汇，从而根据常见的英语单词决定句子重要性。