由于计算机软件的普遍性，软件漏洞（SVS）已成为普遍，严重和至关重要的问题。已经提出了许多基于机器学习的方法来解决软件漏洞检测（SVD）问题。但是，关于SVD仍然存在两个开放和重大问题，就i）学习自动表示以提高SVD的预测性能，ii）解决常规需要专家的标签漏洞数据集的稀缺性数据集。在本文中，我们提出了一种新颖的端到端方法来解决这两个关键问题。我们首先利用自动表示学习，并具有深层域的适应性，以进行软件漏洞检测。然后，我们提出了一个新型的跨域内核分类器，利用最大额度额定原则，以显着改善从标记项目到未标记的项目的软件漏洞的传输学习过程。现实世界软件数据集的实验结果表明，我们提出的方法优于最先进的基准。简而言之，与使用数据集中的第二高方法相比，我们的方法在SVD中获得了更高的F1量化性能，这是SVD中最重要的度量，从1.83％到6.25％。我们已发布的源代码样本可在https://github.com/vannguyennd/dam2p上公开获取

计算机系统的程序或功能中存在的软件漏洞是一个严重且至关重要的问题。通常，在由数百或数千个源代码语句组成的程序或功能中，只有很少的语句引起相应的漏洞。当前，在机器学习工具的协助下，专家在功能或程序级别上进行了脆弱性标签。将这种方法扩展到代码语句级别的成本更高和耗时，并且仍然是一个开放的问题。在本文中，我们提出了一种新颖的端到端深度学习方法，以识别与特定功能相关的脆弱性代码语句。受到现实世界中脆弱代码中观察到的特定结构的启发，我们首先利用相互信息来学习一组潜在变量，代表源代码语句与相应函数的漏洞的相关性。然后，我们提出了新颖的群集空间对比学习，以进一步改善与脆弱性相关的代码语句的强大选择过程。 200K+ C/C ++功能的实际数据集的实验结果表明，我们方法的优越性比其他最先进的基线相比。通常，我们的方法在无需监督的环境中在现实世界数据集上运行时，在Baselines上，VCP，VCA和TOP-10 ACC测量的较高性能在3 \％至14 \％之间。我们已发布的源代码样本可在\ href {https://github.com/vannguyennd/livuitcl} {https://github.com/vannguyennd/livuitcl。} {

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WD-GRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

虽然无监督的域适应（UDA）算法，即，近年来只有来自源域的标记数据，大多数算法和理论结果侧重于单源无监督域适应（SUDA）。然而，在实际情况下，标记的数据通常可以从多个不同的源收集，并且它们可能不仅不同于目标域而且彼此不同。因此，来自多个源的域适配器不应以相同的方式进行建模。最近基于深度学习的多源无监督域适应（Muda）算法专注于通过在通用特征空间中的所有源极和目标域的分布对齐来提取所有域的公共域不变表示。但是，往往很难提取Muda中所有域的相同域不变表示。此外，这些方法匹配分布而不考虑类之间的域特定的决策边界。为了解决这些问题，我们提出了一个新的框架，具有两个对准阶段的Muda，它不仅将每对源和目标域的分布对齐，而且还通过利用域特定的分类器的输出对准决策边界。广泛的实验表明，我们的方法可以对图像分类的流行基准数据集实现显着的结果。

半监督域适应（SSDA）是一种具有挑战性的问题，需要克服1）以朝向域的较差的数据和2）分布换档的方法。不幸的是，由于培训数据偏差朝标标样本训练，域适应（DA）和半监督学习（SSL）方法的简单组合通常无法解决这两个目的。在本文中，我们介绍了一种自适应结构学习方法，以规范SSL和DA的合作。灵感来自多视图学习，我们建议的框架由共享特征编码器网络和两个分类器网络组成，用于涉及矛盾的目的。其中，其中一个分类器被应用于组目标特征以提高级别的密度，扩大了鲁棒代表学习的分类集群的间隙。同时，其他分类器作为符号器，试图散射源功能以增强决策边界的平滑度。目标聚类和源扩展的迭代使目标特征成为相应源点的扩张边界内的封闭良好。对于跨域特征对齐和部分标记的数据学习的联合地址，我们应用最大平均差异（MMD）距离最小化和自培训（ST）将矛盾结构投影成共享视图以进行可靠的最终决定。对标准SSDA基准的实验结果包括Domainnet和Office-Home，展示了我们对最先进的方法的方法的准确性和稳健性。

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

The recent success of deep neural networks relies on massive amounts of labeled data. For a target task where labeled data is unavailable, domain adaptation can transfer a learner from a different source domain. In this paper, we propose a new approach to domain adaptation in deep networks that can jointly learn adaptive classifiers and transferable features from labeled data in the source domain and unlabeled data in the target domain. We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function. We enable classifier adaptation by plugging several layers into deep network to explicitly learn the residual function with reference to the target classifier. We fuse features of multiple layers with tensor product and embed them into reproducing kernel Hilbert spaces to match distributions for feature adaptation. The adaptation can be achieved in most feed-forward models by extending them with new residual layers and loss functions, which can be trained efficiently via back-propagation. Empirical evidence shows that the new approach outperforms state of the art methods on standard domain adaptation benchmarks.

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

无监督域适应（UDA）已成功解决了可视应用程序的域移位问题。然而，由于以下原因，这些方法可能对时间序列数据的性能有限。首先，它们主要依赖于用于源预制的大规模数据集（即，ImageNet），这不适用于时间序列数据。其次，它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后，最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制，我们提出了一个自我监督的自回归域适应（Slarda）框架。特别是，我们首先设计一个自我监督的学习模块，它利用预测作为辅助任务以提高源特征的可转换性。其次，我们提出了一种新的自回归域自适应技术，其包括在域对齐期间源和目标特征的时间依赖性。最后，我们开发了一个集合教师模型，通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验，具有30个跨域方案。结果表明，我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。

Recent studies reveal that a deep neural network can learn transferable features which generalize well to novel tasks for domain adaptation. However, as deep features eventually transition from general to specific along the network, the feature transferability drops significantly in higher layers with increasing domain discrepancy. Hence, it is important to formally reduce the dataset bias and enhance the transferability in task-specific layers. In this paper, we propose a new Deep Adaptation Network (DAN) architecture, which generalizes deep convolutional neural network to the domain adaptation scenario. In DAN, hidden representations of all task-specific layers are embedded in a reproducing kernel Hilbert space where the mean embeddings of different domain distributions can be explicitly matched. The domain discrepancy is further reduced using an optimal multi-kernel selection method for mean embedding matching. DAN can learn transferable features with statistical guarantees, and can scale linearly by unbiased estimate of kernel embedding. Extensive empirical evidence shows that the proposed architecture yields state-of-the-art image classification error rates on standard domain adaptation benchmarks.

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

现有域适应（DA）算法训练目标模型，然后使用目标模型对目标数据集中的所有样本进行分类。虽然这种方法试图解决源和目标数据来自不同分布的问题，但它无法认识到目标域内的可能性，某些样本比目标域更接近源域的分布领域。在本文中，我们开发了一种新颖的DA算法，即强制转移，该算法涉及这种情况。解决这一难题的一个直接但有效的想法是，使用分布外检测算法来决定在测试阶段，给定样品是否更接近源域，目标域或两者都不接近。在第一种情况下，该样本将提供给对源样本培训的机器学习分类器。在第二种情况下，该样本将提供给对目标样本训练的机器学习分类器。在第三种情况下，该样本被丢弃，因为既不是在源训练的ML模型，也不是在目标上训练的ML模型不适合对其进行分类。众所周知，神经网络中的前几个层提取了低级特征，因此可以从三种不同情况下对样品进行分类，以在三种不同情况下经验确定的层后进行样品的激活分类。强制转移实现了这个想法。在三种类型的DA任务上，我们优于与之相比的最新算法。

大量的现实数据可以由大规模网络自然表示，该网络需要高效有效的学习算法。同时，标签可能仅适用于某些网络，这要求这些算法能够适应未标记的网络。域自适应哈希学习在许多实际任务中在计算机视觉社区中取得了巨大的成功，因为在检索时间和存储足迹中的成本较低。但是，它尚未应用于多域网络。在这项工作中，我们通过为网络（称为Udah）开发无监督的域自适应哈希学习方法来弥合这一差距。具体而言，我们开发了四个{特定于任务但相关的}组件：（1）通过硬组对比损失进行网络结构保存，（2）无放松的监督哈希，（3）跨域相交的歧视者和（4）语义中心对齐。我们进行了广泛的实验，以评估我们方法对包括链接预测，节点分类和邻居建议在内的一系列任务的有效性和效率。我们的评估结果表明，我们的模型比所有任务上最先进的常规离散嵌入方法的性能更好。

Current domain adaptation methods for face anti-spoofing leverage labeled source domain data and unlabeled target domain data to obtain a promising generalizable decision boundary. However, it is usually difficult for these methods to achieve a perfect domain-invariant liveness feature disentanglement, which may degrade the final classification performance by domain differences in illumination, face category, spoof type, etc. In this work, we tackle cross-scenario face anti-spoofing by proposing a novel domain adaptation method called cyclically disentangled feature translation network (CDFTN). Specifically, CDFTN generates pseudo-labeled samples that possess: 1) source domain-invariant liveness features and 2) target domain-specific content features, which are disentangled through domain adversarial training. A robust classifier is trained based on the synthetic pseudo-labeled images under the supervision of source domain labels. We further extend CDFTN for multi-target domain adaptation by leveraging data from more unlabeled target domains. Extensive experiments on several public datasets demonstrate that our proposed approach significantly outperforms the state of the art.

通过从完全标记的源域中利用数据，无监督域适应（UDA）通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强，通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是，在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中，我们提出了一种模型 - 不可知的两阶段学习框架，这大大减少了使用软伪标签策略的缺陷模型预测，并避免了课程学习策略的源域上的过度拟合。从理论上讲，它成功降低了目标域上预期误差的上限的综合风险。在第一阶段，我们用分布对齐的UDA方法训练一个模型，以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合，在第二阶段，我们提出了一种课程学习策略，以自适应地控制来自两个域的损失之间的加权，以便训练阶段的焦点从源分布逐渐移位到目标分布，以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果，并展示其一致的卓越性能。

在图像分类中，获得足够的标签通常昂贵且耗时。为了解决这个问题，域适应通常提供有吸引力的选择，给出了来自类似性质但不同域的大量标记数据。现有方法主要对准单个结构提取的表示的分布，并且表示可以仅包含部分信息，例如，仅包含部分饱和度，亮度和色调信息。在这一行中，我们提出了多代表性适应，这可以大大提高跨域图像分类的分类精度，并且特别旨在对准由名为Inception Adaption Adationation模块（IAM）提取的多个表示的分布。基于此，我们呈现多色自适应网络（MRAN）来通过多表示对准完成跨域图像分类任务，该任向性可以捕获来自不同方面的信息。此外，我们扩展了最大的平均差异（MMD）来计算适应损耗。我们的方法可以通过扩展具有IAM的大多数前进模型来轻松实现，并且网络可以通过反向传播有效地培训。在三个基准图像数据集上进行的实验证明了备的有效性。代码已在https://github.com/easezyc/deep-transfer -learning上获得。

迄今为止，统计类型推理系统彻底依赖于监督的学习方法，这些方法需要艰苦的手动努力来收集和标记大量数据。大多数图灵完整的命令式语言共享相似的控制和数据流结构，这使得将知识从一种语言转移到另一种语言。在本文中，我们提出了一个跨语言转移学习框架，即柏拉图，用于统计类型推理，这使我们能够利用一种从一种语言的标签数据集中学到的先验知识并将其转移到另一种语言的数据集中，例如Python，将其转移到JavaScript，Java，Java对于JavaScript等。柏拉图由一种新颖的核心注意机制提供动力，以限制主干变压器模型的注意范围，以便模型被迫将其预测基于语言之间普遍共享的特征。此外，我们提出了语法增强功能，以增强语言域之间的特征重叠的学习。此外，柏拉图还可以通过引入跨语言扩展来用于提高常规监督类型推理的性能，这使该模型能够学习多种语言的更多一般功能。我们在两种设置下评估了柏拉图：1）在跨域方案下，目标语言数据未标记或标记部分，结果表明，柏拉图的表现优于最先进的域传输技术，例如。 ，它通过+14.6%@em，+18.6%@weighted-f1和2）在传统单语言监督场景下改善了Python的打字稿基线，Plato将python的基线改进了+4.10%@em，+1.90%@weighted em -f1引入了跨语性增强。

现代机器学习（ML）模型越来越流行，并广泛用于决策系统。但是，研究表明，ML歧视和不公平性的关键问题阻碍了他们对高级应用程序的采用。对公平分类器的最新研究引起了人们的重大关注，以开发有效的算法以实现公平性和良好的分类性能。尽管这些公平感知到的机器学习模型取得了巨大的成功，但大多数现有模型都需要敏感属性来预处理数据，将模型学习正规化或后处理预测以具有公平的预测。但是，由于隐私，法律或法规限制，敏感属性通常是不完整甚至不可用的。尽管我们缺乏训练目标域中公平模型的敏感属性，但可能存在具有敏感属性的类似域。因此，重要的是从类似域中利用辅助信息，以帮助改善目标域中的公平分类。因此，在本文中，我们研究了探索域适应以进行公平分类的新问题。我们提出了一个新框架，可以同时估算目标域中的公平分类器时，可以同时估算敏感属性。现实世界数据集的广泛实验说明了提出的公平分类模型的有效性，即使目标域中没有敏感属性。