洪水灾害造成巨大的社会和经济损失。但是,传统的物理模型和基于学习的洪水预测模型都需要大量的历史洪水数据来训练模型参数。当来到一些没有足够历史数据的新站点时,由于过度拟合,模型性能会大大下降。该技术报告提出了一个洪水域适应网络(Flooddan),这是将无监督的域适应性(UDA)应用于洪水预测问题的基准。具体而言,洪水的培训包括两个阶段:在第一阶段,我们训练一个降雨编码器和一个预测头,以学习有关大规模源域数据的一般可转移的水文知识;在第二阶段,我们通过对抗结构域的比对将验证编码器中的知识转移到目标域的降雨编码器中。在推断期间,我们利用了在第二阶段接受训练的目标域降雨编码器,并在第一阶段进行了训练的预测头,以获得洪水预测的预测。 Tunxi和Changhua洪水数据集的实验结果表明,Flooddan可以通过零目标域监督有效地进行洪水预测。 Flooddan的性能与使用450-500小时的监督的监督模型相当。
translated by 谷歌翻译
准确的实时流量预测对于智能运输系统(ITS)至关重要,它是各种智能移动应用程序的基石。尽管该研究领域以深度学习为主,但最近的研究表明,开发新模型结构的准确性提高正变得边缘。取而代之的是,我们设想可以通过在具有不同数据分布和网络拓扑的城市之间转移“与预测相关的知识”来实现改进。为此,本文旨在提出一个新型的可转移流量预测框架:域对抗空间 - 颞网(DASTNET)。 Dastnet已在多个源网络上进行了预训练,并通过目标网络的流量数据进行了微调。具体而言,我们利用图表表示学习和对抗域的适应技术来学习域不变的节点嵌入,这些嵌入式嵌入将进一步合并以建模时间流量数据。据我们所知,我们是第一个使用对抗性多域改编来解决网络范围的流量预测问题的人。 Dastnet始终优于三个基准数据集上的所有最新基线方法。训练有素的dastnet应用于香港的新交通探测器,并且在可用的探测器可用时(一天之内)可以立即(在一天之内)提供准确的交通预测。总体而言,这项研究提出了一种增强交通预测方法的替代方法,并为缺乏历史流量数据的城市提供了实际含义。
translated by 谷歌翻译
最近,深度神经网络在时间序列的预测中越来越受欢迎。他们成功的主要原因是他们有效捕获多个相关时间序列的复杂时间动态的能力。这些深度预测者的优势才开始在有足够数量的数据的情况下开始出现。这对实践中的典型预测问题提出了挑战,在实践中,每个时间序列的时间序列或观察值有限,或者两者兼而有之。为了应对这些数据稀缺问题,我们提出了一个新颖的域适应框架,域适应预报员(DAF)。 DAF利用具有丰富数据样本(源)的相关领域的统计强度,以通过有限的数据(目标)提高感兴趣域的性能。特别是,我们使用基于注意力的共享模块,该模块与跨域跨域和私人模块的域歧视器一起使用。我们同时诱导域不变的潜在特征(查询和密钥)和重新培训特定特征(值),以使源和目标域上的预报员的联合训练。一个主要的见解是,我们对齐密钥的设计使目标域即使具有不同的特征也可以利用源时间序列。对各个领域的广泛实验表明,我们提出的方法在合成和现实世界数据集上优于最先进的基准,而消融研究验证了我们的设计选择的有效性。
translated by 谷歌翻译
随着深度学习技术的快速发展和计算能力的提高,深度学习已广泛应用于高光谱图像(HSI)分类领域。通常,深度学习模型通常包含许多可训练参数,并且需要大量标记的样品来实现最佳性能。然而,关于HSI分类,由于手动标记的难度和耗时的性质,大量标记的样本通常难以获取。因此,许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中,我们专注于这一主题,并对相关文献提供系统审查。具体而言,本文的贡献是双重的。首先,相关方法的研究进展根据学习范式分类,包括转移学习,积极学习和少量学习。其次,已经进行了许多具有各种最先进的方法的实验,总结了结果以揭示潜在的研究方向。更重要的是,虽然深度学习模型(通常需要足够的标记样本)和具有少量标记样本的HSI场景之间存在巨大差距,但是通过深度学习融合,可以很好地表征小样本集的问题方法和相关技术,如转移学习和轻量级模型。为了再现性,可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。
translated by 谷歌翻译
As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.
translated by 谷歌翻译
无监督域适应(UDA)已成功解决了可视应用程序的域移位问题。然而,由于以下原因,这些方法可能对时间序列数据的性能有限。首先,它们主要依赖于用于源预制的大规模数据集(即,ImageNet),这不适用于时间序列数据。其次,它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后,最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制,我们提出了一个自我监督的自回归域适应(Slarda)框架。特别是,我们首先设计一个自我监督的学习模块,它利用预测作为辅助任务以提高源特征的可转换性。其次,我们提出了一种新的自回归域自适应技术,其包括在域对齐期间源和目标特征的时间依赖性。最后,我们开发了一个集合教师模型,通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验,具有30个跨域方案。结果表明,我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。
translated by 谷歌翻译
The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.
translated by 谷歌翻译
脑电图(EEG)解码旨在识别基于非侵入性测量的脑活动的神经处理的感知,语义和认知含量。当应用于在静态,受控的实验室环境中获取的数据时,传统的EEG解码方法取得了适度的成功。然而,开放世界的环境是一个更现实的环境,在影响EEG录音的情况下,可以意外地出现,显着削弱了现有方法的鲁棒性。近年来,由于其在特征提取的卓越容量,深入学习(DL)被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制,但通常需要大量的昂贵,专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据,也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战,但目前缺乏系统的教程概述,特别是对于开放世界应用程序。因此,本文为开放世界EEG解码提供了对DL方法的全面调查,并确定了有前途的研究方向,以激发现实世界应用中的脑电图解码的未来研究。
translated by 谷歌翻译
有效的水资源管理需要有关水资源可用性的信息,无论是在空间和时间上的质量和数量方面。在本文中,我们通过微调和参数传输来研究转移学习(TL)的方法,以便在数据稀疏区域中流出预测的更好的泛化性能。我们提出了一种以长短期存储器(LSTM)形式的标准复发性神经网络,以适合足够大的源域数据集,并将学习权重定向到明显更小,但是相似的目标域数据集。我们通过分离模型的空间和时间分量并培训模型来实现一种方法来实现时空应用程序的转移学习方法,并基于表示空间可变性的分类数据集来概括。该框架是在来自美国丰富的基准数据集上开发的,并在肯尼亚自然保护收集的小型数据集进行了评估。 LSTM模型通过我们的TL技术表现出泛化性能。该电流实验的结果展示了当使用知识传输和静态描述符来改善数据稀疏区域中的水文模型概括时预测流流响应的有效预测技能。
translated by 谷歌翻译
Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.
translated by 谷歌翻译
大多数行人轨迹预测方法都取决于大量的轨迹注释,这是耗时且昂贵的。此外,训练有素的模型可能无法有效地推广到另一台相机捕获的新场景。因此,希望将在注释源域上训练的模型调整到目标域。为了实现轨迹预测的域适应性,我们提出了跨域轨迹预测网络(CTP-NET)。在此框架中,在两个域中使用编码器来编码观察到的轨迹,然后它们的特征由跨域特征鉴别器对齐。此外,考虑到观察到的轨迹和预测轨迹之间的一致性,目标域偏移判别器被用来对抗对未来的轨迹预测进行对流规范,以与观察到的轨迹相符。广泛的实验证明了我们方法对行人轨迹预测的域适应性的有效性。
translated by 谷歌翻译
基于深度学习的路面裂缝检测方法通常需要大规模标签,具有详细的裂缝位置信息来学习准确的预测。然而,在实践中,由于路面裂缝的各种视觉模式,裂缝位置很难被手动注释。在本文中,我们提出了一种基于深域适应的裂缝检测网络(DDACDN),其学会利用源域知识来预测目标域中的多类别裂缝位置信息,其中仅是图像级标签可用的。具体地,DDACDN首先通过双分支权重共享骨干网络从源和目标域中提取裂缝特征。并且在实现跨域自适应的努力中,通过从每个域的特征空间聚合三尺度特征来构建中间域,以使来自源域的裂缝特征适应目标域。最后,该网络涉及两个域的知识,并接受识别和本地化路面裂缝的培训。为了便于准确的培训和验证域适应,我们使用两个具有挑战性的路面裂缝数据集CQu-BPDD和RDD2020。此外,我们构建了一个名为CQu-BPMDD的新型大型沥青路面多标签疾病数据集,其中包含38994个高分辨率路面疾病图像,以进一步评估模型的稳健性。广泛的实验表明,DDACDN优于最先进的路面裂纹检测方法,以预测目标结构域的裂缝位置。
translated by 谷歌翻译
机器学习系统通常假设训练和测试分布是相同的。为此,关键要求是开发可以概括到未经看不见的分布的模型。领域泛化(DG),即分销概括,近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置,其中给出了一个或几个不同但相关域,并且目标是学习可以概括到看不见的测试域的模型。多年来,域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先,我们提供了域泛化的正式定义,并讨论了几个相关领域。然后,我们彻底审查了与域泛化相关的理论,并仔细分析了泛化背后的理论。我们将最近的算法分为三个类:数据操作,表示学习和学习策略,并为每个类别详细介绍几种流行的算法。第三,我们介绍常用的数据集,应用程序和我们的开放源代码库进行公平评估。最后,我们总结了现有文学,并为未来提供了一些潜在的研究主题。
translated by 谷歌翻译
本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测,这是一个很容易被忽视的,但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上,这些特定领域的条件依赖主要领导的数据偏移量,时间滞后,并且变体数据的分布。为了解决这个问题,我们分析了变条件依赖于时间序列数据,并认为因果结构是不同的域之间的稳定,并进一步提高了因果条件转变的假设。通过这一假设的启发,我们考虑的时间序列数据的因果生成过程,并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法,其中在目标域泛化的错误不仅通过在源和目标域,但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明,用于转让的时间序列预测了该方法的有效性。
translated by 谷歌翻译
现有的基于深度学习的变更检测方法试图精心设计具有功能强大特征表示的复杂神经网络,但忽略了随时间变化的土地覆盖变化引起的通用域转移,包括亮度波动和事件前和事后图像之间的季节变化,从而产生亚最佳结果。在本文中,我们提出了一个端到端监督域的适应框架,用于跨域变更检测,即SDACD,以有效地减轻双期颞图像之间的域移位,以更好地变更预测。具体而言,我们的SDACD通过有监督的学习从图像和特征角度介绍了合作改编。图像适应性利用了具有循环矛盾的限制来利用生成的对抗学习,以执行跨域样式转换,从而有效地以两边的方式缩小了域间隙。为了特征适应性,我们提取域不变特征以对齐特征空间中的不同特征分布,这可以进一步减少跨域图像的域间隙。为了进一步提高性能,我们结合了三种类型的双颞图像,以进行最终变化预测,包括初始输入双期图像和两个来自事件前和事后域的生成的双颞图像。对两个基准的广泛实验和分析证明了我们提出的框架的有效性和普遍性。值得注意的是,我们的框架将几个代表性的基线模型推向了新的最先进的记录,分别在CDD和WHU建筑数据集上分别达到97.34%和92.36%。源代码和模型可在https://github.com/perfect-you/sdacd上公开获得。
translated by 谷歌翻译
深度神经网络在短期交通预测中表现出卓越的性能。然而,大多数现有的流量预测系统假设培训和测试数据是从相同的底层分布中汲取,这限制了它们的实际适用性。Neurips 2021 Traffic4cast挑战是专门用于基准测试空间和时间在域移位的流量预测模型的稳健性的首先。本技术报告描述了我们对此挑战的解决方案。特别是,我们为交通预测模型的时间和时空域改编提供了一个多任务学习框架。实验结果表明,我们的多任务学习方法实现了强大的经验性能,优于许多基线域适应方法,同时仍然高效。此技术报告的源代码可在https://github.com/yichaolu/traffic4cast2021获得。
translated by 谷歌翻译
虽然在许多域内生成并提供了大量的未标记数据,但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是,在现实世界的应用中,不能满足这种要求。标签的数量有限,手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是,模型性能因域之间的差异(域移位或数据集偏差)而劣化。为了克服注释的负担,域适应(DA)旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA(UDA)处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异,并在培训期间在两个域中学习域不变的表示。在本文中,我们首先定义UDA问题。其次,我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后,我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。
translated by 谷歌翻译
时间序列预测在城市生活中广泛应用,从空气质量监测到交通分析。但是,准确的时间序列预测是具有挑战性的,因为现实世界中的时间序列遇到了分配转移问题,在该问题中,它们的统计属性会随着时间而变化。尽管对域适应或概括的分布变化的广泛解决方案,但它们在未知的,不断变化的分布变化中无法有效发挥作用,这在时间序列中很常见。在本文中,我们提出了超时性预测(HTSF),这是一个基于超网络的框架,用于在分配变化下预测准确的时间序列。 HTSF以端到端的方式共同学习时间变化的分布和相应的预测模型。具体而言,HTSF利用超层来学习分布移位的最佳表征,从而为主层生成模型参数以进行准确的预测。我们将HTSF实施为可扩展的框架,可以结合不同的时间序列预测模型,例如RNN和Transformers。对9个基准测试的广泛实验表明,HTSF达到了最先进的表现。
translated by 谷歌翻译
基于元学习的现有方法通过从(源域)基础类别的培训任务中学到的元知识来预测(目标域)测试任务的新颖类标签。但是,由于范围内可能存在较大的域差异,大多数现有作品可能无法推广到新颖的类别。为了解决这个问题,我们提出了一种新颖的对抗特征增强(AFA)方法,以弥合域间隙,以几乎没有学习。该特征增强旨在通过最大化域差异来模拟分布变化。在对抗训练期间,通过将增强特征(看不见的域)与原始域(可见域)区分开来学习域歧视器,而将域差异最小化以获得最佳特征编码器。所提出的方法是一个插件模块,可以轻松地基于元学习的方式将其集成到现有的几种学习方法中。在九个数据集上进行的广泛实验证明了我们方法对跨域几乎没有射击分类的优越性,与最新技术相比。代码可从https://github.com/youthhoo/afa_for_few_shot_learning获得
translated by 谷歌翻译
最近的智能故障诊断(IFD)的进展大大依赖于深度代表学习和大量标记数据。然而,机器通常以各种工作条件操作,或者目标任务具有不同的分布,其中包含用于训练的收集数据(域移位问题)。此外,目标域中的新收集的测试数据通常是未标记的,导致基于无监督的深度转移学习(基于UDTL为基础的)IFD问题。虽然它已经实现了巨大的发展,但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中,我们根据不同的任务,构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题,这很少研究,包括特征,骨干,负转移,物理前导等的可转移性,强调UDTL的重要性和再现性 - 基于IFD,整个测试框架将发布给研究界以促进未来的研究。总之,发布的框架和比较研究可以作为扩展界面和基本结果,以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。
translated by 谷歌翻译