使用深度自动化器来编码地震波形特征的想法，然后在不同的地震应用中使用它们是吸引人的。在本文中，我们设计了测试，以评估使用AutoEncoders作为不同地震应用的特征提取器的这种想法，例如事件辨别（即，地震与噪声波形，地震与爆炸波形和相位拣选）。这些测试涉及在大量地震波形上训练AutoEncoder，无论是均匀的还是超越，然后使用培训的编码器作为具有后续应用层的特征提取器（完全连接层，或卷积层加上完全连接的层）做出决定。通过将这些新设计模型的性能与从头开始培训的基线模型进行比较，我们得出结论，AutoEncoder特征提取器方法可以在某些条件下执行良好，例如当目标问题需要与AutoEncoder编码的功能类似，何时有相对少量的培训数据，并且当使用某些模型结构和培训策略时。在所有这些测试中最佳工作的模型结构是具有卷积层和完全连接的层的过度普遍的AutoEncoder，以进行估计。

在实践中，非常苛刻，有时无法收集足够大的标记数据数据集以成功培训机器学习模型，并且对此问题的一个可能解决方案是转移学习。本研究旨在评估如何可转让的时间序列数据和哪些条件下的不同域之间的特征。在训练期间，在模型的预测性能和收敛速度方面观察到转移学习的影响。在我们的实验中，我们使用1,500和9,000个数据实例的减少数据集来模仿现实世界的条件。使用相同的缩小数据集，我们培训了两组机器学习模型：那些随着转移学习的培训和从头开始培训的机器学习模型。使用四台机器学习模型进行实验。在相同的应用领域（地震学）以及相互不同的应用领域（地震，语音，医学，金融）之间进行知识转移。我们在训练期间遵守模型的预测性能和收敛速度。为了确认所获得的结果的有效性，我们重复了实验七次并应用了统计测试以确认结果的重要性。我们研究的一般性结论是转移学习可能会增加或不会对模型的预测性能或其收敛速度产生负面影响。在更多细节中分析收集的数据，以确定哪些源域和目标域兼容以用于传输知识。我们还分析了目标数据集大小的效果和模型的选择及其超参数对转移学习的影响。

随着我们感知增强的能力，我们正在经历从数据贫困问题的过渡，其中中心问题是缺乏相关数据，即数据越来越多的问题，其中核心问题是确定一个中的一些相关功能海洋观察。通过在重力波天体物理学中应用的激励，我们研究了从检测器及其环境中丰富的测量值收集的引力波检测器中瞬时噪声伪影的存在。我们认为，功能学习 - 从数据中优化了哪些相关功能 - 对于实现高精度至关重要。我们引入的模型将错误率降低60％以上，而不是先前使用固定的手工制作功能的最新现状。功能学习不仅有用，因为它可以提高预测任务的性能；结果提供了有关与感兴趣现象相关的模式的宝贵信息，否则这些现象将是无法发现的。在我们的应用程序中，发现与瞬态噪声相关的功能提供了有关其起源的诊断信息，并建议缓解策略。在高维环境中学习具有挑战性。通过使用各种体系结构的实验，我们确定了成功模型中的两个关键因素：稀疏性，用于在高维观测中选择相关变量；和深度，这赋予了处理复杂相互作用和相对于时间变化的鲁棒性的灵活性。我们通过对实际检测器数据进行系统的实验来说明它们的意义。我们的结果提供了对机器学习社区中常见假设的实验性佐证，并具有直接适用于提高我们感知引力波的能力以及许多其他具有类似高维，嘈杂或部分无关数据的问题的问题。

几个世纪以来，科学家一直观察到自然要了解支配物理世界的法律。将观察变成身体理解的传统过程很慢。构建和测试不完善的模型以解释数据中的关系。强大的新算法可以使计算机通过观察图像和视频来学习物理。受这个想法的启发，而不是使用物理量训练机器学习模型，我们使用了图像，即像素信息。对于这项工作和概念证明，感兴趣的物理学是风向的空间模式。这些现象包括风水沙丘和火山灰沉积，野火烟雾和空气污染羽状的特征。我们使用空间沉积模式的计算机模型仿真来近似假设成像设备的图像，其输出为红色，绿色和蓝色（RGB）颜色图像，通道值范围为0到255。在本文中，我们探索深度卷积神经网络基于基于风向的空间模式的关系，通常在地球科学中发生，并降低其尺寸。使用编码器降低数据维度大小，可以训练将地理和气象标量输入数量连接到编码空间的深层，完全连接的神经网络模型。一旦实现了这一目标，使用解码器重建了完整的空间模式。我们在污染源的空间沉积图像上证明了这种方法，其中编码器将维度压缩到原始大小的0.02％，并且测试数据上的完整预测模型性能的精度为92％。

本文介绍了频率卷积神经网络（CNN），用于快速，无创的​​2D剪切波速度（VS）成像的近表面地质材料。在频速度域中运行，可以在用于生成CNN输入的线性阵列，主动源实验测试配置中具有显着的灵活性，这些配置是归一化的分散图像。与波场图像不同，标准化的分散图像对实验测试配置相对不敏感，可容纳各种源类型，源偏移，接收器数量和接收器间距。我们通过将其应用于经典的近乎表面地球物理学问题，即成像两层，起伏的土壤 - 旁质界面的界面来证明频率CNN的有效性。最近，通过开发一个时间距离CNN来研究这个问题，该问题表现出了很大的希望，但在使用不同的现场测试配置方面缺乏灵活性。本文中，新的频道CNN显示出与时距CNN的可比精度，同时提供了更大的灵活性来处理各种现场应用程序。使用100,000个合成近表面模型对频率速度CNN进行了训练，验证和测试。首先，使用训练集的合成近表面模型测试了提议的频率CNN跨各种采集配置概括跨各种采集配置的能力，然后应用于在Austin的Hornsby Bend在Austin的Hornsby Bend收集的实验场数据美国德克萨斯州，美国。当针对更广泛的地质条件范围充分开发时，提出的CNN最终可以用作当前伪2D表面波成像技术的快速，端到端替代方案，或开发用于完整波形倒置的启动模型。

Solar forecasting from ground-based sky images using deep learning models has shown great promise in reducing the uncertainty in solar power generation. One of the biggest challenges for training deep learning models is the availability of labeled datasets. With more and more sky image datasets open sourced in recent years, the development of accurate and reliable solar forecasting methods has seen a huge growth in potential. In this study, we explore three different training strategies for deep-learning-based solar forecasting models by leveraging three heterogeneous datasets collected around the world with drastically different climate patterns. Specifically, we compare the performance of models trained individually based on local datasets (local models) and models trained jointly based on the fusion of multiple datasets from different locations (global models), and we further examine the knowledge transfer from pre-trained solar forecasting models to a new dataset of interest (transfer learning models). The results suggest that the local models work well when deployed locally, but significant errors are observed for the scale of the prediction when applied offsite. The global model can adapt well to individual locations, while the possible increase in training efforts need to be taken into account. Pre-training models on a large and diversified source dataset and transferring to a local target dataset generally achieves superior performance over the other two training strategies. Transfer learning brings the most benefits when there are limited local data. With 80% less training data, it can achieve 1% improvement over the local baseline model trained using the entire dataset. Therefore, we call on the efforts from the solar forecasting community to contribute to a global dataset containing a massive amount of imagery and displaying diversified samples with a range of sky conditions.

分布式声音传感器（DAS）是有效的设备，在许多应用区域中广泛使用，用于记录各种事件的信号，这些事件沿光纤沿光纤沿着非常高的空间分辨率。为了正确地检测和识别记录的事件，具有高计算需求的高级信号处理算法至关重要。卷积神经网络是提取空间信息的高功能工具，非常适合DAS中的事件识别应用。长期术语内存（LSTM）是处理顺序数据的有效仪器。在这项研究中，我们提出了一种多输入的多输出，两个阶段特征提取方法，该方法将这些神经网络体系结构的能力与转移学习的能力结合在一起，以将压电传感器应用于光纤上的振动进行分类。首先，我们从相位-OTDR记录中提取了差幅度和相位信息，并将它们存储在时间空间数据矩阵中。然后，我们在第一阶段使用了最先进的预训练的CNN作为特征提取器。在第二阶段，我们使用LSTMS进一步分析了CNN提取的特征。最后，我们使用密集层来对提取的特征进行分类。为了观察使用的CNN体​​系结构的效果，我们通过五个最先进的预训练模型（VGG-16，Resnet-50，Densenet-121，Mobilenet和Inception-V3）测试了模型。结果表明，在我们的框架中使用VGG-16体系结构可以在50个培训中获得100％的分类精度，并在我们的相位数据集中获得最佳结果。这项研究的结果表明，与LSTM结合的预训练的CNN非常适合分析差分振幅和相位信息，在时间空间数据矩阵中表示，这对于DAS应用中的事件识别操作很有希望。

机器学习，在深入学习的进步，在过去分析时间序列方面表现出巨大的潜力。但是，在许多情况下，可以通过将其结合到学习方法中可能改善预测的附加信息。这对于由例如例如传感器位置的传感器网络而产生的数据至关重要。然后，可以通过通过图形结构建模，以及顺序（时间）信息来利用这种空间信息。适应深度学习的最新进展在各种图形相关任务中表明了有希望的潜力。但是，这些方法尚未在很大程度上适用于时间序列相关任务。具体而言，大多数尝试基本上围绕空间 - 时间图形神经网络巩固了时间序列预测的小序列长度。通常，这些架构不适合包含大数据序列的回归或分类任务。因此，在这项工作中，我们使用图形神经网络的好处提出了一种能够在多变量时间序列回归任务中处理这些长序列的架构。我们的模型在包含地震波形的两个地震数据集上进行测试，其中目标是预测在一组站的地面摇动的强度测量。我们的研究结果表明了我们的方法的有希望的结果，这是深入讨论的额外消融研究。

采用基于数据的方法会导致许多石油和天然气记录数据处理问题的模型改进。由于深度学习提供的新功能，这些改进变得更加合理。但是，深度学习的使用仅限于研究人员拥有大量高质量数据的领域。我们提出了一种提供通用数据表示的方法，适用于针对不同油田的不同问题的解决方案，而少量数据。我们的方法依赖于从井的间隔内进行连续记录数据的自我监督方法，因此从一开始就不需要标记的数据。为了验证收到的表示形式，我们考虑分类和聚类问题。我们还考虑转移学习方案。我们发现，使用变异自动编码器会导致最可靠，最准确的模型。方法我们还发现，研究人员只需要一个针对目标油田的微小单独的数据集即可在通用表示之上解决特定问题。

大多数杂草物种都会通过竞争高价值作物所需的营养而产生对农业生产力的不利影响。手动除草对于大型种植区不实用。已经开展了许多研究，为农业作物制定了自动杂草管理系统。在这个过程中，其中一个主要任务是识别图像中的杂草。但是，杂草的认可是一个具有挑战性的任务。它是因为杂草和作物植物的颜色，纹理和形状类似，可以通过成像条件，当记录图像时的成像条件，地理或天气条件进一步加剧。先进的机器学习技术可用于从图像中识别杂草。在本文中，我们调查了五个最先进的深神经网络，即VGG16，Reset-50，Inception-V3，Inception-Resnet-V2和MobileNetv2，并评估其杂草识别的性能。我们使用了多种实验设置和多个数据集合组合。特别是，我们通过组合几个较小的数据集，通过数据增强构成了一个大型DataSet，缓解了类别不平衡，并在基于深度神经网络的基准测试中使用此数据集。我们通过保留预先训练的权重来调查使用转移学习技术来利用作物和杂草数据集的图像提取特征和微调它们。我们发现VGG16比小规模数据集更好地执行，而ResET-50比其他大型数据集上的其他深网络更好地执行。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

我们开发了卷积神经网络（CNNS），快速，直接从无线电尘埃连续图像中推断出行星质量。在原始板块中的年轻行星引起的子结构可用于推断潜在的年轻行星属性。流体动力模拟已被用于研究地球属性与这些磁盘特征之间的关系。然而，这些尝试了微调的数值模拟，以一次适合一个原始磁盘，这是耗时的，或者四方平均模拟结果，以导出间隙宽度/深度和行星质量之间的一些线性关系，这丢失了信息磁盘中的不对称功能。为了应对这些缺点，我们开发了行星间隙神经网络（PGNET），以推断出2D图像的行星质量。我们首先符合张等人的网格数据。 （2018）作为分类问题。然后，通过使用近随机采样参数运行额外的模拟来分布数据集，并将行星质量和磁盘粘度一起作为回归问题衍生在一起。分类方法可以达到92 \％的准确性，而回归方法可以达到1 $ \ Sigma $ AS 0.16 DEX，用于行星质量和0.23°D磁盘粘度。我们可以在线性拟合方法中重现退化缩放$ \ alpha $ $ \ propto $ $ m_p ^ 3 $。这意味着CNN方法甚至可以用于寻找退化关系。梯度加权类激活映射有效地确认PGNETS使用适当的磁盘特征来限制行星质量。我们为张等人提供了PGNETS和传统配件方法的计划。 （2018），并讨论各种方法的优缺点。

随着深度学习技术的快速发展和计算能力的提高，深度学习已广泛应用于高光谱图像（HSI）分类领域。通常，深度学习模型通常包含许多可训练参数，并且需要大量标记的样品来实现最佳性能。然而，关于HSI分类，由于手动标记的难度和耗时的性质，大量标记的样本通常难以获取。因此，许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中，我们专注于这一主题，并对相关文献提供系统审查。具体而言，本文的贡献是双重的。首先，相关方法的研究进展根据学习范式分类，包括转移学习，积极学习和少量学习。其次，已经进行了许多具有各种最先进的方法的实验，总结了结果以揭示潜在的研究方向。更重要的是，虽然深度学习模型（通常需要足够的标记样本）和具有少量标记样本的HSI场景之间存在巨大差距，但是通过深度学习融合，可以很好地表征小样本集的问题方法和相关技术，如转移学习和轻量级模型。为了再现性，可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。

本文描述了一个新颖的机器学习（ML）框架，用于热带气旋强度和轨道预测，结合了多种ML技术并利用了多种数据源。我们的多模式框架（称为Hurricast）有效地结合了时空数据和统计数据，通过提取具有深度学习的编码器编码器体系结构的特征，并通过梯度增强的树进行预测。我们在2016 - 2019年在北大西洋和东太平洋盆地进行了24小时的提前时间和强度预测，评估我们的模型，并表明它们在秒内计算时达到了当前操作预测模型的可比平均绝对误差和技能。此外，将飓风纳入运营预测的共识模型可以改善国家飓风中心的官方预测，从而通过现有方法突出显示互补物业。总而言之，我们的工作表明，利用机器学习技术结合不同的数据源可以带来热带气旋预测的新机会。

我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器（PAE），以学习IA型超新星（SNE IA）的内在多样性。 PAE是一个两阶段的生成模型，由自动编码器（AE）组成，该模型在使用归一化流（NF）训练后概率地解释。我们证明，PAE学习了一个低维的潜在空间，该空间可捕获人口内存在的非线性特征范围，并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络，我们表明可以在训练期间分离内在和外在的可变性模式，从而消除了需要进行额外标准化的其他模型。然后，我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析，包括自动检测SN Outliers，与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现，与以前的研究相一致的最佳固有模型参数数量似乎是三个，并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本，该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

射频干扰（RFI）缓解仍然是寻找无线电技术的主要挑战。典型的缓解策略包括原点方向（DOO）滤波器，如果在天空上的多个方向上检测到信号，则将信号分类为RFI。这些分类通常依赖于信号属性的估计，例如频率和频率漂移速率。卷积神经网络（CNNS）提供了对现有过滤器的有希望的补充，因为它们可以接受培训以直接分析动态光谱，而不是依赖于推断的信号属性。在这项工作中，我们编译了由标记的动态谱的图像组组成的几个数据集，并且我们设计和训练了可以确定在另一扫描中检测到的信号是否在另一扫描中检测到的CNN。基于CNN的DOO滤波器优于基线2D相关模型以及现有的DOO过滤器在一系列指标范围内，分别具有99.15％和97.81％的精度和召回值。我们发现CNN在标称情况下将传统的DOO过滤器施加6-16倍，减少了需要目视检查的信号数。

鉴于无线频谱的有限性和对无线通信最近的技术突破产生的频谱使用不断增加的需求，干扰问题仍在继续持续存在。尽管最近解决干涉问题的进步，但干扰仍然呈现出有效使用频谱的挑战。这部分是由于Wi-Fi的无许可和管理共享乐队使用的升高，长期演进（LTE）未许可（LTE-U），LTE许可辅助访问（LAA），5G NR等机会主义频谱访问解决方案。因此，需要对干扰稳健的有效频谱使用方案的需求从未如此重要。在过去，通过使用避免技术以及非AI缓解方法（例如，自适应滤波器）来解决问题的大多数解决方案。非AI技术的关键缺陷是需要提取或开发信号特征的域专业知识，例如CycrationArity，带宽和干扰信号的调制。最近，研究人员已成功探索了AI / ML的物理（PHY）层技术，尤其是深度学习，可减少或补偿干扰信号，而不是简单地避免它。 ML基于ML的方法的潜在思想是学习来自数据的干扰或干扰特性，从而使需要对抑制干扰的域专业知识进行侧联。在本文中，我们审查了广泛的技术，这些技术已经深入了解抑制干扰。我们为干扰抑制中许多不同类型的深度学习技术提供比较和指导。此外，我们突出了在干扰抑制中成功采用深度学习的挑战和潜在的未来研究方向。