In the last decade, much work in atmospheric science has focused on spatial verification (SV) methods for gridded prediction, which overcome serious disadvantages of pixelwise verification. However, neural networks (NN) in atmospheric science are almost always trained to optimize pixelwise loss functions, even when ultimately assessed with SV methods. This establishes a disconnect between model verification during vs. after training. To address this issue, we develop spatially enhanced loss functions (SELF) and demonstrate their use for a real-world problem: predicting the occurrence of thunderstorms (henceforth, "convection") with NNs. In each SELF we use either a neighbourhood filter, which highlights convection at scales larger than a threshold, or a spectral filter (employing Fourier or wavelet decomposition), which is more flexible and highlights convection at scales between two thresholds. We use these filters to spatially enhance common verification scores, such as the Brier score. We train each NN with a different SELF and compare their performance at many scales of convection, from discrete storm cells to tropical cyclones. Among our many findings are that (a) for a low (high) risk threshold, the ideal SELF focuses on small (large) scales; (b) models trained with a pixelwise loss function perform surprisingly well; (c) however, models trained with a spectral filter produce much better-calibrated probabilities than a pixelwise model. We provide a general guide to using SELFs, including technical challenges and the final Python code, as well as demonstrating their use for the convection problem. To our knowledge this is the most in-depth guide to SELFs in the geosciences.

尽管有持续的改进，但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是，几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络（GAN）在超分辨率问题上取得了成功，即学习为粗图像添加精细的结构。 Leinonen等。 （2020年）先前使用GAN来产生重建的高分辨率大气场的集合，并给定较粗糙的输入数据。在本文中，我们证明了这种方法可以扩展到更具挑战性的问题，即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构，同时考虑不可忽略的预测错误。我们表明，甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时，可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数，功率谱信息和等级直方图（用于评估校准）的最佳现有缩减方法。我们测试了我们的模型，并表明它们在各种场景中的表现，包括大雨。

提出了一个深度学习模型，以便在未来60分钟的五分钟时间分辨率下以闪电的形式出现。该模型基于反复横向的结构，该结构使其能够识别并预测对流的时空发展，包括雷暴细胞的运动，生长和衰变。预测是在固定网格上执行的，而无需使用风暴对象检测和跟踪。从瑞士和周围的区域收集的输入数据包括地面雷达数据，可见/红外卫星数据以及衍生的云产品，闪电检测，数值天气预测和数字高程模型数据。我们分析了不同的替代损失功能，班级加权策略和模型特征，为将来的研究提供了指南，以最佳地选择损失功能，并正确校准其模型的概率预测。基于这些分析，我们在这项研究中使用焦点损失，但得出结论，它仅在交叉熵方面提供了较小的好处，如果模型的重新校准不实用，这是一个可行的选择。该模型在60分钟的现有周期内实现了0.45的像素临界成功指数（CSI）为0.45，以预测8 km的闪电发生，范围从5分钟的CSI到5分钟的提前时间到CSI到CSI的0.32在A处。收货时间60分钟。

了解极端事件及其可能性是研究气候变化影响，风险评估，适应和保护生物的关键。在这项工作中，我们开发了一种方法来构建极端热浪的预测模型。这些模型基于卷积神经网络，对极长的8，000年气候模型输出进行了培训。由于极端事件之间的关系本质上是概率的，因此我们强调概率预测和验证。我们证明，深度神经网络适用于法国持续持续14天的热浪，快速动态驱动器提前15天（500 hpa地球电位高度场），并且在慢速较长的交货时间内，慢速物理时间驱动器（土壤水分）。该方法很容易实现和通用。我们发现，深神经网络选择了与北半球波数字3模式相关的极端热浪。我们发现，当将2米温度场添加到500 HPA地球电位高度和土壤水分场中时，2米温度场不包含任何新的有用统计信息。主要的科学信息是，训练深层神经网络预测极端热浪的发生是在严重缺乏数据的情况下发生的。我们建议大多数其他应用在大规模的大气和气候现象中都是如此。我们讨论了处理缺乏数据制度的观点，例如罕见的事件模拟，以及转移学习如何在后一种任务中发挥作用。

由于其对人类生命，运输，粮食生产和能源管理的高度影响，因此在科学上研究了预测天气的问题。目前的运营预测模型基于物理学，并使用超级计算机来模拟大气预测，提前预测数小时和日期。更好的基于物理的预测需要改进模型本身，这可能是一个实质性的科学挑战，以及潜在的分辨率的改进，可以计算令人望而却步。基于神经网络的新出现的天气模型代表天气预报的范式转变：模型学习来自数据的所需变换，而不是依赖于手工编码的物理，并计算效率。然而，对于神经模型，每个额外的辐射时间都会构成大量挑战，因为它需要捕获更大的空间环境并增加预测的不确定性。在这项工作中，我们提出了一个神经网络，能够提前十二小时的大规模降水预测，并且从相同的大气状态开始，该模型能够比最先进的基于物理的模型更高的技能HRRR和HREF目前在美国大陆运营。可解释性分析加强了模型学会模拟先进物理原则的观察。这些结果代表了建立与神经网络有效预测的新范式的实质性步骤。

卫星遥感提供了一种具有成本效益的概要洪水监测的解决方案，卫星衍生的洪水图为传统上使用的数值洪水淹没模型提供了一种计算有效的替代方法。尽管卫星碰巧涵盖正在进行的洪水事件时确实提供了及时的淹没信息，但它们受其时空分辨率的限制，因为它们在各种规模上动态监测洪水演变的能力。不断改善对新卫星数据源的访问以及大数据处理功能，就此问题的数据驱动解决方案而言，已经解锁了前所未有的可能性。具体而言，来自卫星的数据融合，例如哥白尼前哨，它们具有很高的空间和低时间分辨率，以及来自NASA SMAP和GPM任务的数据，它们的空间较低，但时间较高的时间分辨率可能会导致高分辨率的洪水淹没在A处的高分辨率洪水。每日规模。在这里，使用Sentinel-1合成孔径雷达和各种水文，地形和基于土地利用的预测因子衍生出的洪水淹没图对卷积神经网络进行了训练，以预测高分辨率的洪水泛滥概率图。使用Sentinel-1和Sentinel-2衍生的洪水面罩，评估了UNET和SEGNET模型架构的性能，分别具有95％的信心间隔。精确召回曲线（PR-AUC）曲线下的区域（AUC）被用作主要评估指标，这是由于二进制洪水映射问题中类固有的不平衡性质，最佳模型提供了PR-AUC 0.85。

最近，在气象学中使用机器学习大大增加了。尽管许多机器学习方法并不是什么新鲜事物，但有关机器学习的大学课程在很大程度上是气象学专业的学生，​​不需要成为气象学家。缺乏正式的教学导致人们认为机器学习方法是“黑匣子”，因此最终用户不愿在每天的工作流程中应用机器学习方法。为了减少机器学习方法的不透明性，并降低了对气象学中机器学习的犹豫，本文对一些最常见的机器学习方法进行了调查。一个熟悉的气象示例用于将机器学习方法背景化，同时还使用普通语言讨论机器学习主题。证明了以下机器学习方法：线性回归；逻辑回归；决策树；随机森林；梯度增强了决策树；天真的贝叶斯；并支持向量机。除了讨论不同的方法外，本文还包含有关通用机器学习过程的讨论以及最佳实践，以使读者能够将机器学习应用于自己的数据集。此外，所有代码（以Jupyter笔记本电脑和Google Colaboratory Notebooks的形式）用于在论文中进行示例，以促进气象学中的机器学习使用。

Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.

$ \ Texit {Fermi} $数据中的银河系中多余（GCE）的两个领先假设是一个未解决的微弱毫秒脉冲条件（MSP）和暗物质（DM）湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而，诸如MSP的点源（PSS）在超微弱的极限中具有统计变质的泊松发射（正式的位置，预期每个来源平均贡献远低于一个光子），导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法，以统一的方式描述PS和泊松发射，并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法，我们利用深度学习技术，围绕基于神经网络的方法，用于直方图回归，其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统，特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中，我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $（对应于$ \ sim3 - 4 $每pL期望计数），这需要$ n \ sim \ mathcal {o}（ 10 ^ 4）$源来解释整个过剩（中位数价值$ n = \文本{29,300} $横跨天空）。虽然微弱，但这种SCD允许我们获得95％信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \％$。这表明大量的GCE通量是由于PSS 。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。

通过卫星摄像机获取关于地球表面的大面积的信息使我们能够看到远远超过我们在地面上看到的更多。这有助于我们在检测和监测土地使用模式，大气条件，森林覆盖和许多非上市方面的地区的物理特征。所获得的图像不仅跟踪连续的自然现象，而且对解决严重森林砍伐的全球挑战也至关重要。其中亚马逊盆地每年占最大份额。适当的数据分析将有助于利用可持续健康的氛围来限制对生态系统和生物多样性的不利影响。本报告旨在通过不同的机器学习和优越的深度学习模型用大气和各种陆地覆盖或土地使用亚马逊雨林的卫星图像芯片。评估是基于F2度量完成的，而用于损耗函数，我们都有S形跨熵以及Softmax交叉熵。在使用预先训练的ImageNet架构中仅提取功能之后，图像被间接馈送到机器学习分类器。鉴于深度学习模型，通过传输学习使用微调Imagenet预训练模型的集合。到目前为止，我们的最佳分数与F2度量为0.927。

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

转移学习（TL）已成为神经网络（NNS）的科学应用中的强大工具，例如天气/气候预测和湍流建模。 TL可以实现分布的概括（例如，参数外推）和有效的不同训练集（例如，模拟和观察值）的有效混合。在TL中，使用目标系统中的小数据集对已经训练的基础系统进行了训练的NN的选定层。对于有效的TL，我们需要知道1）重新培训的最佳层是什么？ 2）在TL期间学到了哪些物理学？在这里，我们提出了新的分析和一个新的框架，以解决（1） - （2）的多种多数非线性系统。我们的方法将系统数据的光谱分析与卷积NN激活和内核的光谱分析相结合，从系统的非线性物理学来解释了TL的内部工作。使用几种2D湍流设置的亚网格尺度建模作为测试用例，我们表明，学习的内核是低，带和高通滤波器的组合，并且TL学习了新的过滤器，其性质与光谱差异一致基础和目标系统。我们还发现，在这些情况下，最浅的层是重新培训的最佳层，这违背了机器学习文献中指导TL的共同智慧。我们的框架根据物理和NN理论确定了事先重新训练的最佳层。这些分析共同解释了在TL中学到的物理学，并提供了一个框架，以指导TL，以在科学和工程中进行广泛的应用，例如气候变化建模。