传统的基于频率的投影滤波器，或投影运算符（PO），通过一系列变换单独的信号和噪声，该变换除去存在噪声的频率。然而，该技术依赖于先验的频率包含信号和噪声的知识，并且这些频率不重叠，这难以在实践中实现。为了解决这些问题，我们介绍了PO-Neural网络混合模型，伪投影算子（PPO），其利用神经网络进行频率选择。我们将PPO，PO和DENOISING AUTOENCODER（DAE）的过滤功能与罗切斯特大学的多模态音乐性能数据集进行了各种添加的噪声类型。在大多数实验中，PPO都优于PO和DAE。根据这些结果，我们建议将PPO应用于身体和生物科学中的问题。

许多物理系统由普通的或部分微分方程描述，其解决方案由复杂域中的全象或亚纯函数给出。在许多情况下，只有在纯虚拟JW轴上的各个点上只观察到这些功能的大小，因为它们的阶段的相干测量通常是昂贵的。然而，期望在可能的情况下从幅度中检索丢失的阶段。为此，我们提出了一种基于Blaschke产品的物理漏险的深神经网络，用于相位检索。灵感来自赫尔森和Sarason定理，我们使用Blaschke产品神经网络（BPNN）来恢复Blaschke产品的合理功能系数，基于输入作为输入的幅度观察。然后使用得到的Rational函数进行相位检索。我们将BPNN与常规深度神经网络（NNS）进行比较多相检索问题，包括合成和当代的现实世界问题（例如，数据收集需要大量专业知识的超材料，并且耗时）。在每个阶段检索问题上，我们与不同尺寸和超参数设置的传统NNS群体进行比较。即使没有任何超参数搜索，我们发现BPNNS始终如一地优于稀缺数据场景中优化NNS的群体，并且尽管模型更小。结果又可以应用于计算超材料的折射率，这是物质科学新兴领域的重要问题。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

我们介绍了一种新颖的谐波分析，用于在函数上定义的函数，随机步行操作员是基石。作为第一步，我们将随机步行操作员的一组特征向量作为非正交傅里叶类型的功能，用于通过定向图。我们通过将从其Dirichlet能量获得的随机步行操作员的特征向量的变化与其相关的特征值的真实部分连接来发现频率解释。从这个傅立叶基础，我们可以进一步继续，并在有向图中建立多尺度分析。通过将Coifman和MagGioni扩展到定向图，我们提出了一种冗余小波变换和抽取的小波变换。因此，我们对导向图的谐波分析的发展导致我们考虑应用于突出了我们框架效率的指示图的图形上的半监督学习问题和信号建模问题。

We propose a novel method for constructing wavelet transforms of functions defined on the vertices of an arbitrary finite weighted graph. Our approach is based on defining scaling using the the graph analogue of the Fourier domain, namely the spectral decomposition of the discrete graph Laplacian L. Given a wavelet generating kernel g and a scale parameter t, we define the scaled wavelet operator T t g = g(tL). The spectral graph wavelets are then formed by localizing this operator by applying it to an indicator function. Subject to an admissibility condition on g, this procedure defines an invertible transform. We explore the localization properties of the wavelets in the limit of fine scales. Additionally, we present a fast Chebyshev polynomial approximation algorithm for computing the transform that avoids the need for diagonalizing L. We highlight potential applications of the transform through examples of wavelets on graphs corresponding to a variety of different problem domains.

A link stream is a set of triplets $(t, u, v)$ indicating that $u$ and $v$ interacted at time $t$. Link streams model numerous datasets and their proper study is crucial in many applications. In practice, raw link streams are often aggregated or transformed into time series or graphs where decisions are made. Yet, it remains unclear how the dynamical and structural information of a raw link stream carries into the transformed object. This work shows that it is possible to shed light into this question by studying link streams via algebraically linear graph and signal operators, for which we introduce a novel linear matrix framework for the analysis of link streams. We show that, due to their linearity, most methods in signal processing can be easily adopted by our framework to analyze the time/frequency information of link streams. However, the availability of linear graph methods to analyze relational/structural information is limited. We address this limitation by developing (i) a new basis for graphs that allow us to decompose them into structures at different resolution levels; and (ii) filters for graphs that allow us to change their structural information in a controlled manner. By plugging-in these developments and their time-domain counterpart into our framework, we are able to (i) obtain a new basis for link streams that allow us to represent them in a frequency-structure domain; and (ii) show that many interesting transformations to link streams, like the aggregation of interactions or their embedding into a euclidean space, can be seen as simple filters in our frequency-structure domain.

在本文中，我们在关注最先进的变压器中应用自我关注，这是第一次需要与部分微分方程相关的数据驱动的操作员学习问题。努力放在一起解释启发式，提高注意机制的功效。通过在希尔伯特空间中采用操作员近似理论，首次证明了Softmax归一化在缩放的点产品中的关注中足够但没有必要。在没有软墨中的情况下，可以证明线性化变换器变型的近似容量与Petrov-Galerkin投影层 - 明智相当，并且估计是相对于序列长度的独立性。提出了一种模仿Petrov-Galerkin投影的新层归一化方案，以允许缩放通过注意层传播，这有助于模型在具有非通信数据的操作员学习任务中实现显着准确性。最后，我们展示了三个操作员学习实验，包括粘虫汉堡方程，接口达西流程，以及逆接口系数识别问题。新提出的简单关注的算子学习者Galerkin变压器，在Softmax归一化的同行中，培训成本和评估准确性都显示出显着的改进。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

尽管基于变压器的方法已显着改善了长期序列预测的最新结果，但它们不仅在计算上昂贵，而且更重要的是，无法捕获全球时间序列的观点（例如，整体趋势）。为了解决这些问题，我们建议将变压器与季节性趋势分解方法相结合，在这种方法中，分解方法捕获了时间序列的全局概况，而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能，我们利用了以下事实：大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式，并开发出频率增强的变压器。除了更有效外，所提出的方法被称为频率增强分解变压器（{\ bf fedFormer}），比标准变压器更有效，具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FedFormer可以将预测错误降低14.8 \％$ $和$ 22.6 \％\％\％\％$ $，分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。

在本文中，我们将预处理技术应用于具有不同长度的多通道时间序列数据，我们称之为对齐问题，用于下游机器学习。多种原因可能发生多种渠道时间序列数据的未对准，原因有多种原因，例如丢失的数据，变化的采样率或不一致的收集时间。我们考虑从MIT SuperCloud高性能计算（HPC）中心收集的多渠道时间序列数据，其中不同的工作开始时间和HPC作业的运行时间不同，导致数据不对准。这种未对准使得为计算工作负载分类等任务构建AI/ML方法具有挑战性。在先前使用MIT SuperCloud数据集的监督分类工作的基础上，我们通过三种宽阔的低间接空间方法解决了对齐问题：从全职系列中抽样固定子集，在全职系列上执行摘要统计信息，并对系数进行取样。从映射到频域的时间序列。我们最佳性能模型的分类精度大于95％，以先前的方法对MIT SuperCloud数据集的多通道时间序列分类的表现优于5％。这些结果表明，我们的低间接费用方法与标准机器学习技术结合使用，能够达到高水平的分类准确性，并作为解决对齐问题（例如内核方法）的未来方法的基准。

最新提出的基于变压器的图形模型的作品证明了香草变压器用于图形表示学习的不足。要了解这种不足，需要研究变压器的光谱分析是否会揭示其对其表现力的见解。类似的研究已经确定，图神经网络（GNN）的光谱分析为其表现力提供了额外的观点。在这项工作中，我们系统地研究并建立了变压器领域中的空间和光谱域之间的联系。我们进一步提供了理论分析，并证明了变压器中的空间注意机制无法有效捕获所需的频率响应，因此，固有地限制了其在光谱空间中的表现力。因此，我们提出了feta，该框架旨在在整个图形频谱（即图形的实际频率成分）上进行注意力类似于空间空间中的注意力。经验结果表明，FETA在标准基准的所有任务中为香草变压器提供均匀的性能增益，并且可以轻松地扩展到具有低通特性的基于GNN的模型（例如GAT）。

在本文中，我们为基于非交换代数的代数神经网络（ALGNN）提供稳定性结果。 ALGNN是堆叠的分层结构，每个层都与代数信号模型（ASM）相关联，由代数，矢量空间和同态性。信号被建模为矢量空间的元素，过滤器是代数中的元素，而同态则可以实现过滤器作为混凝土操作员。我们研究了代数过滤器在非交换代数对同态扰动中的稳定性，并提供了保证稳定性的条件。我们表明，轮班运算符和偏移和扰动之间的换向性不会影响稳定体系结构的属性。这提供了一个问题，即转移不变性是否是保证稳定性的卷积体系结构的必要属性。此外，我们表明，尽管非交换代数中过滤器的频率响应在交换代数中与过滤器相对于过滤器表现出很大的差异，但它们的稳定过滤器的衍生物具有相似的行为。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

Research in Graph Signal Processing (GSP) aims to develop tools for processing data defined on irregular graph domains. In this paper we first provide an overview of core ideas in GSP and their connection to conventional digital signal processing, along with a brief historical perspective to highlight how concepts recently developed in GSP build on top of prior research in other areas. We then summarize recent advances in developing basic GSP tools, including methods for sampling, filtering or graph learning. Next, we review progress in several application areas using GSP, including processing and analysis of sensor network data, biological data, and applications to image processing and machine learning.

图卷积学习导致了各个领域的许多令人兴奋的发现。但是，在某些应用中，传统图不足以捕获数据的结构和复杂性。在这种情况下，多编码自然出现是可以嵌入复杂动力学的离散结构。在本文中，我们开发了有关多编码的卷积信息处理，并引入了卷积多编码神经网络（MGNN）。为了捕获每个多数边缘内外的信息传播的复杂动力学，我们正式化了一个卷积信号处理模型，从而定义了多格画上信号，过滤和频率表示的概念。利用该模型，我们开发了多个学习架构，包括采样程序以降低计算复杂性。引入的体系结构用于最佳无线资源分配和仇恨言语本地化任务，从而比传统的图形神经网络的性能提高了。

无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。

线性时间不变的状态空间模型（SSM）是工程和统计数据的经典模型，最近通过结构化状态空间序列模型（S4）证明，在机器学习中非常有前途。 S4的核心成分涉及将SSM状态矩阵初始化为称为HIPPO矩阵的特定矩阵，这对于S4处理长序列的能力在经验上很重要。但是，S4使用的特定矩阵实际上是在特定时间变化的动态系统中得出的，并且将此矩阵用作时间不变的SSM没有已知的数学解释。因此，S4模拟远程依赖性的理论机制实际上仍无法解释。我们得出了河马框架的更一般和直观的公式，该框架将S4作为对指数型的Legendre多项式的分解提供了简单的数学解释，解释了其捕获长依赖性的能力。我们的概括引入了理论上丰富的SSM类，还使我们能够为其他碱基（例如傅立叶基础）得出更直观的S4变体，并解释了训练S4的其他方面，例如如何初始化重要的时间表参数。这些见解将S4的性能提高到远程竞技场基准的86％，在最困难的Path-X任务中，S4的性能为96％。

分析了无限维函数空间之间地图的深层替代物的近似速率，例如作为线性和非线性偏微分方程的数据到解决图。具体而言，我们研究了深神经操作员和广义多项式混乱（GPC）操作员的近似速率，用于无线性，可分开的希尔伯特空间之间的非线性，全态图。假定功能空间的运算符和输出通过稳定的仿射表示系统进行参数化。可接受的表示系统包括正常基础，RIESZ底座或所考虑的空间的合适的紧密框架。建立了代数表达速率界限，为具有有限的Sobolev或BESOV规律性的范围内的深层神经和GPC操作员替代物都作用于可分离的Hilbert空间和拟合图表的范围。我们通过表达速率界限来说明抽象速率界限的系数到测序图，用于圆环上线性椭圆形PDE。