有效的模型选择，用于向下游任务识别合适的预先训练的神经网络是深度学习中的基本但具有挑战性的任务。目前的实践需要昂贵的计算成本在模型训练中进行性能预测。在本文中，我们通过在训练期间分析突触连接（边缘）的控制动态来提出一个新颖的神经网络选择框架。我们的框架是基于神经网络培训期间的回波传播相当于突触连接的动态演变。因此，融合的神经网络与由那些边缘组成的网络系统的平衡状态相关联。为此，我们构建一个网络映射$ \ phi $，将神经网络$ g_a $转换为定向行图$ g_b $，它在$ g_a $中定义。接下来，我们推导出神经电容度量标准$ \ beta _ {\ rm upf} $普遍捕获下游任务上的预测措施，仅使用少数早期训练结果。我们使用17个流行的预先训练的Imagenet模型和五个基准数据集进行了广泛的实验，包括CiFar10，CiFar100，SVHN，时尚Mnist和鸟类，以评估我们框架的微调性能。我们的神经电容度量显示为仅基于早期训练结果的模型选择的强大指标，比最先进的方法更有效。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

Large multilayer neural networks trained with backpropagation have recently achieved state-ofthe-art results in a wide range of problems. However, using backprop for neural net learning still has some disadvantages, e.g., having to tune a large number of hyperparameters to the data, lack of calibrated probabilistic predictions, and a tendency to overfit the training data. In principle, the Bayesian approach to learning neural networks does not have these problems. However, existing Bayesian techniques lack scalability to large dataset and network sizes. In this work we present a novel scalable method for learning Bayesian neural networks, called probabilistic backpropagation (PBP). Similar to classical backpropagation, PBP works by computing a forward propagation of probabilities through the network and then doing a backward computation of gradients. A series of experiments on ten real-world datasets show that PBP is significantly faster than other techniques, while offering competitive predictive abilities. Our experiments also show that PBP provides accurate estimates of the posterior variance on the network weights.

过度分辨的神经网络概括井，但训练昂贵。理想情况下，人们希望减少其计算成本，同时保留其概括的益处。稀疏的模型培训是实现这一目标的简单和有希望的方法，但随着现有方法与准确性损失，慢速训练运行时的困难或困难，仍然存在挑战，仍然存在困难的挑战。核心问题是，在离散的一组稀疏矩阵上搜索稀疏性掩模是困难和昂贵的。为了解决此问题，我们的主要见解是通过具有称为蝴蝶矩阵产品的固定结构的固定结构来优化优化稀疏矩阵的连续超集。随着蝴蝶矩阵不是硬件效率，我们提出了简单的蝴蝶（块和平坦）的变体来利用现代硬件。我们的方法（像素化蝴蝶）使用基于扁平块蝴蝶和低秩矩阵的简单固定稀疏模式，以缩小大多数网络层（例如，注意，MLP）。我们经验验证了像素化蝴蝶比蝴蝶快3倍，加快培训，以实现有利的准确性效率权衡。在ImageNet分类和Wikitext-103语言建模任务中，我们的稀疏模型训练比致密的MLP - 混频器，视觉变压器和GPT-2媒体更快地训练高达2.5倍，没有精确下降。

深度学习文献通过新的架构和培训技术不断更新。然而，尽管有一些关于随机权重的发现，但最近的研究却忽略了重量初始化。另一方面，最近的作品一直在接近网络科学，以了解训练后人工神经网络（ANN）的结构和动态。因此，在这项工作中，我们分析了随机初始化网络中神经元的中心性。我们表明，较高的神经元强度方差可能会降低性能，而较低的神经元强度方差通常会改善它。然后，提出了一种新方法，根据其强度根据优先附着（PA）规则重新连接神经元连接，从而大大降低了通过常见方法初始化的层的强度方差。从这个意义上讲，重新布线仅重新组织连接，同时保留权重的大小和分布。我们通过对图像分类进行的广泛统计分析表明，在使用简单和复杂的体系结构和学习时间表时，在大多数情况下，在培训和测试过程中，性能都会提高。我们的结果表明，除了规模外，权重的组织也与更好的初始化初始化有关。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

我们分析了通过梯度流通过自洽动力场理论训练的无限宽度神经网络中的特征学习。我们构建了确定性动力学阶参数的集合，该参数是内部产物内核，用于在成对的时间点中，每一层中隐藏的单位激活和梯度，从而减少了通过训练对网络活动的描述。这些内核顺序参数共同定义了隐藏层激活分布，神经切线核的演变以及因此输出预测。我们表明，现场理论推导恢复了从Yang和Hu（2021）获得张量程序的无限宽度特征学习网络的递归随机过程。对于深线性网络，这些内核满足一组代数矩阵方程。对于非线性网络，我们提供了一个交替的采样过程，以求助于内核顺序参数。我们提供了与各种近似方案的自洽解决方案的比较描述。最后，我们提供了更现实的设置中的实验，这些实验表明，在CIFAR分类任务上，在不同宽度上保留了CNN的CNN的损耗和内核动力学。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

具有许多预训练模型（PTM）的模型中心已经是深度学习的基石。尽管以高成本建造，但它们仍然保持\ emph {探索}：从业人员通常会通过普及从提供的模型中心中选择一个PTM，然后对PTM进行微调以解决目标任务。这种na \“我的但共同的实践构成了两个障碍，以充分利用预训练的模型中心：（1）通过受欢迎程度选择的PTM选择没有最佳保证；（2）仅使用一个PTM，而其余的PTM则被忽略。理想情况下。理想情况下。 ，为了最大程度地利用预训练的模型枢纽，需要尝试所有PTM的所有组合和广泛的微调每个PTM组合，这会产生指数组合和不可偿还的计算预算。在本文中，我们提出了一种新的范围排名和调整预训练的模型：（1）我们的会议论文〜\ citep {you_logme：_2021}提出的logMe，以估算预先训练模型提取的标签证据的最大值，该标签证据可以在模型中排名所有PTMS用于各种类型的PTM和任务的枢纽\ Emph {微调之前}。（2）如果我们不偏爱模型的体系结构，则可以对排名最佳的PTM进行微调和部署，或者可以通过TOPE调整目标PTM -k通过t排名PTM他提出了b-tuning算法。排名部分基于会议论文，我们在本文中完成了其理论分析，包括启发式证据最大化程序的收敛证明和特征维度的影响。调整零件引入了一种用于调整多个PTM的新型贝叶斯调整（B-Tuning）方法，该方法超过了专门的方法，该方法旨在调整均匀的PTMS，并为调整异质PTMS设置了一种新的技术。利用PTM枢纽的新范式对于整个机器学习社区的大量受众来说可能会很有趣。

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

功能响应对一组标量预测变量的回归可能是一项具有挑战性的任务，尤其是如果有大量预测因子，这些预测因子具有交互作用，或者这些预测因子与响应之间的关系是非线性的。在这项工作中，我们为此问题提出了一个解决方案：馈送前向神经网络（NN），旨在预测使用标量输入的功能响应。首先，我们将功能响应转换为有限维表示，然后构建了输出此表示形式的NN。我们提出了不同的目标功能来训练NN。所提出的模型适用于定期和不规则间隔的数据，还提供了多种方法来应用粗糙度惩罚以控制预测曲线的平滑度。实现这两个功能的困难在于可以反向传播的目标函数的定义。在我们的实验中，我们证明了我们的模型在多种情况下优于常规尺度回归模型，同时计算缩放的尺寸更好。

平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32​​x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

这项工作将病毒在网络上传播的模型与其等效的神经网络表示。基于此连接，我们提出了一种新的神经网络体系结构，称为传输神经网络（Transnns），其中激活功能主要与链接相关，并允许具有不同的激活水平。此外，这种连接导致具有可调或可训练参数的三个新激活函数的发现和推导。此外，我们证明具有单个隐藏层和固定非零偏置项的Transns是通用函数近似器。最后，我们提出了基于Transnn的连续时间流行网络模型的新基本派生。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。

深度学习的成功激发了人们对大脑是否使用基于梯度的学习来学习层次结构表示的兴趣。但是，目前在深层神经网络中基于梯度的信用分配的生物学上合理的方法需要无限的小反馈信号，这在生物学上现实的嘈杂环境中是有问题的，并且与神经科学的实验证据不符，表明自上而下的反馈可以显着影响神经活动。在最近提出的一种信用分配方法的深度反馈控制（DFC）的基础上，我们结合了对神经活动的强烈反馈影响与基​​于梯度的学习，并表明这自然会导致对神经网络优化的新看法。权重更新并没有逐渐将网络权重转换为具有低输出损失的配置，而是逐渐最大程度地减少了将网络驱动到监督输出标签的控制器所需的反馈量。此外，我们表明，在DFC中使用强反馈的使用允许同时学习和反馈连接，并在时空中完全本地学习规则。我们通过对标准计算机视觉基准测试的实验来补充我们的理论结果，显示了反向传播的竞争性能以及对噪声的鲁棒性。总体而言，我们的工作提出了一种从根本上新颖的学习视图，作为控制最小化，同时避开了生物学上不切实际的假设。

We propose a simultaneous learning and pruning algorithm capable of identifying and eliminating irrelevant structures in a neural network during the early stages of training. Thus, the computational cost of subsequent training iterations, besides that of inference, is considerably reduced. Our method, based on variational inference principles using Gaussian scale mixture priors on neural network weights, learns the variational posterior distribution of Bernoulli random variables multiplying the units/filters similarly to adaptive dropout. Our algorithm, ensures that the Bernoulli parameters practically converge to either 0 or 1, establishing a deterministic final network. We analytically derive a novel hyper-prior distribution over the prior parameters that is crucial for their optimal selection and leads to consistent pruning levels and prediction accuracy regardless of weight initialization or the size of the starting network. We prove the convergence properties of our algorithm establishing theoretical and practical pruning conditions. We evaluate the proposed algorithm on the MNIST and CIFAR-10 data sets and the commonly used fully connected and convolutional LeNet and VGG16 architectures. The simulations show that our method achieves pruning levels on par with state-of the-art methods for structured pruning, while maintaining better test-accuracy and more importantly in a manner robust with respect to network initialization and initial size.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。