可以使用求解动态系统的数值方法来构建卷积神经网络，因为网络的正向通行证可以视为动力学系统的轨迹。但是，基于数值求解器的现有模型无法避免隐式方法的迭代，这使得模型在推理时效率低下。在本文中，我们从动态系统视图中重新解释了预激活残差网络（RESNET）及其变体。我们认为，隐式runge-kutta方法的迭代融合到了这些模型的训练中。此外，我们提出了一种基于高阶runge-kutta方法来构建网络模型的新方法，以实现更高的效率。我们提出的模型称为Runge-Kutta卷积神经网络（RKCNNS）。在多个基准数据集上评估了RKCNN。实验结果表明，RKCNN优于其他动态系统网络模型：它们具有更高的精度，资源较少。他们还基于动态系统的数值方法扩展了网络模型家族。

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections-one between each layer and its subsequent layer-our network has L(L+1) 2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet.

深层剩余网络（RESNET）在各种现实世界应用中显示出最先进的性能。最近，重新聚集了重新分解模型并将其解释为连续的普通微分方程或神经模型的解决方案。在这项研究中，我们提出了一个具有层变化参数的神经通用的普通微分方程（神经 - 理）模型，以进一步扩展神经模块以近似离散的重新NET。具体而言，我们使用非参数B-Spline函数来参数化神经形成，以便可以轻松平衡模型复杂性和计算效率之间的权衡。证明重新结构和神经码模型是所提出的神经形模型的特殊情况。基于两个基准数据集，MNIST和CIFAR-10，我们表明，与标准神经模板相比，与层变化的神经形成更加灵活和通用。此外，神经学享有计算和记忆益处，同时在预测准确性方面具有相当的性能。

最近引入的普通微分方程网络（ODE-网）在深度学习和动态系统之间建立了丰富的连接。在这项工作中，我们使用基础函数的线性组合重新考虑重量作为连续的函数，这使我们能够利用诸如功能投影的参数变换。反过来，这个视图允许我们制定处理有状态层的新型有状态ode-块。这个新的ode-块的好处是双重的：首先，它使得能够纳入有意义的连续深度批量归一代化层以实现最先进的性能;其次，它使得能够通过改变来压缩权重，而不会再培训，同时保持近最先进的性能并降低推理时间和存储器占用。使用卷积单元和（b）使用变压器编码器单元将（b）句子标记任务应用于（a）图像分类任务来证明性能。

哪种卷积神经网络（CNN）结构表现良好的问题令人着迷。在这项工作中，我们通过连接零稳定性和模型性能，再通过一步向答案转向答案。具体而言，我们发现，如果普通微分方程的离散求解器为零稳定，则与该求解器相对应的CNN表现良好。我们首先在深度学习的背景下对零稳定性进行解释，然后在不同的零稳定情况下研究现有的一阶和二阶CNN的性能。基于初步观察，我们为构建CNN提供了高阶离散化，然后提出了一个零稳定的网络（ZeroSNET）。为了确保零稳定性的零稳定性，我们首先推断出满足一致性条件的结构，然后给出无训练参数的零稳定区域。通过分析特征方程的根，我们从理论上获得特征图的最佳系数。从经验上讲，我们从三个方面介绍了结果：我们提供了不同数据集上不同深度的广泛经验证据，以表明特征方程式的根源是需要历史特征的CNN表现的关键；我们的实验表明，零值优于基于高级离散化的现有CNN。零件在输入上显示出更好的鲁棒性。源代码可在\ url {https://github.com/longjin-lab/zerosnet}中获得。

连续深度神经网络，例如神经常规差分方程（ODES），近年来始终引起了机器学习和数据科学社区的大量兴趣，这弥合了深度神经网络和动态系统之间的连接。在本文中，我们介绍了一种新的连续深度神经网络，称为神经分段恒定延迟微分方程（PCDDE）。这里，与最近提出的神经延迟微分方程（DDES）的框架不同，我们将单个延迟转换为分段恒定的延迟。一方面，具有这种变换的神经PCDDE，在神经DDES中继承了通用近似能力的强度。另一方面，神经PCDDE，利用来自多个先前时间步骤的信息的贡献，进一步推广建模能力，而不会增加网络维度。通过如此促销，我们表明神经PCDDES在一维分段恒定延迟群体动态和现实世界数据集中的几个现有的连续深度神经框架，包括MNIST，CIFAR10和SVHN。

Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.

我们研究了科学计算的数值算法的元学习，它将一般算法结构的数学驱动，手工设计与特定的任务类的数据驱动的适应相结合。这表示从数值分析中的经典方法的偏离，这通常不具有这种基于学习的自适应。作为一个案例研究，我们开发了一种机器学习方法，基于Runge-Kutta（RK）Integrator架构，自动学习用于常用方程式（ODES）形式的初始值问题的有效求解器。通过组合神经网络近似和元学习，我们表明我们可以获得针对目标差分方程系的高阶集成商，而无需手头计算积分器系数。此外，我们证明，在某些情况下，我们可以获得古典RK方法的卓越性能。这可以归因于通过该方法识别和利用ode系列的某些属性。总的来说，这项工作展示了基于学习的基于学习的方法，用于设计差分方程的数值解的算法，一种方法可以容易地扩展到其他数值任务。

卷积神经网络（CNN）通过堆叠卷积层增加深度，而更深的网络模型在图像识别方面的表现更好。实证研究表明，简单地堆叠卷积层不会使网络训练更好，而跳过连接（残留学习）可以改善网络模型性能。对于图像分类任务，具有全球密集连接体系结构的模型在ImageNet等大型数据集中表现良好，但不适用于CIFAR-10和SVHN等小型数据集。与密集的连接不同，我们提出了两种连接层的新算法。基线是一个密集的连接网络，由两个新算法连接的网络分别命名为ShortNet1和ShortNet2。CIFAR-10和SVHN上图像分类的实验结果表明，ShortNet1的测试错误率低5％，推理时间比基线快25％。ShortNet2将推理时间加速40％，测试准确性损失较小。

扩散是分子从较高浓度的区域的运动到较低浓度的区域。它可用于描述数据点之间的交互。在许多机器学习问题包括转导半监督学习和少量学习的问题，标记和未标记的数据点之间的关系是高分类精度的关键组件。在本文中，由对流扩散颂歌的启发，我们提出了一种新颖的扩散剩余网络（Diff-Reset），将扩散机制引入内部的神经网络中。在结构化数据假设下，证明扩散机构可以提高距离直径比，从而提高了阶级间点间的可分离性，并减少了局部分类点之间的距离。该特性可以通过用于构建可分离超平面的剩余网络来轻松采用。各种数据集中的半监控图节点分类和几次拍摄图像分类的广泛实验验证了所提出的扩散机制的有效性。

我们为深度残留网络（RESNETS）提出了一种全球收敛的多级训练方法。设计的方法可以看作是递归多级信任区域（RMTR）方法的新型变体，该方法通过在训练过程中自适应调节迷你批量，在混合（随机确定性）设置中运行。多级层次结构和传输运算符是通过利用动力学系统的观点来构建的，该观点通过重新连接来解释远期传播作为对初始值问题的正向Euler离散化。与传统的培训方法相反，我们的新型RMTR方法还通过有限的内存SR1方法结合了有关多级层次结构各个级别的曲率信息。使用分类和回归领域的示例，对我们的多级训练方法的总体性能和收敛属性进行了数值研究。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

重型模型引起了神经网络现代发展的关注。深度平衡模型（DEQ）代表具有重量趋势的无限深度神经网络，最近的研究表明了这种方法的潜力。需要迭代解决训练中的根发现问题，并建立在模型确定的基础动力学基础上，需要DEQ。在本文中，我们介绍了稳定的不变模型（SIM），这是一种新的深层模型，原理在稳定性下近似DEQ，并将动力学扩展到更一般的动力学，从而收敛到不变的集合（不受固定点的限制）。得出SIMS的关键要素是用Koopman和Perron--Frobenius操作员的光谱表示动力学的代表。该视角大致揭示了用DEQS揭示稳定的动力学，然后衍生了两个SIMS的变体。我们还提出了可以以与前馈模型相同的方式学习的SIMS的实现。我们通过实验说明了SIMS的经验表现，并证明SIMS在几个学习任务中对DEQ实现了比较或出色的表现。

神经常规差分方程（ODES）最近在各种研究域中引起了不断的关注。有一些作品研究了神经杂物的优化问题和近似能力，但他们的鲁棒性尚不清楚。在这项工作中，我们通过探索神经杂物经验和理论上的神经杂物的鲁棒性质来填补这一重要差异。我们首先通过将它们暴露于具有各种类型的扰动并随后研究相应输出的变化来提出基于神经竞争的网络（odeNets）的鲁棒性的实证研究。与传统的卷积神经网络（CNNS）相反，我们发现odeenets对随机高斯扰动和对抗性攻击示例的更稳健。然后，我们通过利用连续时间颂的流动的某种理想性能来提供对这种现象的富有识别理解，即积分曲线是非交叉的。我们的工作表明，由于其内在的稳健性，它很有希望使用神经杂散作为构建强大的深网络模型的基本块。为了进一步增强香草神经杂物杂物的鲁棒性，我们提出了时间不变的稳定神经颂（Tisode），其通过时间不变性和施加稳态约束来规则地规则地规则地对扰动数据的流程。我们表明，Tisode方法优于香草神经杂物，也可以与其他最先进的架构方法一起制造更强大的深网络。 \ url {https://github.com/hanshuyan/tisode}

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

We propose two efficient approximations to standard convolutional neural networks: Binary-Weight-Networks and XNOR-Networks. In Binary-Weight-Networks, the filters are approximated with binary values resulting in 32× memory saving. In XNOR-Networks, both the filters and the input to convolutional layers are binary. XNOR-Networks approximate convolutions using primarily binary operations. This results in 58× faster convolutional operations (in terms of number of the high precision operations) and 32× memory savings. XNOR-Nets offer the possibility of running state-of-the-art networks on CPUs (rather than GPUs) in real-time. Our binary networks are simple, accurate, efficient, and work on challenging visual tasks. We evaluate our approach on the ImageNet classification task. The classification accuracy with a Binary-Weight-Network version of AlexNet is the same as the full-precision AlexNet. We compare our method with recent network binarization methods, BinaryConnect and BinaryNets, and outperform these methods by large margins on ImageNet, more than 16% in top-1 accuracy. Our code is available at: http://allenai.org/plato/xnornet.

使用卷积神经网络（CNN）已经显着改善了几种图像处理任务，例如图像分类和对象检测。与Reset和Abseralnet一样，许多架构在创建时至少在一个数据集中实现了出色的结果。培训的一个关键因素涉及网络的正规化，这可以防止结构过度装备。这项工作分析了在过去几年中开发的几种正规化方法，显示了不同CNN模型的显着改进。该作品分为三个主要区域：第一个称为“数据增强”，其中所有技术都侧重于执行输入数据的更改。第二个，命名为“内部更改”，旨在描述修改神经网络或内核生成的特征映射的过程。最后一个称为“标签”，涉及转换给定输入的标签。这项工作提出了与关于正则化的其他可用调查相比的两个主要差异：（i）第一个涉及在稿件中收集的论文并非超过五年，并第二个区别是关于可重复性，即所有作品此处推荐在公共存储库中可用的代码，或者它们已直接在某些框架中实现，例如Tensorflow或Torch。

Very deep convolutional networks with hundreds of layers have led to significant reductions in error on competitive benchmarks. Although the unmatched expressiveness of the many layers can be highly desirable at test time, training very deep networks comes with its own set of challenges. The gradients can vanish, the forward flow often diminishes, and the training time can be painfully slow. To address these problems, we propose stochastic depth, a training procedure that enables the seemingly contradictory setup to train short networks and use deep networks at test time. We start with very deep networks but during training, for each mini-batch, randomly drop a subset of layers and bypass them with the identity function. This simple approach complements the recent success of residual networks. It reduces training time substantially and improves the test error significantly on almost all data sets that we used for evaluation. With stochastic depth we can increase the depth of residual networks even beyond 1200 layers and still yield meaningful improvements in test error (4.91% on CIFAR-10).

随着计算机愿景任务中的神经网络的不断发展，越来越多的网络架构取得了突出的成功。作为最先进的神经网络架构之一，DenSenet捷径所有特征映射都可以解决模型深度的问题。虽然这种网络架构在低MAC（乘法和累积）上具有优异的准确性，但它需要过度推理时间。为了解决这个问题，HardNet减少了特征映射之间的连接，使得其余连接类似于谐波。然而，这种压缩方法可能导致模型精度和增加的MAC和模型大小降低。该网络架构仅减少了内存访问时间，需要改进其整体性能。因此，我们提出了一种新的网络架构，使用阈值机制来进一步优化连接方法。丢弃不同卷积层的不同数量的连接以压缩阈值中的特征映射。所提出的网络架构使用了三个数据集，CiFar-10，CiFar-100和SVHN，以评估图像分类的性能。实验结果表明，与DENSENET相比，阈值可降低推理时间高达60％，并且在这些数据集上的硬盘相比，训练速度快高达35％的训练速度和20％的误差率降低。