神经网络在许多科学领域都变得流行，因为它们是有前途，可靠和强大的工具。在这项工作中，我们研究了数据增强对核物理数据神经网络模型的预测能力的影响。我们提供两种不同的数据增强技术，并根据不同的深度，优化器，激活功能和随机种子值进行详细的分析，以显示模型的成功和鲁棒性。首次使用实验不确定性进行数据扩展，人为地增强了训练数据集的大小，并且研究了测试集的模型预测与实验数据之间的根平方误差的变化。我们的结果表明，数据增强降低了预测错误，稳定模型并防止过度拟合。还测试了AME2020质量表中新测得的核的MLP模型的外推能力，并显示通过使用数据增强来显着改善预测。
translated by 谷歌翻译
最近，神经网络发生了重大发展。因此，神经网络经常在物理文献中使用。这项工作估计了使用神经网络从介子和巴里昂群众产生的异国情调的哈德子的质量。随后，使用最近提出的人工数据增强技术增加了数据数量。我们已经观察到，使用增强数据，神经网络的预测能力提高了。这项研究表明，数据增强技术在改善神经网络预测中起着至关重要的作用。此外，神经网络可以对异国情调的哈德子做出合理的预测，双重迷人和双重底层的重子。结果也与高斯过程和组成夸克模型相媲美。
translated by 谷歌翻译
2021-10-03
Compared to point estimates calculated by standard neural networks, Bayesian neural networks (BNN) provide probability distributions over the output predictions and model parameters, i.e., the weights. Training the weight distribution of a BNN, however, is more involved due to the intractability of the underlying Bayesian inference problem and thus, requires efficient approximations. In this paper, we propose a novel approach for BNN learning via closed-form Bayesian inference. For this purpose, the calculation of the predictive distribution of the output and the update of the weight distribution are treated as Bayesian filtering and smoothing problems, where the weights are modeled as Gaussian random variables. This allows closed-form expressions for training the network's parameters in a sequential/online fashion without gradient descent. We demonstrate our method on several UCI datasets and compare it to the state of the art.
translated by 谷歌翻译
受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。
translated by 谷歌翻译
Deep neural nets with a large number of parameters are very powerful machine learning systems. However, overfitting is a serious problem in such networks. Large networks are also slow to use, making it difficult to deal with overfitting by combining the predictions of many different large neural nets at test time. Dropout is a technique for addressing this problem. The key idea is to randomly drop units (along with their connections) from the neural network during training. This prevents units from co-adapting too much. During training, dropout samples from an exponential number of different "thinned" networks. At test time, it is easy to approximate the effect of averaging the predictions of all these thinned networks by simply using a single unthinned network that has smaller weights. This significantly reduces overfitting and gives major improvements over other regularization methods. We show that dropout improves the performance of neural networks on supervised learning tasks in vision, speech recognition, document classification and computational biology, obtaining state-of-the-art results on many benchmark data sets.
translated by 谷歌翻译
欧文（Owen）和霍伊特（Hoyt）最近表明，有效维度提供了有关人工神经网络基础的投入输出映射的关键结构信息。沿着这一研究，这项工作提出了一个估算过程，该过程允许从给定数据集计算平均维度，而无需重新采样外部分布。当功能独立时，当特征相关时，设计会产生总索引。我们表明，这种变体具有零独立性。使用合成数据集，我们分析了平均维度如何按一层演化，以及激活函数如何影响相互作用的幅度。然后，我们使用平均维度来研究一些用于图像识别的最广泛使用的卷积架构（Lenet，Resnet，Densenet）。为了说明像素相关性，我们建议在添加逆PCA层后计算平均尺寸，该层允许人们在无关的PCA转换功能上工作，而无需重新训练神经网络。我们使用广义的总索引来生产热图用于事后解释，并且我们在PCA转换特征上采用了平均维度来进行人工神经网络结构的交叉比较。结果提供了有关架构之间相互作用幅度差异的几个见解，以及有关训练过程中平均维度如何演变的指示。
translated by 谷歌翻译
The International Atomic Energy Agency (IAEA) stopping power database is a highly valued public resource compiling most of the experimental measurements published over nearly a century. The database-accessible to the global scientific community-is continuously updated and has been extensively employed in theoretical and experimental research for more than 30 years. This work aims to employ machine learning algorithms on the 2021 IAEA database to predict accurate electronic stopping power cross sections for any ion and target combination in a wide range of incident energies. Unsupervised machine learning methods are applied to clean the database in an automated manner. These techniques purge the data by removing suspicious outliers and old isolated values. A large portion of the remaining data is used to train a deep neural network, while the rest is set aside, constituting the test set. The present work considers collisional systems only with atomic targets. The first version of the ESPNN (electronic stopping power neural-network code), openly available to users, is shown to yield predicted values in excellent agreement with the experimental results of the test set.
translated by 谷歌翻译
我们展示了各种功能和类，可以通过改进机器学习协助的参数空间进行采样过程。特别注意设置理智默认值的目标是，不同问题要求的调整仍然很小。从查找参数空间的界限到在感兴趣的领域中积累样本的界限，可以使用此例程集来进行不同类型的分析。特别是，我们讨论了通过合并不同的机器学习模型来帮助的两种方法：回归和分类。我们表明，机器学习分类器可以为探索参数空间提供更高的效率。此外，我们引入了一种提升技术，以改善过程开始时的缓慢收敛性。在一些示例的帮助下，更好地解释了这些例程的使用，这些示例说明了人们可以获得的结果类型。我们还包括用于获取示例的代码的示例，以及可以对调整计算适应其他问题的调整的描述。我们通过在探索与测得的HigGS玻色子信号强度匹配的两个HIGGS DoubleT模型的参数空间时显示这些技术的影响来最终确定。本文使用的代码和有关如何使用它的说明可在网络上可用。
translated by 谷歌翻译
在概述中，引入了通用数学对象（映射），并解释了其与模型物理参数化的关系。引入了可用于模拟和/或近似映射的机器学习（ML）工具。ML的应用在模拟现有参数化，开发新的参数化，确保物理约束和控制开发应用程序的准确性。讨论了一些允许开发人员超越标准参数化范式的ML方法。
translated by 谷歌翻译
2020-02-02
为了对线性不可分离的数据进行分类，神经元通常被组织成具有至少一个隐藏层的多层神经网络。灵感来自最近神经科学的发现，我们提出了一种新的神经元模型以及一种新的激活函数，可以使用单个神经元来学习非线性决策边界。我们表明标准神经元随后是新颖的顶端枝晶激活（ADA）可以使用100 \％的精度来学习XOR逻辑函数。此外，我们在计算机视觉，信号处理和自然语言处理中进行五个基准数据集进行实验，即摩洛哥，utkface，crema-d，时尚mnist和微小的想象成，表明ADA和泄漏的ADA功能提供了卓越的结果用于各种神经网络架构的整流线性单元（Relu），泄漏的Relu，RBF和嗖嗖声，例如单隐层或两个隐藏层的多层的Perceptrons（MLPS）和卷积神经网络（CNNS），如LENET，VGG，RESET和字符级CNN。当我们使用具有顶端树突激活（Pynada）的金字塔神经元改变神经元的标准模型时，我们获得进一步的性能改进。我们的代码可用于：https://github.com/raduionescu/pynada。
translated by 谷歌翻译
2022-10-17
An activation function has a significant impact on the efficiency and robustness of the neural networks. As an alternative, we evolved a cutting-edge non-monotonic activation function, Negative Stimulated Hybrid Activation Function (Nish). It acts as a Rectified Linear Unit (ReLU) function for the positive region and a sinus-sigmoidal function for the negative region. In other words, it incorporates a sigmoid and a sine function and gaining new dynamics over classical ReLU. We analyzed the consistency of the Nish for different combinations of essential networks and most common activation functions using on several most popular benchmarks. From the experimental results, we reported that the accuracy rates achieved by the Nish is slightly better than compared to the Mish in classification.
translated by 谷歌翻译
海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。
translated by 谷歌翻译
在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
Tensorbnn是一个基于TensorFlow的新软件包，可实现现代神经网络模型的贝叶斯推断。神经网络模型参数的后密度表示为使用哈密顿蒙特卡洛采样的点云。Tensorbnn软件包利用Tensorflow的架构和培训功能以及在培训和预测阶段使用现代图形处理单元（GPU）的能力。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。
translated by 谷歌翻译
延时电阻率断层扫描（ERT）是一种流行的地球物理方法，可从电势差测量中估算三维（3D）通透性场。传统的反转和数据同化方法用于将这些数据吸收到水域模型中以估计渗透性。由于不适合性和维度的诅咒，现有的反转策略提供了较差的估计值和3D渗透率场的低分辨率。深度学习的最新进展为我们提供了强大的算法来克服这一挑战。本文提出了一个深度学习（DL）框架，以估算从延时ERT数据中的3D地下渗透性。为了测试所提出的框架的可行性，我们在模拟数据上训练了启用DL的逆模型。基于水域物理学的地下过程模型用于生成此合成数据以进行深度学习分析。结果表明，拟议的弱监督学习可以捕获3D渗透性领域中的显着空间特征。在数量上，在标记的训练，验证和测试数据集的平均平方平方误差（就自然日志而言）小于0.5。 R2评分（全局度量）大于0.75，每个单元格（本地度量）的百分比误差小于10％。最后，在计算成本方面的额外好处是，所提出的基于DL的反向模型至少比运行正向模型快的速度（104）倍。请注意，传统倒置可能需要多个前向模型模拟（例如，按10到1000的顺序），这非常昂贵。这种计算节省（O（105）-O（107））使提出的基于DL的逆模型具有对地下成像和实时ERT监视应用程序的吸引力，这是由于快速而相当准确的渗透性场估计。
translated by 谷歌翻译
使用卷积神经网络（CNN）已经显着改善了几种图像处理任务，例如图像分类和对象检测。与Reset和Abseralnet一样，许多架构在创建时至少在一个数据集中实现了出色的结果。培训的一个关键因素涉及网络的正规化，这可以防止结构过度装备。这项工作分析了在过去几年中开发的几种正规化方法，显示了不同CNN模型的显着改进。该作品分为三个主要区域：第一个称为“数据增强”，其中所有技术都侧重于执行输入数据的更改。第二个，命名为“内部更改”，旨在描述修改神经网络或内核生成的特征映射的过程。最后一个称为“标签”，涉及转换给定输入的标签。这项工作提出了与关于正则化的其他可用调查相比的两个主要差异：（i）第一个涉及在稿件中收集的论文并非超过五年，并第二个区别是关于可重复性，即所有作品此处推荐在公共存储库中可用的代码，或者它们已直接在某些框架中实现，例如Tensorflow或Torch。
translated by 谷歌翻译
已知神经网络模型加强隐藏的数据偏差，使它们不可靠且难以解释。我们试图通过在功能空间中引入归纳偏差来构建“知道他们不知道的内容”。我们表明贝叶斯神经网络的定期激活功能在网络权重和平移 - 不变，静止的高斯过程前沿建立了连接之间的连接。此外，我们表明，通过覆盖三角波和周期性的Relu激活功能，该链接超出了正弦波（傅里叶）激活。在一系列实验中，我们表明定期激活功能获得了域内数据的可比性，并捕获对深度神经网络中的扰动输入的灵敏度进行域名检测。
translated by 谷歌翻译