We consider minimizing the average of a very large number of smooth and possibly non-convex functions. This optimization problem has deserved much attention in the past years due to the many applications in different fields, the most challenging being training Machine Learning models. Widely used approaches for solving this problem are mini-batch gradient methods which, at each iteration, update the decision vector moving along the gradient of a mini-batch of the component functions. We consider the Incremental Gradient (IG) and the Random reshuffling (RR) methods which proceed in cycles, picking batches in a fixed order or by reshuffling the order after each epoch. Convergence properties of these schemes have been proved under different assumptions, usually quite strong. We aim to define ease-controlled modifications of the IG/RR schemes, which require a light additional computational effort and can be proved to converge under very weak and standard assumptions. In particular, we define two algorithmic schemes, monotone or non-monotone, in which the IG/RR iteration is controlled by using a watchdog rule and a derivative-free line search that activates only sporadically to guarantee convergence. The two schemes also allow controlling the updating of the stepsize used in the main IG/RR iteration, avoiding the use of preset rules. We prove convergence under the lonely assumption of Lipschitz continuity of the gradients of the component functions and perform extensive computational analysis using Deep Neural Architectures and a benchmark of datasets. We compare our implementation with both full batch gradient methods and online standard implementation of IG/RR methods, proving that the computational effort is comparable with the corresponding online methods and that the control on the learning rate may allow faster decrease.
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
在运输系统中引入信息和通信技术(ICT)导致了几个优势(运输,移动性,交通管理)。然而,它可能在增加安全挑战方面带来一些缺点,也与人类行为有关。作为一个例子,在过去的几十年中,尝试表征驱动程序的行为大多是针对性的。本文提出了一种安全的例程,一种范式,它使用驾驶员习惯来探讨驱动程序识别,特别是将车辆的所有者与其他驱动程序区分开来。我们根据机器学习技术与其他三项现有研究工作相结合评估安全的例程。结果是使用众所周知的指标来测量的,并显示安全的常规优于比较的作品。
translated by 谷歌翻译
培训阶段是机器学习过程中最重要的阶段。在标记数据和监督学习的情况下,机器培训包括最小化受不同约束的损失功能。在一个抽象的设置中,它可以制定为多个标准优化模型,其中每个标准测量与特定输入及其标签相关联的输出之间的距离。因此,拟合项是载体函数,并且其最小化旨在在帕雷托感测。我们为输入和输出数据的扰动提供了有效解决方案的稳定性结果。然后,我们将相同的方法扩展到使用多个数据集学习的情况。由于选择特定训练集而减少偏差,多个数据集环境是相关的。我们提出了一种使用MNIST数据在数字分类中实现该模型和数值实验的标准方法。
translated by 谷歌翻译
由于行业和人口的兴趣,{分散的应用程序}(DAPPS)的利益,占据了势头,特别是通过在区块链中担保的数字证书进行交易资产的势头。因此,提供对在区块线上进行的任何活动的清晰明确描述变得至关重要,并且我们认为至少为交易实现该描述的紧迫性。本文报告了如何利用\ eMPH {Service,Systems和Services集成的代理,系统和集成}(“\ ont {}”)作为存储在SlockChain上作为软件代理的智能合同的语义表示的一般手段。特别注意非娱乐令牌(NFT),其通过ERC721标准的管理作为案例研究。
translated by 谷歌翻译
目前,由精确的径向速度(RV)观察结果受到恒星活性引入的虚假RV信号的限制。我们表明,诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号(由于星形/张图引起的)。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号(例如Haywood等人,2014年)。取而代之的是,我们仅使用对光谱线平均形状的更改进行系统地删除活动信号,也没有有关收集观测值的信息。我们对模拟数据(使用SOAP 2.0软件生成; Dumusque等人,2014年生成)和从Harps-N太阳能望远镜(Dumusque等,2015; Phillips等人2015; 2016; Collier训练)培训了机器学习模型。 Cameron等人2019)。我们发现,这些技术可以从模拟数据(将RV散射从82 cm/s提高到3 cm/s)以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动(将RV散射从82 cm/s提高到3 cm/s)。 (将RV散射从1.753 m/s提高到1.039 m/s,提高了约1.7倍)。将来,这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号,并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译