Recent advances in deep learning have enabled us to address the curse of dimensionality (COD) by solving problems in higher dimensions. A subset of such approaches of addressing the COD has led us to solving high-dimensional PDEs. This has resulted in opening doors to solving a variety of real-world problems ranging from mathematical finance to stochastic control for industrial applications. Although feasible, these deep learning methods are still constrained by training time and memory. Tackling these shortcomings, Tensor Neural Networks (TNN) demonstrate that they can provide significant parameter savings while attaining the same accuracy as compared to the classical Dense Neural Network (DNN). In addition, we also show how TNN can be trained faster than DNN for the same accuracy. Besides TNN, we also introduce Tensor Network Initializer (TNN Init), a weight initialization scheme that leads to faster convergence with smaller variance for an equivalent parameter count as compared to a DNN. We benchmark TNN and TNN Init by applying them to solve the parabolic PDE associated with the Heston model, which is widely used in financial pricing theory.
translated by 谷歌翻译
部分微分方程（PDE）用于对科学和工程中的各种动力系统进行建模。深度学习的最新进展使我们能够以新的方式解决维度的诅咒，从而在更高的维度中解决它们。但是，深度学习方法受到训练时间和记忆的约束。为了解决这些缺点，我们实施了张量神经网络（TNN），这是一种量子启发的神经网络体系结构，利用张量网络的想法来改进深度学习方法。我们证明，与经典密集神经网络（DNN）相比，TNN提供了明显的参数节省，同时获得了与经典密集的神经网络相同的准确性。此外，我们还展示了如何以相同的精度来比DNN更快地训练TNN。我们通过将它们应用于求解抛物线PDE，特别是Black-Scholes-Barenblatt方程，该方程广泛用于金融定价理论，基于基准测试。还讨论了进一步的例子，例如汉密尔顿 - 雅各比 - 贝尔曼方程。
translated by 谷歌翻译
分析和区分网络协议流量的能力对于网络资源管理来说至关重要，以通过电信提供差异化服务。自动化协议分析（APA）至关重要，以显着提高效率，减少对人类专家的依赖。在APA中群集未知协议有许多自动化的无监督方法。但是，许多这样的方法没有使用不同的测试数据集充分探索。因此，未能展示泛化的鲁棒性。本研究提出了一种综合框架，以评估APA中的特征提取和聚类方法的各种组合。它还提出了一种自动选择数据集依赖模型参数的新颖方法，用于特征提取，从而提高性能。新颖的基于田间的象形化方法的有希望的结果也导致我们对APA中未知协议的特征提取和聚类的新型自动混合方法提出。我们所提出的混合方法在不同的测试数据集中的9个中的7个中最佳地进行了最佳，从而显示宽大，以概括不同的未知协议。它还优于所有测试数据集中的最先进的开源APA工具中的无监督聚类技术。
translated by 谷歌翻译