通用的完整交叉点Calabi-yau歧管（GCICY）是最近建立的卡拉比（Calabi-Yau）歧管的新结构。但是，使用标准代数方法的新GCICY产生非常费力。由于这种复杂性，GCICYS及其分类的数量仍然未知。在本文中，我们尝试使用神经网络在这个方向上取得一些进展。结果表明，我们训练有素的型号可以对文献中现有类型的$（1,1）$（1,1）$（1,1）$（1,1）$（2,1）$ GCICYS具有很高的精度。此外，他们可以在预测新的GCICY方面获得$ 97 \％$的精度，这与用于培训和测试的产品不同。这表明机器学习可能是分类和生成新GCICE的有效方法。
translated by 谷歌翻译
使用完全连接的前馈神经网络，我们研究了一类Calabi - yau歧管的拓扑不变，该歧管构建为与来自Kreuzer - Skarke数据库的反复多粒子相关的扭曲品种中的过度迹象。特别是，我们发现可以在从多特偶联及其双重中提取的有限数据方面可以了解的欧拉数的简单表达式。
translated by 谷歌翻译
我们通过定义节点的某些局部特征和矢量表示，然后使用它们来通过深层神经网络来学习全球定义的指标和属性，从而提出了用于图形机器学习和网络分析的局部到全球策略。通过通过呼吸优先搜索扩展节点的程度的概念，定义了{\ bf参数中心函数}的一般家族，可以揭示节点的重要性。我们将{\ bf邻居学位频率（NDF）}引入，作为无向图的节点的局部定义嵌入到欧几里得空间中。这引起了节点的矢量标记，该标记编码了节点局部邻域的结构，可用于图同构测试。我们为构造增加了灵活性，以便它也可以处理动态图。之后，广度优先搜索用于将NDF矢量表示形式扩展到两个不同的节点的矩阵表示，其中包含有关节点社区的高阶信息。我们的节点的矩阵表示为我们提供了一种新的方式，可视化节点的形状。此外，我们使用这些矩阵表示来获取特征向量，该特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含有关节点的一些信息，在一系列示例中，我们表明可以通过将深度学习应用于这些本地特征来学习Pagerank和紧密的中心性。我们的构造足够灵活，可以处理不断发展的图。最后，我们解释了如何适应有向图的构造。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
我们通过在调整方案中找到有效的相似性测量，提出了一种朝向弦景观的真空退化问题的新方法。使用一百万个Calabi-yau歧管作为具体例子，少量机器学习和暹罗神经网络的范式代表它们作为R（3）的点，其中两个歧管之间的相似度得分是它们之间的欧几里德距离r（3）代表。使用这些方法，我们可以通过仅在几百个数据点上进行培训，将搜索空间压缩以获得极度罕见的歧管，以百分比在原始数据的一个百分比内。我们还展示了如何应用这些方法来表征真空代表的“典型性”。
translated by 谷歌翻译
我们越早努力计算Calabi-yau歧管的切线空间协调尺寸的努力使用深度学习。在本文中，我们考虑所有Calabi-yau四折的数据集，构建为投影空间的产品中的完整交叉点。采用最先进的计算机视觉架构启发的神经网络，我们改进了早期的基准，并证明所有四个非琐碎的霍奇格数可以使用多任务架构同时学习。30％（80％）培训率，我们达到$ H ^ {（1,1）} $的准确性为100％，以H ^ {（2,1）} $（两者为100％），81％（96％）为$ h ^ {（3,1）} $，49％（83％）为$ h ^ {（2,2）} $。假设欧拉数是已知的，因为它易于计算，并且考虑到从指数计算引起的线性约束，我们得到100％的总精度。
translated by 谷歌翻译
我们使用深神经网络来机器学习各种尺寸的结不变之间的相关性。感兴趣的三维不变性是琼斯多项式$ j（q）$，四维不变性是khovanov多项式$ \ text {kh}（q，t）$，平滑的切片属$ g $，以及拉斯穆森的$ s $-invariant。我们发现双层前馈神经网络可以从$ \ text {kh}（q，-q ^ {-4}）$大于99美元的$准确性。通过现在的DISPROVER骑士移动猜想，在结理论中存在对这种性能的理论解释，这些表现在我们的数据集中的所有结遵守。更令人惊讶的是，我们发现类似于$ \ text {kh}（q，-q ^ {-2}）$的类似表现，这表明Khovanov与李同源理论之间的新关系。网络从$ \ text {kh}（q，t）$以同样高的准确度预测到$ g $，我们讨论了机器学习$ s $的程度，而不是$ g $，因为有一般不平等$ | S | \ Leq 2G $。 Jones多项式作为三维不变性，并不明显与$ S $或$ G $相关，但网络从$ j（q）$之前预测，网络达到大于95美元的$准确性。此外，通过在统一的根部评估$ j（q）$来实现类似的准确度。这表明与SU（2）$ CHERN-SIMONS理论的关系，我们审查了Khovanov同源性的仪表理论建设，这可能与解释网络的性能相关。
translated by 谷歌翻译
我们将机器学习应用于寻找数值卡拉比市度量的问题。我们在使用Donaldson算法计算近似Ricci-FLAN度量的学习近似Ricci-Flat度量，以更加准确的“最佳”度量标准的“最佳”的“最佳”指标来扩展。我们表明，机器学习能够预测只有一个小型训练数据样本的Calabi-yau度量的K \“Ahler潜力。
translated by 谷歌翻译
Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。
translated by 谷歌翻译
马尔可夫链是一类概率模型，在定量科学中已广泛应用。这部分是由于它们的多功能性，但是可以通过分析探测的便利性使其更加复杂。本教程为马尔可夫连锁店提供了深入的介绍，并探索了它们与图形和随机步行的联系。我们利用从线性代数和图形论的工具来描述不同类型的马尔可夫链的过渡矩阵，特别着眼于探索与这些矩阵相对应的特征值和特征向量的属性。提出的结果与机器学习和数据挖掘中的许多方法有关，我们在各个阶段描述了这些方法。本文并没有本身就成为一项新颖的学术研究，而是提出了一些已知结果的集合以及一些新概念。此外，该教程的重点是向读者提供直觉，而不是正式的理解，并且仅假定对线性代数和概率理论的概念的基本曝光。因此，来自各种学科的学生和研究人员可以访问它。
translated by 谷歌翻译
这项调查表明，在算术电路复杂性，结构化矩阵和深度学习的交集中，一定是不完整的（偏见）概述的结果。最近，有一些研究活动在通过结构化的网络中代替神经网络中的非结构化重量矩阵（目的是减少相应的深度学习模型的大小）。这项工作的大部分都是实验性的，在这项调查中，我们将研究问题正式化，并展示了最新的工作如何结合算术电路复杂性，结构化矩阵和深度学习，从本质上回答了这个问题。这项调查针对的是复杂的理论家，他们可能喜欢阅读有关算术电路复杂性中开发的工具如何帮助设计（据我们所知）一个新的结构化矩阵家族，这反过来又非常适合深度学习。但是，我们希望主要对深度学习感兴趣的人们也会欣赏与复杂性理论的联系。
translated by 谷歌翻译
这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。
translated by 谷歌翻译
聚类函数（例如对数或差异）满足了许多代数身份。对于对数，所有身份都来自产品规则。对于Diologarithm和更高的经典细分线虫，这些身份可能涉及五个或更多功能。在与粒子物理学相关的许多计算中，聚集体的复杂组合通常来自Feynman积分。尽管集成产生的初始表达通常简化，但通常很难知道要应用哪些身份以及按什么顺序应用。为了解决这种瓶颈，我们探索机器学习方法可以帮助您。我们考虑了一种强化学习方法，在该方法中，身份类似于游戏中的动作，也是变压器网络方法，在该方法中，该问题类似于语言翻译任务。尽管这两种方法都是有效的，但变压器网络似乎更强大，并且在数学物理学中的符号操纵任务中实现了实际使用的希望。
translated by 谷歌翻译
神经网络经常将许多无关的概念包装到一个神经元中 - 一种令人困惑的现象被称为“多疾病”，这使解释性更具挑战性。本文提供了一个玩具模型，可以完全理解多义，这是由于模型在“叠加”中存储其他稀疏特征的结果。我们证明了相变的存在，与均匀多型的几何形状的令人惊讶的联系以及与对抗性例子联系的证据。我们还讨论了对机械解释性的潜在影响。
translated by 谷歌翻译
即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。
translated by 谷歌翻译
我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。
translated by 谷歌翻译
每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译