我们提出了一种隐含的可能性方法，可以通过分散目录数据量化宇宙学信息，并作为图形组装。为此，我们使用模拟暗物质光环目录探索宇宙学的推断。我们采用最大化神经网络（IMNN）的信息来量化Fisher信息提取，这是图表的函数。我们a）在无噪声限制下，模块图结构对基础宇宙学具有高度敏感性，b）表明，通过比较传统统计，网络自动结合质量和聚类信息，c）证明图形神经网络仍然可以提取信息。当目录受到嘈杂的调查削减时，d）说明了如何将非线性IMNN摘要用作贝叶斯隐性可能性推断的渐近最佳压缩统计。我们在两点相关功能上，我们将$ \ omega_m，\ sigma_8 $参数约束降低了42倍，并证明网络自动组合质量和聚类信息，将关节$ \ omega_m，\ sigma_8 $参数约束减少42倍。 。这项工作利用了JAX中的图形数据的新IMNN实现，该实现可以利用数值或自动差异性。我们还显示，IMNNS成功地压缩了远离拟合网络的基准模型的模拟，这表明基于目录的分析中$ n $ point统计的有希望的替代方法。

我们将图形神经网络训练来自小工具N体模拟的光晕目录的神经网络，以执行宇宙学参数的无现场级别可能的推断。目录包含$ \ Lessim $ 5,000 HAROS带质量$ \ gtrsim 10^{10} 〜h^{ - 1} m_ \ odot $，定期卷为$（25〜H^{ - 1} {\ rm mpc}）{\ rm mpc}） ^3 $;目录中的每个光环都具有多种特性，例如位置，质量，速度，浓度和最大圆速度。我们的模型构建为置换，翻译和旋转的不变性，不施加最低限度的规模来提取信息，并能够以平均值来推断$ \ omega _ {\ rm m} $和$ \ sigma_8 $的值$ \ sim6 \％$的相对误差分别使用位置加上速度和位置加上质量。更重要的是，我们发现我们的模型非常强大：他们可以推断出使用数千个N-n-Body模拟的Halo目录进行测试时，使用五个不同的N-进行测试时，在使用Halo目录进行测试时，$ \ omega _ {\ rm m} $和$ \ sigma_8 $身体代码：算盘，Cubep $^3 $ M，Enzo，PKDGrav3和Ramses。令人惊讶的是，经过培训的模型推断$ \ omega _ {\ rm m} $在对数千个最先进的骆驼水力动力模拟进行测试时也可以使用，该模拟使用四个不同的代码和子网格物理实现。使用诸如浓度和最大循环速度之类的光环特性允许我们的模型提取更多信息，而牺牲了模型的鲁棒性。这可能会发生，因为不同的N体代码不会在与这些参数相对应的相关尺度上收敛。

了解晕星连接是基本的，以提高我们对暗物质的性质和性质的知识。在这项工作中，我们构建一个模型，鉴于IT主机的星系的位置，速度，恒星群体和半径的位置。为了捕获来自星系属性的相关性及其相位空间的相关信息，我们使用图形神经网络（GNN），该网络设计用于使用不规则和稀疏数据。我们从宇宙学和天体物理学中培训了我们在Galaxies上的模型，从宇宙学和天体物理学与机器学习模拟（骆驼）项目。我们的模型，占宇宙学和天体物理的不确定性，能够用$ \ SIM 0.2欧元的准确度来限制晕群。此外，在一套模拟上培训的GNN能够在用利用不同的代码的模拟上进行测试时保留其精度的一部分精度。 GNN的Pytorch几何实现在HTTPS://github.com/pablovd/halographnet上公开可用于github上

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

ASTROMYRY - 天体物体的职位和运动的精确测量 - 已成为一个有希望的大道，用于在我们的银河系中表征暗物质人口。通过利用基于仿真的推断和神经网络架构的最近进步，我们介绍了一种新的方法来搜索天球暗物质引起的天体辐射数据集中的重力透镜签名。我们基于神经似然比估计的方法显示出与基于两点相关统计的现有方法相比，与测量噪声相比，对冷暗物质人群的敏感性显着提高了敏感性。我们通过将其稳健而言，展示了我们的方法的真实可行性，并且在天体测量中预期的非普通建模以及未拼模型的噪声功能。这使得机器学习作为一种强大的工具，用于使用artromicric数据表征暗物质。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

$ \ Texit {Fermi} $数据中的银河系中多余（GCE）的两个领先假设是一个未解决的微弱毫秒脉冲条件（MSP）和暗物质（DM）湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而，诸如MSP的点源（PSS）在超微弱的极限中具有统计变质的泊松发射（正式的位置，预期每个来源平均贡献远低于一个光子），导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法，以统一的方式描述PS和泊松发射，并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法，我们利用深度学习技术，围绕基于神经网络的方法，用于直方图回归，其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统，特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中，我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $（对应于$ \ sim3 - 4 $每pL期望计数），这需要$ n \ sim \ mathcal {o}（ 10 ^ 4）$源来解释整个过剩（中位数价值$ n = \文本{29,300} $横跨天空）。虽然微弱，但这种SCD允许我们获得95％信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \％$。这表明大量的GCE通量是由于PSS 。

Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.

神经网络最近显示出对无似然推理的希望，从而为经典方法提供了魔力的速度。但是，当从独立重复估计参数时，当前的实现是次优的。在本文中，我们使用决策理论框架来争辩说，如果这些模型的模拟很简单，则理想地放置了置换不变的神经网络，可用于为任意模型构造贝叶斯估计器。我们说明了这些估计量在传统空间模型以及高度参数化的空间发射模型上的潜力，并表明它们在其网络设计中不适当地说明复制的神经估计量相当大。同时，它们比基于传统可能性的估计量具有很高的竞争力和更快的速度。我们将估计量应用于红海中海面温度的空间分析，在训练之后，我们获得参数估计值，并通过引导采样对估计值进行不确定性定量，从一秒钟的数百个空间场中获取。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

我们引入了基于仿真的摊销贝叶斯推理方案，以推断随机步行的参数。我们的方法通过无可能的方法了解了步行参数的后验分布。在第一步中，对图形神经网络进行了模拟数据培训，以学习随机步行的优化低维摘要统计数据。在第二步中，可逆神经网络使用变分推断从学习的汇总统计数据中产生参数的后验分布。我们应用我们的方法来从单轨迹推断布朗尼运动模型的参数。摊销推理过程的计算复杂性与轨迹长度线性缩放，其精度比例与cram {\'e} r-rao相似，在较大的长度上结合。该方法对位置噪声是强大的，并且比训练期间看到的轨迹更长的轨迹更长。最后，我们适应了该方案，以表明环境中的有限去相关时间可以从单个轨迹中推断出来。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

我们为宇宙结构形成构建了一个场级模拟器，该模拟器在非线性方案中是准确的。我们的仿真器由两个卷积神经网络组成，这些神经网络训练有素，可根据其线性输入输出N体模拟粒子的非线性位移和速度。宇宙学的依赖性是在神经网络的每一层上以样式参数的形式编码的，从而使模拟器能够有效地插入了在广泛的背景问题范围内，不同扁平$ \ lambda $ cdm宇宙之间的结构形成结果。神经网络体系结构使模型可通过构造来区分，从而为快速场水平推断提供了强大的工具。我们通过考虑几个摘要统计数据，包括具有和不带红移空间扭曲的密度谱，位移功率谱，动量功率谱，密度双光谱，光晕丰度以及带有红移空间的光晕概况，并没有红移空间，我们可以测试方法的准确性。扭曲。我们将模拟器中的这些统计数据与完整的N体结果，可乐方法和没有宇宙学依赖性的基准神经网络进行了比较。我们发现我们的仿真器将准确的结果降至$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $，代表对COLA和基金神经网络的可观改进。我们还证明，我们的模拟器很好地概括到包含原始非高斯性的初始条件，而无需任何其他样式参数或再培训。

我们介绍了一个新型的多层加权网络模型，该模型除了本地信号外，还考虑了全局噪声。该模型类似于多层随机块模型（SBM），但关键区别在于，跨层之间的块之间的相互作用在整个系统中是常见的，我们称之为环境噪声。单个块还以这些固定的环境参数为特征，以表示不属于其他任何地方的成员。这种方法允许将块同时聚类和类型化到信号或噪声中，以便更好地理解其在整个系统中的作用，而现有块模型未考虑。我们采用了分层变异推断的新颖应用来共同检测和区分块类型。我们称此模型为多层加权网络称为随机块（具有）环境噪声模型（SBANM），并开发了相关的社区检测算法。我们将此方法应用于费城神经发育队列中的受试者，以发现与精神病有关的具有共同心理病理学的受试者社区。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

从间接检测实验中寻找暗物质湮灭的间接检测实验的解释需要计算昂贵的宇宙射线传播模拟。在这项工作中，我们提出了一种基于经常性神经网络的新方法，可显着加速二次和暗物质银宇射线反滴角的模拟，同时实现优异的准确性。这种方法允许在宇宙射线传播模型的滋扰参数上进行高效的分析或边缘化，以便为各种暗物质模型进行参数扫描。我们确定重要的采样，具体适用于确保仅在训练有素的参数区域中评估网络。我们使用最新AMS-02 Antiproton数据在几种模型的弱相互作用的大规模粒子上呈现导出的限制。与传统方法相比，全训练网络与此工作一起作为Darkraynet释放，并通过至少两个数量级来实现运行时的加速。