与分析气相色谱法 - 质谱（GC -MS）数据相关的挑战很多。这些挑战中的许多挑战源于以下事实：电子电离可能使由于高度的分裂程度与分子离子信号的损失而难以恢复分子信息。使用GC-MS数据，通常在密切洗脱峰之间共享许多常见的片段离子，因此需要进行复杂的分析方法。其中一些方法是完全自动化的，但是对数据可以在分析过程中引入伪影的数据做出了一些假设。化学计量方法（例如多元曲线分辨率或平行因子分析）特别有吸引力，因为它们是灵活的，并且对数据的假设相对较少 - 理想情况下会导致伪像较少。这些方法确实需要专家用户干预来确定每个区域的最相关区域和适当数量的组件，即$ k $。需要选择自动化区域，以允许使用高级信号反卷积的色谱数据自动批处理处理。在这里，我们提出了一种新的方法，用于自动化，不靶心的感兴趣的选择区域，该方法是根据平方的比率和第二个单数值分解的比率来解释GC-MS数据中存在的多元信息，以选择感兴趣的区域。在色谱图上移动的窗口。假设第一个奇异值主要解释了信号，而第二个奇异值主要解释了噪声，则可以将这两个值之间的关系解释为Fisher比率的概率分布。通过研究该算法不再挑选已知包含信号的色谱区的浓度来测试算法的灵敏度。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

X射线荧光光谱（XRF）在广泛的科学领域，尤其是在文化遗产中，在元素分析中起重要作用。使用栅格扫描来获取跨艺术品的光谱的XRF成像为基于其元素组成的颜料分布的空间分析提供了机会。然而，常规的基于XRF的色素识别依赖于耗时的元素映射，该元素映射通过测量光谱的专家解释。为了减少对手动工作的依赖，最近的研究应用了机器学习技术，以在数据分析中聚集相似的XRF光谱并确定最可能的颜料。然而，对于自动色素识别策略，直接处理真实绘画的复杂结构，例如色素混合物和分层色素。此外，与平均光谱相比，基于XRF成像的像素颜料识别仍然是障碍物。因此，我们开发了一个基于深度学习的端到端色素识别框架，以完全自动化色素识别过程。特别是，它对浓度较低的颜料具有很高的敏感性，因此可以使令人满意的结果基于单像素XRF光谱映射颜料。作为案例研究，我们将框架应用于实验室准备的模型绘画和两幅19世纪的绘画：Paul Gauguin的Po \'Emes Barbares（1896），其中包含带有底层绘画的分层颜料，以及Paul Cezanne的沐浴者（1899--1899-- 1904）。色素鉴定结果表明，我们的模型通过元素映射获得了与分析的可比结果，这表明我们的模型的概括性和稳定性。

早期对卵巢癌的准确检测对于确保对患者的适当治疗至关重要。在早期诊断研究中研究的一线方式中，有从蛋白质质谱中提取的特征。但是，该方法仅考虑光谱响应的特定子集，而忽略了蛋白质表达水平之间的相互作用，这也可以包含诊断信息。我们提出了一种新的模式，该模式通过考虑光谱的自相似性，自动搜索蛋白质质谱以获取歧视性特征。通过对蛋白质质谱的小波分解并估计所得小波系数的能量中的水平衰减速率来评估自相似性。使用距离方差以稳健的方式估算水平的能量，并通过滚动窗口方法在本地估算速率。这导致了一系列速率，可用于表征蛋白质之间的相互作用，这可以表明存在癌症。然后从这些进化速率中选择歧视性描述符，并用作分类特征。拟议的基于小波的特征与现有文献中提出的特征一起使用，用于使用美国国家癌症研究所（American National Cancer Institute）出版的两个数据集，用于卵巢癌的早期诊断。包括新模式的基于小波的特征可改善早期卵巢癌检测的诊断性能。这证明了提出的方式表征新的卵巢癌诊断信息的能力。

射频干扰（RFI）缓解仍然是寻找无线电技术的主要挑战。典型的缓解策略包括原点方向（DOO）滤波器，如果在天空上的多个方向上检测到信号，则将信号分类为RFI。这些分类通常依赖于信号属性的估计，例如频率和频率漂移速率。卷积神经网络（CNNS）提供了对现有过滤器的有希望的补充，因为它们可以接受培训以直接分析动态光谱，而不是依赖于推断的信号属性。在这项工作中，我们编译了由标记的动态谱的图像组组成的几个数据集，并且我们设计和训练了可以确定在另一扫描中检测到的信号是否在另一扫描中检测到的CNN。基于CNN的DOO滤波器优于基线2D相关模型以及现有的DOO过滤器在一系列指标范围内，分别具有99.15％和97.81％的精度和召回值。我们发现CNN在标称情况下将传统的DOO过滤器施加6-16倍，减少了需要目视检查的信号数。

过渡光谱是一种有力的工具，可以解码额外行星气氛的化学成分。在本文中，我们专注于分析来自过渡外部的光谱数据的无监督技术。我们展示了i）的方法，清洁和验证数据，ii）基于概述统计（位置和变异性估计），iii）的初始探索数据分析，iii）探索和量化数据中的现有相关性，IV）预处理和线性变换数据到其主要成分，v）维数减少和歧管学习，vi）聚类和异常检测，vii）可视化和数据的解释。为了说明所提出的无监督方法，我们使用众所周知的公共基准数据集的合成传输谱。我们表明光谱数据中存在高度的相关性，该数据呼叫适当的低维表示。我们探索了许多不同的技术，用于减少这种维数，在概要统计，主成分等方面确定几种合适的选择。我们在主成分基础上发现有趣的结构，即与不同化学制度相对应的明确定义的分支。底层大气。我们证明，这些分支可以以完全无监督的方式用K-Means聚类算法成功恢复。我们倡导第三个主成分的光谱数据的三维表示，以揭示数据中的现有结构并快速表征行星的化学类。

Fruit is a key crop in worldwide agriculture feeding millions of people. The standard supply chain of fruit products involves quality checks to guarantee freshness, taste, and, most of all, safety. An important factor that determines fruit quality is its stage of ripening. This is usually manually classified by experts in the field, which makes it a labor-intensive and error-prone process. Thus, there is an arising need for automation in the process of fruit ripeness classification. Many automatic methods have been proposed that employ a variety of feature descriptors for the food item to be graded. Machine learning and deep learning techniques dominate the top-performing methods. Furthermore, deep learning can operate on raw data and thus relieve the users from having to compute complex engineered features, which are often crop-specific. In this survey, we review the latest methods proposed in the literature to automatize fruit ripeness classification, highlighting the most common feature descriptors they operate on.

机器学习（ML）是指根据大量数据预测有意义的输出或对复杂系统进行分类的计算机算法。 ML应用于各个领域，包括自然科学，工程，太空探索甚至游戏开发。本文的重点是在化学和生物海洋学领域使用机器学习。在预测全球固定氮水平，部分二氧化碳压力和其他化学特性时，ML的应用是一种有前途的工具。机器学习还用于生物海洋学领域，可从各种图像（即显微镜，流车和视频记录器），光谱仪和其他信号处理技术中检测浮游形式。此外，ML使用其声学成功地对哺乳动物进行了分类，在特定的环境中检测到濒临灭绝的哺乳动物和鱼类。最重要的是，使用环境数据，ML被证明是预测缺氧条件和有害藻华事件的有效方法，这是对环境监测的重要测量。此外，机器学习被用来为各种物种构建许多对其他研究人员有用的数据库，而创建新算法将帮助海洋研究界更好地理解海洋的化学和生物学。

先进的Ligo和先进的处女座地面干涉仪有望探测前所未有的大量空间，从而增强了观测值的发现能力，甚至是重力波发射器的新来源。在这种情况下，高度优化的重力波检测算法的发展至关重要。我们提出了一个新型的分层框架，用于实时检测受语音处理技术启发的引力波，以及在本实施中，基于一种最新的机器学习方法，涉及遗传编程和神经网络的杂交。新提出的框架的关键方面是：结构良好的分层方法和低计算复杂性。本文描述了框架的基本概念和前三层的推导。即使在当前的实现中，这些层是基于使用机器学习方法得出的模型，拟议的分层结构具有普遍的性质。为了训练和测试模型，我们在合成高斯噪声中使用了模拟的二进制黑洞重力波形，代表了高级Ligo灵敏度设计。与更复杂的方法（例如卷积神经网络）相比，我们的框架，即使使用论文中描述的简单地面模型，具有相似的性能，但计算复杂性较低，模块化程度较高。此外，对短期特征的潜在剥削使新框架的结果几乎独立于引力波信号的时间位置，从而在第二代干涉仪中简化了其在实时多层管道中对重力波检测的实时多层管道的未来剥削。

Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.

迄今为止，引力波发现的所有科学主张都依赖于候选观测值的离线统计分析，以量化相对于背景过程的重要性。 Ligo实验中这种离线检测管道中的当前基础是匹配的滤波器算法，该算法产生了基于信噪比的基于信噪比的统计量，用于对候选观测进行排名。现有的基于深度学习的尝试检测引力波，这些尝试在信号灵敏度和计算效率（计算效率）中都表现出了输出概率分数。但是，概率分数不容易集成到发现工作流程中，从而将深度学习的使用限制为迄今为止的非发现的应用程序。在本文中，引入了深度学习信噪比（DEEPSNR）检测管道，该检测管道使用了一种新方法来从深度学习分类器中生成信噪比排名统计量，从而为使用提供了第一个使用的基础在面向发现的管道中的深度学习算法。通过从第一次观察运行中识别二进制黑洞合并候选者与噪声源相对于噪声源来证明DeepSNR的性能。使用Ligo检测器响应的高保真模拟用于在物理观察物方面介绍深度学习模型的第一个灵敏度估计。还研究了在各种实验方面的DeepSNR的鲁棒性。结果为DeepSNR用于在更广泛的背景下的引力波和罕见信号的科学发现铺平了道路，从而有可能检测到昏迷的信号和从未被观察到的现象。

激光诱导的击穿光谱是用于在环境压力下快速和直接的样品的快速和直接多元素映射的优选技术，而没有对靶元素的任何限制。然而，Libs映射数据具有两个特殊性：由于单次测量而导致的内在低信噪比，并且由于获得用于成像的高频频谱而导致的高维度。这使得所有变速器都变高：在这种情况下，消融光斑直径减小，以及烧结质量和发射信号，而给定表面的光谱数量增加。因此，从嘈杂和大型数据集中有效地提取物理化学信息是一个主要问题。几位作者引入多变量方法作为应对这些数据的手段，特别是主要成分分析。然而，已知PCA为数据集的一致重建呈现了理论限制，因此有利于Libs映射数据的有效解释的限制。在本文中，我们使用离散小波变换和基于内核的稀疏PCA来引入HyperPCA，用于高光谱图像的新分析工具，用于使用基于内核的稀疏PCA来降低噪声对数据的影响，并始终重建光谱信号，特别强调libs数据。首先使用模拟Libs映射数据集来说明该方法，以强调其具有高噪声和/或高度干扰的光谱的性能。提供了标准PCA和传统的单变量数据分析的比较。最后，它用于在两种情况下处理实际数据，清楚地说明所提出的算法的潜力。我们表明该方法在回收的信息的数量和质量上具有优势，从而提高了分析表面的物理化学表征。

机器学习方法的最新进展以及扫描探针显微镜（SPMS）的可编程接口的新兴可用性使自动化和自动显微镜在科学界的关注方面推向了最前沿。但是，启用自动显微镜需要开发特定于任务的机器学习方法，了解物理发现与机器学习之间的相互作用以及完全定义的发现工作流程。反过来，这需要平衡领域科学家的身体直觉和先验知识与定义实验目标和机器学习算法的奖励，这些算法可以将它们转化为特定的实验协议。在这里，我们讨论了贝叶斯活跃学习的基本原理，并说明了其对SPM的应用。我们从高斯过程作为一种简单的数据驱动方法和对物理模型的贝叶斯推断作为基于物理功能的扩展的贝叶斯推断，再到更复杂的深内核学习方法，结构化的高斯过程和假设学习。这些框架允许使用先验数据，在光谱数据中编码的特定功能以及在实验过程中表现出的物理定律的探索。讨论的框架可以普遍应用于结合成像和光谱，SPM方法，纳米识别，电子显微镜和光谱法以及化学成像方法的所有技术，并且对破坏性或不可逆测量的影响特别影响。

我们介绍了第一个机器学习引力波搜索模拟数据挑战（MLGWSC-1）的结果。在这一挑战中，参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声，并发出了20秒的持续时间，其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现，最好的基于机器学习的算法能够以每月1个的错误警报率（FAR）的速度（FAR）实现基于匹配过滤的生产分析的敏感距离的95％。相反，对于真实的噪音，领先的机器学习搜索获得了70％。为了更高的范围，敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明，当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术，机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率，在这些区域中，建模的搜索在计算上很昂贵。根据我们的发现，我们汇编了我们认为，将机器学习搜索提升到重力波信号检测中的宝贵工具，我们认为这是最重要的研究领域。

成像，散射和光谱是理解和发现新功能材料的基础。自动化和实验技术的当代创新导致这些测量更快，分辨率更高，从而产生了大量的分析数据。这些创新在用户设施和同步射击光源时特别明显。机器学习（ML）方法经常开发用于实时地处理和解释大型数据集。然而，仍然存在概念障碍，进入设施一般用户社区，通常缺乏ML的专业知识，以及部署ML模型的技术障碍。在此，我们展示了各种原型ML模型，用于在国家同步光源II（NSLS-II）的多个波束线上在飞行分析。我们谨慎地描述这些示例，专注于将模型集成到现有的实验工作流程中，使得读者可以容易地将它们自己的ML技术与具有普通基础设施的NSLS-II或设施的实验中的实验。此处介绍的框架展示了几乎没有努力，多样化的ML型号通过集成到实验编程和数据管理的现有Blueske套件中与反馈回路一起运行。

越来越多的多元过程数据驱动了熟练工人从这些数据分析，解释和构建模型的需求。多元数据分析在很大程度上依赖于线性代数，优化和统计数据，并且鉴于大多数课程在后三个主题中没有强大的覆盖范围，学生可能会具有挑战性。本文介绍了用于教学，学习和理解潜在变量方法的交互式软件 - 潜在变量演示器（LAVADE）。在此软件中，用户可以与其他回归方法（例如绝对收缩和选择运算符（LASSO），Ridge Remission（RR）和其他回归方法（RR）和其他回归方法（RR）和其他回归方法进行交互式比较潜在变量方法，例如部分最小二乘（PLS）和主组件回归（PCR）。弹性网（en）。 Lavade有助于建立有关选择适当方法，超参数调整和模型系数解释的直觉，从而促进对算法差异的概念理解。该软件包含数据生成方法和三个化学过程数据集，可以比较具有不同复杂性级别的数据集的结果。 Lavade作为开源软件发布，以便其他人可以应用并推进用于教学或研究的工具。

斑块测定是量化复制能力裂解病毒体浓度的黄金标准方法。加快和自动化病毒斑块分析将显着受益于临床诊断，疫苗开发以及重组蛋白或抗病毒药的产生。在这里，我们使用无透明全息成像和深度学习提出了快速且无染色的定量病毒斑块测定法。这种具有成本效益，紧凑和自动化的设备可显着减少传统斑块测定所需的孵化时间，同时保留其优于其他病毒定量方法的优势。该设备以每次测试井的对象捕获〜0.32 Giga像素/小时的相位信息，以无标签的方式覆盖约30x30 mm^2的面积，完全消除了染色。我们使用Vero E6细胞和囊泡气孔病毒证明了这种计算方法的成功。使用神经网络，此无染色装置最早在孵育后5小时内自动检测到第一个细胞裂解事件，并以100％的形式达到了> 90％的检测率（PFU）与传统的斑块测定法相比，特异性在<20小时内，可节省大量时间，而传统的牙菌斑测定时间约为48小时或更长时间。该数据驱动的牙菌斑测定还提供了量化细胞单层感染区域的能力，比标准病毒斑块分析的病毒浓度大10倍，对PFU和病毒感染区域进行自动计数和定量。这种紧凑，低成本的自动PFU定量设备可以广泛用于病毒学研究，疫苗开发和临床应用

听力损失是人类的重大健康问题和心理负担。小鼠模型提供了阐明参与潜在发育和病理生理机制的基因的可能性。为此，大规模的鼠标表型计划包括单基因敲除小鼠线的听觉表型。使用听觉脑干响应（ABR）程序，德国鼠标诊所和全球类似设施已经产生了大型均匀的突变体和野生型小鼠的ABR原料数据。在标准ABR分析过程中，听力阈值通过训练有素的工作人员从增加声压水平的信号曲线进行视觉评估。这是令人耗时的，并且容易被读者偏向，以及图形显示质量和规模。为了减少工作量并提高质量和再现性，我们开发并比较了两种方法，用于从平均ABR原始数据中实现自动听力阈值识别：一个受监督方法，涉及在人生成的标签和自我监督方法上训练的两个组合神经网络，利用信号功率谱利用信号功率谱并将随机森林声级估计与转换曲线拟合算法结合起来进行阈值查找。我们表明，两种型号都很好地，胜过人类阈值检测，并且适用于快速，可靠和无偏见的听力阈值检测和质量控制。在高通量鼠标表型环境中，两种方法都以自动端到端筛选管道的一部分表现良好，以检测用于听力参与的候选基因。两种模型的代码以及用于此工作的数据都可以自由使用。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.