不同光谱系统的相互不兼容是激光诱导的分解光谱法（LIBS）的最大因素之一。由于需要广泛的校准，与设置新的Libs系统有关的成本增加了。解决该问题将实现实验室间参考测量和共享光谱库，这对于其他光谱技术至关重要。在这项工作中，我们研究了该挑战的简化版本，其中LIBS系统仅在使用的光谱仪和收集光学方面有所不同，但共享设备的所有其他部分，并同时从相同的等离子体羽流中收集光谱。用作异质标本的高光谱图像测量的广泛数据集用于训练可以在系统之间传递光谱的机器学习模型。转移是由由变量自动编码器（VAE）和完全连接的人工神经网络（ANN）组成的管道实现的。在第一步中，我们获得了在初级系统上测量的光谱的潜在表示（通过使用VAE）。在第二步中，我们将光谱从二级系统映射到潜在空间中的相应位置（ANN）。最后，从潜在空间重建二级系统光谱到主要系统的空间。通过几个优点（欧几里得和余弦距离，都在空间上解析； k-均值的转移光谱聚类）来评估转移。将该方法与几种基线方法进行比较。

Practical applications of mechanical metamaterials often involve solving inverse problems where the objective is to find the (multiple) microarchitectures that give rise to a given set of properties. The limited resolution of additive manufacturing techniques often requires solving such inverse problems for specific sizes. One should, therefore, find multiple microarchitectural designs that exhibit the desired properties for a specimen with given dimensions. Moreover, the candidate microarchitectures should be resistant to fatigue and fracture, meaning that peak stresses should be minimized as well. Such a multi-objective inverse design problem is formidably difficult to solve but its solution is the key to real-world applications of mechanical metamaterials. Here, we propose a modular approach titled 'Deep-DRAM' that combines four decoupled models, including two deep learning models (DLM), a deep generative model (DGM) based on conditional variational autoencoders (CVAE), and direct finite element (FE) simulations. Deep-DRAM (deep learning for the design of random-network metamaterials) integrates these models into a unified framework capable of finding many solutions to the multi-objective inverse design problem posed here. The integrated framework first introduces the desired elastic properties to the DGM, which returns a set of candidate designs. The candidate designs, together with the target specimen dimensions are then passed to the DLM which predicts their actual elastic properties considering the specimen size. After a filtering step based on the closeness of the actual properties to the desired ones, the last step uses direct FE simulations to identify the designs with the minimum peak stresses.

光学成像通常用于行业和学术界的科学和技术应用。在图像传感中，通过数字化图像的计算分析来执行一个测量，例如对象的位置。新兴的图像感应范例通过设计光学组件来执行不进行成像而是编码，从而打破了数据收集和分析之间的描述。通过将图像光学地编码为适合有效分析后的压缩，低维的潜在空间，这些图像传感器可以以更少的像素和更少的光子来工作，从而可以允许更高的直通量，较低的延迟操作。光学神经网络（ONNS）提供了一个平台，用于处理模拟，光学域中的数据。然而，基于ONN的传感器仅限于线性处理，但是非线性是深度的先决条件，而多层NNS在许多任务上的表现都大大优于浅色。在这里，我们使用商业图像增强器作为平行光电子，光学到光学非线性激活函数，实现用于图像传感的多层预处理器。我们证明，非线性ONN前处理器可以达到高达800：1的压缩率，同时仍然可以在几个代表性的计算机视觉任务中高精度，包括机器视觉基准测试，流程度图像分类以及对对象中对象的识别，场景。在所有情况下，我们都会发现ONN的非线性和深度使其能够胜过纯线性ONN编码器。尽管我们的实验专门用于ONN传感器的光线图像，但替代ONN平台应促进一系列ONN传感器。这些ONN传感器可能通过在空间，时间和/或光谱尺寸中预处处理的光学信息来超越常规传感器，并可能具有相干和量子质量，所有这些都在光学域中。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

Sunquakes are seismic emissions visible on the solar surface, associated with some solar flares. Although discovered in 1998, they have only recently become a more commonly detected phenomenon. Despite the availability of several manual detection guidelines, to our knowledge, the astrophysical data produced for sunquakes is new to the field of Machine Learning. Detecting sunquakes is a daunting task for human operators and this work aims to ease and, if possible, to improve their detection. Thus, we introduce a dataset constructed from acoustic egression-power maps of solar active regions obtained for Solar Cycles 23 and 24 using the holography method. We then present a pedagogical approach to the application of machine learning representation methods for sunquake detection using AutoEncoders, Contrastive Learning, Object Detection and recurrent techniques, which we enhance by introducing several custom domain-specific data augmentation transformations. We address the main challenges of the automated sunquake detection task, namely the very high noise patterns in and outside the active region shadow and the extreme class imbalance given by the limited number of frames that present sunquake signatures. With our trained models, we find temporal and spatial locations of peculiar acoustic emission and qualitatively associate them to eruptive and high energy emission. While noting that these models are still in a prototype stage and there is much room for improvement in metrics and bias levels, we hypothesize that their agreement on example use cases has the potential to enable detection of weak solar acoustic manifestations.

几个世纪以来，科学家一直观察到自然要了解支配物理世界的法律。将观察变成身体理解的传统过程很慢。构建和测试不完善的模型以解释数据中的关系。强大的新算法可以使计算机通过观察图像和视频来学习物理。受这个想法的启发，而不是使用物理量训练机器学习模型，我们使用了图像，即像素信息。对于这项工作和概念证明，感兴趣的物理学是风向的空间模式。这些现象包括风水沙丘和火山灰沉积，野火烟雾和空气污染羽状的特征。我们使用空间沉积模式的计算机模型仿真来近似假设成像设备的图像，其输出为红色，绿色和蓝色（RGB）颜色图像，通道值范围为0到255。在本文中，我们探索深度卷积神经网络基于基于风向的空间模式的关系，通常在地球科学中发生，并降低其尺寸。使用编码器降低数据维度大小，可以训练将地理和气象标量输入数量连接到编码空间的深层，完全连接的神经网络模型。一旦实现了这一目标，使用解码器重建了完整的空间模式。我们在污染源的空间沉积图像上证明了这种方法，其中编码器将维度压缩到原始大小的0.02％，并且测试数据上的完整预测模型性能的精度为92％。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Fruit is a key crop in worldwide agriculture feeding millions of people. The standard supply chain of fruit products involves quality checks to guarantee freshness, taste, and, most of all, safety. An important factor that determines fruit quality is its stage of ripening. This is usually manually classified by experts in the field, which makes it a labor-intensive and error-prone process. Thus, there is an arising need for automation in the process of fruit ripeness classification. Many automatic methods have been proposed that employ a variety of feature descriptors for the food item to be graded. Machine learning and deep learning techniques dominate the top-performing methods. Furthermore, deep learning can operate on raw data and thus relieve the users from having to compute complex engineered features, which are often crop-specific. In this survey, we review the latest methods proposed in the literature to automatize fruit ripeness classification, highlighting the most common feature descriptors they operate on.

我们采用变化性AutoEncoders从单粒子Anderson杂质模型谱函数的数据集中提取物理洞察。培训AutoEncoders以查找低维，潜在的空间表示，其忠实地表征培训集的每个元素，通过重建误差测量。变形式自动化器，标准自动化器的概率概括，进一步条件促进了高度可解释的特征。在我们的研究中，我们发现学习的潜在变量与众所周知的众所周知，但非活动的参数强烈关联，这些参数表征了安德森杂质模型中的紧急行为。特别地，一种潜在的可变变量与粒子孔不对称相关，而另一个潜在的变量与杂质模型中动态产生的低能量尺度接近一对一的对应关系。使用符号回归，我们将此变量模拟了该变量作为已知的裸物理输入参数和“重新发现”的kondo温度的非扰动公式。我们开发的机器学习管道表明了一种通用方法，它开启了发现其他物理系统中的新领域知识的机会。

风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性，以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵，因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中，我们使用现实世界的光检测和测量（LIDAR）测量的风力涡轮机唤醒，用机器学习构建预测代理模型。具体而言，我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间，其给出了唤醒激光雷达测量的计算易逼近的近似。然后，我们学习使用深神经网络的参数空间和（潜在空间）唤醒流场之间的映射。此外，我们还展示了使用概率机器学习技术，即高斯过程建模，除了数据中的认知和炼拉内不确定性之外，学习参数空间潜空间映射。最后，为了应对培训大型数据集，我们展示了使用变分高斯过程模型，为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外，我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说，我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似，其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。

本文介绍了一种用于检测变更点的算法，并鉴定了瞬态多元时间序列数据（MTSD）中相应的子序列。由于许多工业领域的可用性增加，对此类数据的分析变得越来越重要。用于基于训练条件的维护（CBM）模型的标签，排序或过滤高度瞬态测量数据很麻烦且容易出错。对于某些应用程序，可以通过简单阈值或基于平均值和变化的变化找到更改点来过滤测量值。但是，例如，组件组中组件的强大诊断，该组件在多个传感器值之间具有复杂的非线性相关性，简单的方法是不可行的。可以将CBM模型出现的有意义且相干的测量数据。因此，我们介绍了一种使用基于复发的神经网络（RNN）自动编码器（AE）的算法，该算法对传入数据进行了迭代训练。评分函数使用重建误差和潜在空间信息。保存了确定的子序列的模型，并用于识别重复子序列以及快速离线聚类。为了进行评估，我们提出了一种基于曲率的新相似性度量，以实现更直观的时间序列子序列聚类指标。与其他七种最先进的算法和八个数据集进行了比较，显示了我们算法对在线群集MTSD和与机电系统结合的群集MTSD的功能和性能的提高。

目标。植物疾病的可持续管理是具有相关经济和环境影响的开放挑战。最佳策略依赖于有利条件下的现场侦察的人类专业知识，以评估当前存在和程度的疾病症状。这种劳动密集型任务被侦察的大场区域复杂化，与毫米级大小相结合待检测的早期症状。鉴于此，基于图像的早期疾病症状的检测是一种有吸引力的方法来实现这一过程，实现了可持续成本的潜在高吞吐量监测。方法。深入学习已成功应用于各个域，以通过培训程序学习过滤器来获取相关图像特征的自动选择。深入学习最近进入了植物疾病检测领域：在这项工作之后，我们提出了一种深入的学习方法，可以在黄瓜叶上识别白粉病。我们专注于应用于多光谱成像数据的无监督的深度学习技术，我们提出了使用AutoEncoder架构来调查疾病检测的两种策略：i）压缩空间中的特征集群化; II）异常检测。结果。通过定量指数评估了两种提出的方​​法。集群化方法本身并不完全能够提供准确的预测，但它确实迎合了相关信息。异常检测代替分辨率的显着潜力，这可以进一步被开发为具有非常有限数量的标记样本的监督架构之前。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

The occurrence of vacuum arcs or radio frequency (rf) breakdowns is one of the most prevalent factors limiting the high-gradient performance of normal conducting rf cavities in particle accelerators. In this paper, we search for the existence of previously unrecognized features related to the incidence of rf breakdowns by applying a machine learning strategy to high-gradient cavity data from CERN's test stand for the Compact Linear Collider (CLIC). By interpreting the parameters of the learned models with explainable artificial intelligence (AI), we reverse-engineer physical properties for deriving fast, reliable, and simple rule-based models. Based on 6 months of historical data and dedicated experiments, our models show fractions of data with a high influence on the occurrence of breakdowns. Specifically, it is shown that the field emitted current following an initial breakdown is closely related to the probability of another breakdown occurring shortly thereafter. Results also indicate that the cavity pressure should be monitored with increased temporal resolution in future experiments, to further explore the vacuum activity associated with breakdowns.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

基于自动编码器的降低订购建模（ROM）最近由于其捕获基本非线性特征的能力而引起了极大的关注。但是，两个关键缺点严重破坏了其对各种物理应用的可伸缩性：纠缠和无法解释的潜在变量（LVS）和潜在空间维度的眼罩确定。在这方面，本研究提出了仅使用$ \ beta $ - variational AutoCododer提取的可解释和信息密集型LV的物理感知ROM，在本文中被称为物理意识的LV。为了提取这些LV，它们的独立性和信息强度在二维跨音速基准问题中进行了定量检查。然后，对物理意识的LV的物理含义进行了彻底的研究，我们确认，使用适当的超参数$ \ beta $，它们实际上对应于训练数据集的生成因子，马赫数和攻击角度。据作者所知，我们的工作是第一个实际上确认$ \ beta $ variational自动编码器可以自动提取应用物理领域的物理生成因子。最后，将仅利用物理意识的LVS的物理学意识ROM与常规ROM进行了比较，并且成功验证了其有效性和效率。

高能密度物理学的模拟很昂贵，部分原因是需要产生非本地热力学平衡的不透明性。高保真光谱可能会揭示出在没有低保真光谱的模拟中的新物理学，但是这些模拟的成本也随着所使用的不透明性的保真度的水平而扩展。神经网络能够再现这些光谱，但是神经网络需要数据来训练它们，从而限制了训练数据的忠诚度。本文表明，可以在3 \％至4 \％的领域中使用中位数错误的高保真光谱，使用少于50个高保真k的k k k k数据，通过对许多对许多人进行的神经网络进行转移学习，以对许多人进行培训次数更多的低保真数据。