数据同化（DA）是科学和工程中许多预测模型的关键组成部分。 DA允许使用系统的不完善动力学模型以及系统可用的嘈杂/稀疏观测来估算更好的初始条件。集合Kalman滤波器（ENKF）是一种DA算法，该算法广泛用于涉及高维非线性动力学系统的应用中。但是，ENKF需要使用系统的动力学模型来进化的大型预测集合。这通常在计算上棘手，尤其是当系统的状态数量很大时，例如天气预测。在小合奏的情况下，ENKF算法中的估计背景误差协方差矩阵患有采样误差，导致分析状态的错误估计（下一个预测周期的初始条件）。在这项工作中，我们提出了混合集合卡尔曼滤波器（H-ENKF），该滤波器被应用于两层准地球体流动系统作为测试案例。该框架利用了预先训练的基于学习的数据驱动的替代物，该替代物可廉价地生成和进化系统状态的大型数据驱动的集合，以准确计算背景错误协方差矩阵，而采样误差较少。 H-ENKF框架估算了更好的初始条件，而无需任何临时本地化策略。 H-ENKF可以扩展到任何基于集合的DA算法，例如粒子过滤器，这些粒子过滤器目前难以用于高维系统。

In this paper, we propose a novel technique, namely INVALIDATOR, to automatically assess the correctness of APR-generated patches via semantic and syntactic reasoning. INVALIDATOR reasons about program semantic via program invariants while it also captures program syntax via language semantic learned from large code corpus using the pre-trained language model. Given a buggy program and the developer-patched program, INVALIDATOR infers likely invariants on both programs. Then, INVALIDATOR determines that a APR-generated patch overfits if: (1) it violates correct specifications or (2) maintains errors behaviors of the original buggy program. In case our approach fails to determine an overfitting patch based on invariants, INVALIDATOR utilizes a trained model from labeled patches to assess patch correctness based on program syntax. The benefit of INVALIDATOR is three-fold. First, INVALIDATOR is able to leverage both semantic and syntactic reasoning to enhance its discriminant capability. Second, INVALIDATOR does not require new test cases to be generated but instead only relies on the current test suite and uses invariant inference to generalize the behaviors of a program. Third, INVALIDATOR is fully automated. We have conducted our experiments on a dataset of 885 patches generated on real-world programs in Defects4J. Experiment results show that INVALIDATOR correctly classified 79% overfitting patches, accounting for 23% more overfitting patches being detected by the best baseline. INVALIDATOR also substantially outperforms the best baselines by 14% and 19% in terms of Accuracy and F-Measure, respectively.

Neural networks can be trained to solve regression problems by using gradient-based methods to minimize the square loss. However, practitioners often prefer to reformulate regression as a classification problem, observing that training on the cross entropy loss results in better performance. By focusing on two-layer ReLU networks, which can be fully characterized by measures over their feature space, we explore how the implicit bias induced by gradient-based optimization could partly explain the above phenomenon. We provide theoretical evidence that the regression formulation yields a measure whose support can differ greatly from that for classification, in the case of one-dimensional data. Our proposed optimal supports correspond directly to the features learned by the input layer of the network. The different nature of these supports sheds light on possible optimization difficulties the square loss could encounter during training, and we present empirical results illustrating this phenomenon.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

This paper focuses on the uncertainty estimation of white matter lesions (WML) segmentation in magnetic resonance imaging (MRI). On one side, voxel-scale segmentation errors cause the erroneous delineation of the lesions; on the other side, lesion-scale detection errors lead to wrong lesion counts. Both of these factors are clinically relevant for the assessment of multiple sclerosis patients. This work aims to compare the ability of different voxel- and lesion- scale uncertainty measures to capture errors related to segmentation and lesion detection respectively. Our main contributions are (i) proposing new measures of lesion-scale uncertainty that do not utilise voxel-scale uncertainties; (ii) extending an error retention curves analysis framework for evaluation of lesion-scale uncertainty measures. Our results obtained on the multi-center testing set of 58 patients demonstrate that the proposed lesion-scale measures achieves the best performance among the analysed measures. All code implementations are provided at https://github.com/NataliiaMolch/MS_WML_uncs

研究随机噪声的特性以优化复杂的非凸函数一直是机器学习领域的活跃研究领域。先前的工作表明，随机梯度下降的噪声通过克服景观中的不良障碍来改善优化。此外，注射人造高斯噪音已成为快速逃脱鞍点的流行想法。确实，在没有可靠的梯度信息的情况下，噪声用于探索景观，但目前尚不清楚哪种类型的噪声在探索能力方面是最佳的。为了在我们的知识上缩小这一差距，我们基于布朗尼运动的一般类型的连续时间非马克维亚过程，该过程允许该过程的相关性增加。这将基于布朗运动（例如Ornstein-Uhlenbeck过程）进行概括。我们演示了如何离散此类过程，从而导致新算法FPGD。该方法是已知算法PGD和抗PGD的概括。我们在理论上和经验上都研究了FPGD的特性，表明它具有勘探能力，在某些情况下，它比PGD和抗PGD有利。这些结果为利用噪声用于训练机器学习模型的新颖方式开辟了领域。

社会过程的持续数字化转化为时间序列数据的扩散，这些数据涵盖了诸如欺诈检测，入侵检测和能量管理等应用，在这种应用程序中，异常检测通常对于启用可靠性和安全性至关重要。许多最近的研究针对时间序列数据的异常检测。实际上，时间序列异常检测的特征是不同的数据，方法和评估策略，现有研究中的比较仅考虑了这种多样性的一部分，这使得很难为特定问题设置选择最佳方法。为了解决这一缺点，我们介绍了有关数据，方法和评估策略的分类法，并使用分类法提供了无监督时间序列检测的全面概述，并系统地评估和比较了最先进的传统以及深度学习技术。在使用九个公开可用数据集的实证研究中，我们将最常用的性能评估指标应用于公平实施标准下的典型方法。根据分类法提供的结构化，我们报告了经验研究，并以比较表的形式提供指南，以选择最适合特定应用程序设置的方法。最后，我们为这个动态领域提出了研究方向。

可解释的AI（XAI）的目的是设计方法，以提供有关黑盒模型（例如深神经网络）的推理过程的见解，以便向人类解释它们。社会科学研究指出，这种解释应该是对话的，类似于人类对人类的解释。在这项工作中，我们使用包含自然语言理解和发电组成部分的代理的标准设计来展示如何将XAI纳入对话代理。我们以XAI问题库为基础，我们通过质量控制的释义扩展，以了解用户的信息需求。我们进一步系统地调查了文献，以提供适当的解释方法，这些方法提供了以回答这些问题的信息，并提供了全面的建议列表。我们的工作是使用解释代理进行有关机器学习模型的真正自然对话的第一步。 XAI问题的全面列表和相应的解释方法可能会支持其他研究人员提供必要的信息以满足用户的需求。

实际结果表明，使用较小的恒定学习速率，接近一个的超参数的深度学习优化者，大批量大小可以找到最小化损失功能的深神经网络的模型参数。我们首先显示了理论上的证据，即动量方法（动量）和自适应力矩估计（ADAM）的表现很好，即理论表现度量的上限很小，恒定学习率很小，超级参数接近一个，并且是一个大的。批量大小。接下来，我们证明存在一个批处理大小，称为关键批次尺寸最小化随机的甲骨文（SFO）复杂性，这是随机梯度计算成本，一旦批次大小超过关键批次大小，SFO的复杂性就会增加。最后，我们提供了支持我们理论结果的数值结果。也就是说，数值结果表明，ADAM使用较小的恒定学习率，接近一个的超参数和最小化SFO复杂性的临界批次大小比动量和随机梯度下降（SGD）更快。

分配转移或培训数据和部署数据之间的不匹配是在高风险工业应用中使用机器学习的重要障碍，例如自动驾驶和医学。这需要能够评估ML模型的推广以及其不确定性估计的质量。标准ML基线数据集不允许评估这些属性，因为培训，验证和测试数据通常相同分布。最近，已经出现了一系列专用基准测试，其中包括分布匹配和转移的数据。在这些基准测试中，数据集在任务的多样性以及其功能的数据模式方面脱颖而出。虽然大多数基准测试由2D图像分类任务主导，但Shifts包含表格天气预测，机器翻译和车辆运动预测任务。这使得可以评估模型的鲁棒性属性，并可以得出多种工业规模的任务以及通用或直接适用的特定任务结论。在本文中，我们扩展了偏移数据集，其中两个数据集来自具有高社会重要性的工业高风险应用程序。具体而言，我们考虑了3D磁共振脑图像中白质多发性硬化病变的分割任务以及海洋货物容器中功耗的估计。两项任务均具有无处不在的分配变化和由于错误成本而构成严格的安全要求。这些新数据集将使研究人员能够进一步探索新情况下的强大概括和不确定性估计。在这项工作中，我们提供了两个任务的数据集和基线结果的描述。