我们为级别集方法提出了一个数据驱动的均值曲线求解器。这项工作是我们在[arxiv:2201.12342] [1]和[doi:10.1016/j.jcp.2022.1111291] [arxiv:2201.12342] [1]中的二维策略的$ \ mathbb {r}^3 $的自然扩展。 ]。但是,与[1,2]建立了依赖分辨率的神经网络词典相比,在这里,我们在$ \ mathbb {r}^3 $中开发了两对模型,而不管网格大小如何。我们的前馈网络摄入的水平集,梯度和曲率数据转换为固定接口节点的数值均值曲率近似值。为了降低问题的复杂性,我们使用高斯曲率对模板进行了分类,并将模型分别适合于非堆肥和鞍模式。非插图模板更容易处理,因为它们表现出以单调性和对称性为特征的曲率误差分布。尽管后者允许我们仅在平均曲面频谱的一半上进行训练,但前者帮助我们将数据驱动的融合并在平坦区域附近无缝地融合了基线估计。另一方面,鞍形图案误差结构不太清楚。因此,我们没有利用超出已知信息的潜在信息。在这方面,我们不仅在球形和正弦和双曲线抛物面斑块上训练了我们的模型。我们构建他们的数据集的方法是系统的,但是随机收集样品,同时确保均衡度。我们还诉诸于标准化和降低尺寸,作为预处理步骤和集成正则化以最大程度地减少异常值。此外,我们利用曲率旋转/反射不变性在推理时提高精度。几项实验证实,与现代粒子的界面重建和水平设定方案相比,我们提出的系统可以产生更准确的均值曲线估计。
translated by 谷歌翻译
我们提出了一种基于错误的神经模型模型,用于在级别集方法中近似二维曲率。我们的主要贡献是重新设计的混合求解器[Larios-C \'Ardenas和Gibou,J。Comput。物理。 (2022年5月),10.1016/j.jcp.2022.111291]依靠数值方案来按需启用机器学习操作。特别是,我们的常规特征是双重预测对线束曲率对称不变性,以支持精度和稳定性。该求解器的核心是在圆形和正弦式接口样品上训练的多层感知器。它的作用是量化数值曲率近似值中的误差,并沿自由边界发射校正的校正估计值。这些校正是针对预处理上下文级别,曲率和梯度数据而产生的。为了促进神经能力,我们采用了样品阴性屈肌的归一化,重新定位和基于反射的增强。以相同的方式,我们的系统结合了降低,平衡性良好和正则化,以最大程度地减少外围影响。我们的训练方法同样可以跨网格尺寸扩展。为此,我们在数据生产过程中引入了无量纲的参数化和概率子采样。总之,所有这些元素都提高了分辨不足区域周围曲率计算的准确性和效率。在大多数实验中,我们的策略的表现优于数值基线,是重新涉及步骤数的两倍,同时仅需要一小部分成本。
translated by 谷歌翻译
我们提出了一个机器学习框架,该框架将图像超分辨率技术与级别测量方法中的被动标量传输融为一体。在这里,我们研究是否可以计算直接数据驱动的校正,以最大程度地减少界面的粗晶石演化中的数值粘度。拟议的系统的起点是半拉格朗日配方。并且,为了减少数值耗散,我们引入了一个易于识别的多层感知器。该神经网络的作用是改善数值估计的表面轨迹。为此,它在单个时间范围内处理局部级别集,速度和位置数据,以便在移动前部附近的选择顶点。因此,我们的主要贡献是一种新型的机器学习调音算法,该算法与选择性重新融为一体并与常规对流交替运行,以保持调整后的界面轨迹平滑。因此,我们的程序比基于全卷卷积的应用更有效,因为它仅在自由边界周围集中计算工作。同样,我们通过各种测试表明,我们的策略有效地抵消了数值扩散和质量损失。例如,在简单的对流问题中,我们的方法可以达到与基线方案相同的精度,分辨率是分辨率的两倍,但成本的一小部分。同样,我们的杂种技术可以产生可行的固化前端,以进行结晶过程。另一方面,切向剪切流和高度变形的模拟会导致偏置伪像和推理恶化。同样,严格的设计速度约束可以将我们的求解器的应用限制为涉及快速接口更改的问题。在后一种情况下,我们已经确定了几个机会来增强鲁棒性,而没有放弃我们的方法的基本概念。
translated by 谷歌翻译
我们提出了一种基于机器学习的新型混合策略,以改善水平集方法中的曲率估计。提出的推理系统伴侣使用标准数值方案增强了神经网络,以更准确地计算曲率。我们混合框架的核心是一种开关机制,依赖于确定的数值技术来衡量曲率。如果曲率幅度大于依赖分辨率的阈值,则使用神经网络来产生更好的近似值。我们的网络是安装在各种配置下由正弦和圆形接口样品组成的合成数据集的多层感知器。为了降低数据集大小和训练复杂性,我们利用问题的特征对称性,并在曲率光谱的一半上构建模型。这些储蓄导致一个强大的推理系统能够仅胜过其任何数值或神经成分。具有固定,平滑接口的实验表明,我们的混合求解器在粗网格和陡峭的界面区域中明显优于常规数值方法。与先前的研究相比,我们已经观察到通过从多个接口类型的数据对训练回归模型后的精确提高,并使用专门的输入预处理转换数据。特别是,我们的发现证实机器学习是减少或消除级别方法中质量损失的有希望的场所。
translated by 谷歌翻译
We present Azimuth, an open-source and easy-to-use tool to perform error analysis for text classification. Compared to other stages of the ML development cycle, such as model training and hyper-parameter tuning, the process and tooling for the error analysis stage are less mature. However, this stage is critical for the development of reliable and trustworthy AI systems. To make error analysis more systematic, we propose an approach comprising dataset analysis and model quality assessment, which Azimuth facilitates. We aim to help AI practitioners discover and address areas where the model does not generalize by leveraging and integrating a range of ML techniques, such as saliency maps, similarity, uncertainty, and behavioral analyses, all in one tool. Our code and documentation are available at github.com/servicenow/azimuth.
translated by 谷歌翻译
The proliferation of deep learning techniques led to a wide range of advanced analytics applications in important business areas such as predictive maintenance or product recommendation. However, as the effectiveness of advanced analytics naturally depends on the availability of sufficient data, an organization's ability to exploit the benefits might be restricted by limited data or likewise data access. These challenges could force organizations to spend substantial amounts of money on data, accept constrained analytics capacities, or even turn into a showstopper for analytics projects. Against this backdrop, recent advances in deep learning to generate synthetic data may help to overcome these barriers. Despite its great potential, however, synthetic data are rarely employed. Therefore, we present a taxonomy highlighting the various facets of deploying synthetic data for advanced analytics systems. Furthermore, we identify typical application scenarios for synthetic data to assess the current state of adoption and thereby unveil missed opportunities to pave the way for further research.
translated by 谷歌翻译
Privacy-preserving machine learning has become a key conundrum for multi-party artificial intelligence. Federated learning (FL) and Split Learning (SL) are two frameworks that enable collaborative learning while keeping the data private (on device). In FL, each data holder trains a model locally and releases it to a central server for aggregation. In SL, the clients must release individual cut-layer activations (smashed data) to the server and wait for its response (during both inference and back propagation). While relevant in several settings, both of these schemes have a high communication cost, rely on server-level computation algorithms and do not allow for tunable levels of collaboration. In this work, we present a novel approach for privacy-preserving machine learning, where the clients collaborate via online knowledge distillation using a contrastive loss (contrastive w.r.t. the labels). The goal is to ensure that the participants learn similar features on similar classes without sharing their input data. To do so, each client releases averaged last hidden layer activations of similar labels to a central server that only acts as a relay (i.e., is not involved in the training or aggregation of the models). Then, the clients download these last layer activations (feature representations) of the ensemble of users and distill their knowledge in their personal model using a contrastive objective. For cross-device applications (i.e., small local datasets and limited computational capacity), this approach increases the utility of the models compared to independent learning and other federated knowledge distillation (FD) schemes, is communication efficient and is scalable with the number of clients. We prove theoretically that our framework is well-posed, and we benchmark its performance against standard FD and FL on various datasets using different model architectures.
translated by 谷歌翻译
自适应多机构系统(AMAS)将机器学习问题转变为代理之间的本地合作问题。我们提出了Smapy,这是一种基于合奏的AMA用于移动性预测的实施,除合作规则外,还为其代理提供了机器学习模型。通过详细的方法,我们表明,如果将线性模型集成到合作多代理结构中,则可以在基准传输模式检测数据集上使用线性模型进行非线性分类。获得的结果表明,由于多代理方法,在非线性环境中线性模型的性能有了显着改善。
translated by 谷歌翻译
最近,引入了卷积自动编码器(CAE)进行图像编码。他们对最新的JPEG2000方法实现了性能改进。但是,这些表演是使用具有大量参数的大型CAE获得的,并且其训练需要大量的计算能力。\\在本文中,我们使用具有较小的内存足迹和低计算功率使用的CAE解决了有损图像压缩的问题。为了克服计算成本问题,大多数文献都使用拉格朗日近端正则化方法,这些方法很耗时。\\在这项工作中,我们提出了一种约束的方法和一种新的结构化稀疏学习方法。我们设计了一个算法并在三个约束上进行测试:经典$ \ ell_1 $约束,$ \ ell_ {1,\ infty} $和新的$ \ ell_ {1,1} $约束。实验结果表明,$ \ ell_ {1,1} $约束提供了最佳的结构性稀疏性,从而导致内存和计算成本的高度降低,并且与密集网络相似的速率延伸性能。
translated by 谷歌翻译
数据最初是由Peter Hammer引入的,对数据的逻辑分析是一种方法,旨在计算逻辑上的理由,以将一组数据划分为两组观测值,通常称为正和负基。将此分区视为对部分定义的布尔函数的描述;然后处理数据以识别属性的子集,其值可用于表征正组对负基组的观测值。 LAD构成了经典统计学习技术的一种有趣的基于规则的学习替代方案,并具有许多实际应用。然而,根据数据实例的属性,组表征的计算可能是昂贵的。我们工作的一个主要目的是通过计算一些给定属性确实表征正组和负面组来提供一些\ emph {先验}的概率来提供有效的工具来加速计算。为此,我们根据我们对其上的信息提出了几种代表观测数据集的模型。这些模型及其允许我们计算的概率也有助于快速评估当前实际数据的某些属性;此外,它们可以帮助我们更好地分析和理解解决方法所遇到的计算困难。一旦建立了模型,计算概率的数学工具就会来自分析组合。它们使我们能够将所需的概率表示为生成函数系数的比率,然后提供其数值的快速计算。本文的另一个远程目标是表明,分析组合学的方法可以帮助分析LAD和相关领域中各种算法的性能。
translated by 谷歌翻译