现实世界数据库很复杂，它们通常会呈现冗余，并在同一数据的异质和多个表示之间共享相关性。因此，在视图之间利用和解开共享信息至关重要。为此，最近的研究经常将所有观点融合到共享的非线性复杂潜在空间中，但它们失去了解释性。为了克服这一局限性，我们在这里提出了一种新的方法，将多个变异自动编码器（VAE）结构与因子分析潜在空间（FA-VAE）相结合。具体而言，我们使用VAE在连续的潜在空间中学习每个异质观点的私人表示。然后，我们通过使用线性投影矩阵将每个私有变量投影到低维的潜在空间来对共享潜在空间进行建模。因此，我们在私人信息和共享信息之间创建了可解释的层次依赖性。这样，新型模型可以同时：（i）从多种异质观点中学习，（ii）获得可解释的层次共享空间，以及（iii）在生成模型之间执行传输学习。
translated by 谷歌翻译
机器学习技术通常应用于痴呆症预测缺乏其能力，共同学习多个任务，处理时间相关的异构数据和缺失值。在本文中，我们建议使用最近呈现的SShiba模型提出了一个框架，用于在缺失值的纵向数据上联合学习不同的任务。该方法使用贝叶斯变分推理来赋予缺失值并组合多个视图的信息。这样，我们可以将不同的数据视图与共同的潜在空间中的不同时间点相结合，并在同时建模和预测若干输出变量的同时学习每个时间点之间的关系。我们应用此模型以预测痴呆症中的诊断，心室体积和临床评分。结果表明，SSHIBA能够学习缺失值的良好归因，同时预测三个不同任务的同时表现出基线。
translated by 谷歌翻译
时间序列预测是许多域中的重要问题，在多个现实世界应用中发挥着至关重要的作用。在本文中，我们提出了一种预测架构，将深度自回归模型与光谱注意力（SA）模块结合起来，其在模型的嵌入式空间中合并全局和局域域信息。通过在光谱域中表征，将时间序列嵌入为随机过程的发生，我们的方法可以识别全球趋势和季节性模式。两个光谱注意力模型，全局和本地序列，将这些信息集成在预测中，并执行频谱滤波以删除时间序列的噪声。所提出的架构具有许多有用的属性：可以有效地结合到众所周知的预测架构中，需要较低的参数，并产生提高预测精度的可解释结果。我们在几个知名的预测数据集中测试频谱注意力归档型号（Saam），始终如一地证明我们的模型对最先进的方法有利地进行了比较。
translated by 谷歌翻译
医疗数据集通常由噪声和缺失数据损坏。这些缺失的模式通常被认为是完全随机的，而是在医学场景中，现实是，这些模式由于在一些时间或数据被收集的不alaled的不均匀方式中被收集的传感器而发生突发。本文建议使用异构数据类型和使用顺序变化自动码器（VAES）来模拟医疗数据记录和突发的缺失数据。特别是，我们提出了一种新的方法，SHI-VAE，其扩展了VAE的能力，使VAE的顺序数据流缺失了观察。我们将我们的模型与精密护理单元数据库（ICU）中的最先进的解决方案进行比较和被动人类监测的数据集。此外，我们发现诸如RMSE的标准错误指标不能得出足够的决定性，以评估时间模型，并包括在我们分析地面真理和算中信号之间的互相关。我们表明Shi-VAE在使用两个指标方面实现了最佳性能，而不是GP-VAE模型的计算复杂性较低，这是用于医疗记录的最先进的方法。
translated by 谷歌翻译
Neural machine translation (NMT) has become the de-facto standard in real-world machine translation applications. However, NMT models can unpredictably produce severely pathological translations, known as hallucinations, that seriously undermine user trust. It becomes thus crucial to implement effective preventive strategies to guarantee their proper functioning. In this paper, we address the problem of hallucination detection in NMT by following a simple intuition: as hallucinations are detached from the source content, they exhibit encoder-decoder attention patterns that are statistically different from those of good quality translations. We frame this problem with an optimal transport formulation and propose a fully unsupervised, plug-in detector that can be used with any attention-based NMT model. Experimental results show that our detector not only outperforms all previous model-based detectors, but is also competitive with detectors that employ large models trained on millions of samples.
translated by 谷歌翻译
Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.
translated by 谷歌翻译
有效解决优化问题是当今行业中的关键问题之一。此任务主要依赖于具有可扩展性问题和处理限制的经典算法。量子计算已经出现以挑战这些类型的问题。在本文中，我们专注于基于量子步行的大都市杂货量子算法。我们使用此算法来构建一个名为Quantum Metropolis求解器（QMS）的量子软件工具。我们验证具有N-QueEN问题的QM，以在一个示例中显示出潜在的量子优势，该示例很容易被外推到人工智能域。我们进行不同的模拟以验证QMS的性能及其配置。
translated by 谷歌翻译
有必要开发负担得起且可靠的诊断工具，该工具允许包含COVID-19的扩散。已经提出了机器学习（ML）算法来设计支持决策系统以评估胸部X射线图像，事实证明，这些图像可用于检测和评估疾病进展。许多研究文章围绕此主题发表，这使得很难确定未来工作的最佳方法。本文介绍了使用胸部X射线图像应用于COVID-19检测的ML的系统综述，旨在就方法，体系结构，数据库和当前局限性为研究人员提供基线。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
本文的目的是描述一种从贝叶斯推理的观点来描述一种新的非参数降噪技术，其可以自动提高一个和二维数据的信噪比，例如例如，例如，天文图像和光谱。该算法迭代地评估数据的可能的平滑版本，平滑模型，获得与嘈杂测量统计上兼容的底层信号的估计。迭代基于最后一个顺利模型的证据和$ \ Chi ^ 2 $统计数据，并且我们将信号的预期值计算为整个平滑模型的加权平均值。在本文中，我们解释了算法的数学形式主义和数值实现，我们在利用真正的天文观测的电池对峰值信号，结构相似性指数和时间有效载荷来评估其性能。我们完全自适应的贝叶斯算法用于数据分析（Fabada）产生结果，没有任何参数调谐，与标准图像处理算法相当，其参数基于要恢复的真实信号进行了优化，在实际应用中不可能。诸如BM3D的最先进的非参数方法，以高信噪比提供稍微更好的性能，而我们的算法对于极其嘈杂的数据显着更准确（高于20-40 \％$相对错误，在天文领域特别兴趣的情况）。在此范围内，通过我们的重建获得的残差的标准偏差可能变得比原始测量值低的数量级。复制本报告中显示的所有结果所需的源代码，包括该方法的实现，在https://github.com/pablolyanala/fabada公开使用
translated by 谷歌翻译