Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.
translated by 谷歌翻译
Dynamical systems are found in innumerable forms across the physical and biological sciences, yet all these systems fall naturally into universal equivalence classes: conservative or dissipative, stable or unstable, compressible or incompressible. Predicting these classes from data remains an essential open challenge in computational physics at which existing time-series classification methods struggle. Here, we propose, \texttt{phase2vec}, an embedding method that learns high-quality, physically-meaningful representations of 2D dynamical systems without supervision. Our embeddings are produced by a convolutional backbone that extracts geometric features from flow data and minimizes a physically-informed vector field reconstruction loss. In an auxiliary training period, embeddings are optimized so that they robustly encode the equations of unseen data over and above the performance of a per-equation fitting method. The trained architecture can not only predict the equations of unseen data, but also, crucially, learns embeddings that respect the underlying semantics of the embedded physical systems. We validate the quality of learned embeddings investigating the extent to which physical categories of input data can be decoded from embeddings compared to standard blackbox classifiers and state-of-the-art time series classification techniques. We find that our embeddings encode important physical properties of the underlying data, including the stability of fixed points, conservation of energy, and the incompressibility of flows, with greater fidelity than competing methods. We finally apply our embeddings to the analysis of meteorological data, showing we can detect climatically meaningful features. Collectively, our results demonstrate the viability of embedding approaches for the discovery of dynamical features in physical systems.
translated by 谷歌翻译
We present nBIIG, a neural Business Intelligence (BI) Insights Generation system. Given a table, our system applies various analyses to create corresponding RDF representations, and then uses a neural model to generate fluent textual insights out of these representations. The generated insights can be used by an analyst, via a human-in-the-loop paradigm, to enhance the task of creating compelling table reports. The underlying generative neural model is trained over large and carefully distilled data, curated from multiple BI domains. Thus, the system can generate faithful and fluent insights over open-domain tables, making it practical and useful.
translated by 谷歌翻译
我们建议第一个通过对弱的微型计算机进行深入学习的实时语义细分的系统,例如Raspberry Pi Zero Zero V2(其价格\ 15美元)附加到玩具无人机上。特别是,由于Raspberry Pi的重量不到$ 16 $,并且其大小是信用卡的一半,因此我们可以轻松地将其连接到普通的商业DJI Tello玩具器中(<\ $ 100,<90克,98 $ \ \时间$ 92.5 $ \ times $ 41毫米)。结果是可以从板载单眼RGB摄像头(无GPS或LIDAR传感器)实时检测和分类对象的自动无人机(无笔记本电脑或人类)。伴侣视频展示了这款Tello无人机如何扫描实验室的人(例如使用消防员或安全部队)以及在实验室外的空停车位。现有的深度学习解决方案要么在这种物联网设备上实时计算要么太慢,要么提供不切实际的质量结果。我们的主要挑战是设计一个系统,该系统在网络,深度学习平台/框架,压缩技术和压缩比的众多组合中占有最好的选择。为此,我们提供了一种有效的搜索算法,旨在找到最佳组合,从而导致网络运行时间与其准确性/性能之间的最佳权衡。
translated by 谷歌翻译
在过去的几年中,提出了多种基于深神经网络(DNN)的方法,以解决来自未取消采样的“ K-Space”(傅立叶域)数据的挑战性不足的反向问题。然而,反对采集过程中的变化和解剖学分布的不稳定性表明,与其经典的对应物相比,DNN体系结构对相关物理模型的概括不佳。较差的概括有效地排除了DNN适用于临床环境中不足采样的MRI重建。我们通过引入物理培养的DNN体系结构和培训方法来提高DNN方法的泛化MRI重建能力。除了模型体系结构中观察到的数据外,我们的体系结构还编码底面采样掩码,并采用适当的培训方法,该方法使用与各种无底采样掩码生成的数据一起鼓励模型概括了未散布的MRI重建问题。我们通过对公开可用的快速MRI数据集进行了广泛的实验,证明了我们的方法的附加价值。我们的物理提出的方法达到了增强的概括能力,这使得与获得的稳健性和解剖学分布的变化相比,尤其是在病理区域中,与香草DNN方法和DNN进行了显着提高,并在病理区域中进行了显着提高,并且受过培训的DNN训练,并接受了强烈的掩盖掩模的增强。接受训练的模型和代码以复制我们的实验,将在接受后用于研究目的。
translated by 谷歌翻译
虽然视觉和语言模型在视觉问题回答等任务上表现良好,但在基本的人类常识性推理技能方面,它们会挣扎。在这项工作中,我们介绍了Winogavil:在线游戏,以收集视觉和语言协会(例如,狼人到满月),用作评估最先进模型的动态基准。受欢迎的纸牌游戏代号的启发,Spymaster提供了与几个视觉候选者相关的文本提示,另一个玩家必须识别它们。人类玩家因创建对竞争对手AI模型而具有挑战性的联想而获得了回报,但仍然可以由其他人类玩家解决。我们使用游戏来收集3.5k实例,发现它们对人类的直观(> 90%的Jaccard索引),但对最先进的AI模型充满挑战,其中最佳模型(Vilt)的得分为52% ,成功的位置在视觉上是显着的。我们的分析以及我们从玩家那里收集的反馈表明,收集的关联需要多种推理技能,包括一般知识,常识,抽象等。我们发布数据集,代码和交互式游戏,旨在允许未来的数据收集,可用于开发具有更好关联能力的模型。
translated by 谷歌翻译
我们解决产品生成任务。对于给定的产品描述,我们的目标是生成反映潜在用户信息需求的问题,这些需求要么缺少或不涵盖描述中的问题。此外,我们希望涵盖可能涵盖多种产品类型的各种用户信息需求。为此,我们首先展示了如何对任务进行微调的T5预训练的变压器编码器模型。然而,尽管与最先进的任务方法相比,T5产生的问题具有合理的质量(KPCNET),但许多此类问题仍然太笼统,导致了次优最佳的全球问题多样性。作为替代方案,我们提出了一种新颖的学习对多样化(LTD)微调方法,该方法可以丰富基础变压器模型所学的语言。我们的经验评估表明,使用我们的方法可显着提高基础变压器模型的全球多样性,同时尽可能多地保持其一代相关性。
translated by 谷歌翻译
我们表明,具有随机性访问的神经网络可以通过扩增胜过确定性网络。我们称此类网络融合的神经网络或CFNN。我们表明,CFNN可以将$ d $维球的指标近似于任意准确性,仅使用2层和$ \ Mathcal {o}(1)$ Neurrons,其中显示了2层确定性网络所需的$ \ \欧米茄(E^d)$神经元,指数改进(ARXIV:1610.09887 [CS.LG])。我们证明了一个高度不平凡的结果,即对于几乎任何分类问题,都存在一个简单的网络,可以解决该网络权重的足够强大的发电机。结合了这些结果,我们猜测,对于大多数分类问题,有一个CFNN可以比任何确定性网络更高的精度或更少的神经元解决。最后,我们使用CIFAR10和CIFAR100上的新型CFNN体系结构实验验证了我们的证明,从基线提高了9.25 \%。
translated by 谷歌翻译
精密医学是疾病预防,检测和治疗的临床方法,旨在考虑每个人的遗传背景,环境和生活方式。这种量身定制的大道的发展是由常规方法的可用性,大群体样本的增加以及与临床数据的集成而导致的。尽管进展巨大,但数据分析的现有计算方法无法为该复合体,高维和纵向数据提供适当的解决方案。在这项工作中,我们开发了一种称为TCAM的新方法,这是用于多向数据的维度减少技术,克服纵向常规数据的轨迹分析时克服了主要限制。使用现实世界数据,我们表明TCAM优于传统方法,以及最先进的基于卷起的纵向微生物组数据分析方法。此外,我们通过将其应用于几个不同的OMIC数据集来证明TCAM的多功能性,以及它在直接的ML任务中的替换中的适用性。
translated by 谷歌翻译
谷歌的运营洪水预测系统是制定的,为机构和公众提供准确的实时洪水警告,重点是河流洪水在大型潮流的河流中。它在2018年开始运作,自从地理位置扩展以来。该预测系统由四个子系统组成:数据验证,阶段预测,淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存(LSTM)网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没,前者计算淹没程度,后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时,所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能,而阈值和歧管模型达到了类似的性能度量,以便在淹没程度上进行建模。在2021年的季风季节期间,洪水预警系统在印度和孟加拉国运营,覆盖河流的洪水区,总面积287,000平方公里,拥有350多万人。超过100米的洪水警报被发送给受影响的人口,相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置,以及提高建模能力和准确性。
translated by 谷歌翻译