TensorFlow GNN(TF-GNN)是张量曲线的图形神经网络的可扩展库。它是从自下而上设计的,以支持当今信息生态系统中发生的丰富的异质图数据。Google的许多生产模型都使用TF-GNN,最近已作为开源项目发布。在本文中,我们描述了TF-GNN数据模型,其KERAS建模API以及相关功能,例如图形采样,分布式训练和加速器支持。
translated by 谷歌翻译
具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里,我们以低空间和时间分辨率培训学习模拟器,以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底,能够以低分辨率学习一系列挑战性的混乱和动态动态,包括最先进的雅典娜++发动机产生的轨迹。我们表明,我们的更简单,通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说,我们看到学习的模拟器产生不稳定的轨迹;但是,我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现,虽然超出培训分配的泛化是学习模型,训练噪声,卷积架构以及增加损失约束的挑战。广泛地,我们得出的结论是,我们所知的模拟器优于传统的求解器在较粗糙的网格上运行,并强调简单的设计选择可以提供稳定性和鲁棒的泛化。
translated by 谷歌翻译
在学识表的迅速推进的地区,几乎所有方法都训练了从输入状态直接预测未来状态的前进模型。然而,许多传统的仿真引擎使用基于约束的方法而不是直接预测。这里我们提出了一种基于约束的学习仿真的框架,其中标量约束函数被实现为神经网络,并且将来的预测被计算为在这些学习的约束下的优化问题的解决方案。我们使用图形神经网络作为约束函数和梯度下降作为约束求解器来实现我们的方法。架构可以通过标准的backprojagation培训。我们在各种具有挑战性的物理领域中测试模型,包括模拟绳索,弹跳球,碰撞不规则形状和飞溅液。我们的模型可实现更好或更具可比性的性能,以获得最佳学习的模拟器。我们模型的一个关键优势是能够在测试时间概括到更多求解器迭代,以提高模拟精度。我们还展示了如何在测试时间内添加手工制定的约束,以满足培训数据中不存在的目标,这是不可能的前进方法。我们的约束框架适用于使用前进学习模拟器的任何设置,并演示了学习的模拟器如何利用额外的归纳偏差以及来自数值方法领域的技术。
translated by 谷歌翻译
Here we present a machine learning framework and model implementation that can learn to simulate a wide variety of challenging physical domains, involving fluids, rigid solids, and deformable materials interacting with one another. Our framework-which we term "Graph Network-based Simulators" (GNS)-represents the state of a physical system with particles, expressed as nodes in a graph, and computes dynamics via learned message-passing. Our results show that our model can generalize from single-timestep predictions with thousands of particles during training, to different initial conditions, thousands of timesteps, and at least an order of magnitude more particles at test time. Our model was robust to hyperparameter choices across various evaluation metrics: the main determinants of long-term performance were the number of message-passing steps, and mitigating the accumulation of error by corrupting the training data with noise. Our GNS framework advances the state-of-the-art in learned physical simulation, and holds promise for solving a wide range of complex forward and inverse problems.
translated by 谷歌翻译
基于连续的潜在空间(例如变异自动编码器)的概率模型可以理解为无数混合模型,其中组件连续取决于潜在代码。它们具有用于生成和概率建模的表达性工具,但与可牵引的概率推断不符,即计算代表概率分布的边际和条件。同时,可以将概率模型(例如概率电路(PC))理解为层次离散混合模型,从而使它们可以执行精确的推断,但是与连续的潜在空间模型相比,它们通常显示出低于标准的性能。在本文中,我们研究了一种混合方法,即具有较小潜在尺寸的可拖动模型的连续混合物。尽管这些模型在分析上是棘手的,但基于一组有限的集成点,它们非常适合数值集成方案。有足够数量的集成点,近似值变得精确。此外,使用一组有限的集成点,可以将近似方法编译成PC中,以“在近似模型中的精确推断”执行。在实验中,我们表明这种简单的方案被证明非常有效,因为PC在许多标准密度估计基准上以这种方式为可拖动模型设定了新的最新模型。
translated by 谷歌翻译
由于全景分割为输入中的每个像素提供了一个预测,因此,非标准和看不见的对象系统地导致了错误的输出。但是,在关键的环境中,针对分发样本的鲁棒性和角案件对于避免危险行为至关重要,例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴,因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中,我们扩大了提出整体分割的范围:一项任务,以识别和将看不见的对象分为实例,而无需从未知数中学习,同时执行已知类别的全面分割。我们用U3HS解决了这个新问题,U3HS首先将未知数视为高度不确定的区域,然后将相应的实例感知嵌入到各个对象中。通过这样做,这是第一次使用未知对象进行综合分割,我们的U3HS未接受未知数据的训练,因此使对象类型的设置不受限制,并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较,即CityScapes和作为转移的丢失和发现,证明了U3HS在挑战性的整体分段任务中的有效性,并具有竞争性的封闭式全盘分段性能。
translated by 谷歌翻译
最近的研究表明,犯罪网络具有复杂的组织结构,但是是否可以用来预测犯罪网络的静态和动态特性。在这里,通过结合图表学习和机器学习方法,我们表明,可以使用政治腐败,警察情报和洗钱网络的结构性特性来恢复缺失的犯罪伙伴关系,区分不同类型的犯罪和法律协会以及预测犯罪分子之间交换的总金额,所有这些都具有出色的准确性。我们还表明,我们的方法可以预期在腐败网络的动态增长过程中,其准确性很高。因此,与在犯罪现场发现的证据类似,我们得出结论,犯罪网络的结构模式具有有关非法活动的重要信息,这使机器学习方法可以预测缺失的信息,甚至预测未来的犯罪行为。
translated by 谷歌翻译
最近在自动手语理解中的具有挑战性的任务(例如手语识别,翻译和生产)方面取得了重大进展。但是,这些作品集中在相对较少的样本,简短录音以及有限的词汇和签名空间的数据集上。在这项工作中,我们介绍了手语主题检测的新颖任务。我们基于跨越多个语义域的大规模视频数据集的2sign的实验。我们为主题检测的任务提供了强大的基础,并在手语领域常用的不同视觉特征之间进行了比较。
translated by 谷歌翻译
在这项工作中,我们通过混合现实(MR)应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统,包括:在商业头部安装显示器(HMD)上进行自定义MR视频通行证实现,我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构,以交流使用HMD分割服务器。为了验证这项技术,我们设计了一种身临其境的VR体验,用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的:虚拟手,带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知,这是首次旨在评估基于视频的自我avatar的用户研究,以代表用户在MR场景中。结果表明,不同身体表示在存在方面没有显着差异,虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明,就整个身体感知和整体分割质量而言,深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论,以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界,因此在达到成熟之前仍有改进的空间。但是,该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
热带森林代表了地球上许多物种的动植物的家园,保留了数十亿吨的碳足迹,促进云层和雨水形成,这意味着在全球生态系统中起着至关重要的作用,除了代表无数土著人民的家中。不幸的是,由于森林砍伐或退化,每年丧失数百万公顷的热带森林。为了减轻这一事实,除了预防和惩罚罪犯的公共政策外,还使用了监视和森林砍伐检测计划。这些监视/检测程序通常使用遥感图像,图像处理技术,机器学习方法和专家照片解释来分析,识别和量化森林覆盖的可能变化。几个项目提出了不同的计算方法,工具和模型,以有效地识别最近的森林砍伐区域,从而改善了热带森林中的森林砍伐监测计划。从这个意义上讲,本文提出了基于神经进化技术(整洁)的模式分类器在热带森林森林砍伐检测任务中的使用。此外,已经创建并获得了一个名为E-Neat的新颖框架,并实现了超过$ 90 \%$的分类结果,用于在目标应用中使用极为降低和有限的训练集用于学习分类模型。这些结果代表了本文比较的最佳基线合奏方法的相对增益$ 6.2 \%$
translated by 谷歌翻译