去噪扩散概率模型最近获得了很多研究的关注,因为它们优于GAN,以及目前提供最先进的生成性能。扩散模型的卓越性能使它们在若干应用中为它们提供了吸引人的工具,包括尿素,超分辨率和语义编辑。在本文中,我们证明扩散模型也可以用作语义分割的仪器,特别是当标记数据稀缺时的设置中。特别地,对于几种预训练的扩散模型,我们研究了从执行反向扩散过程的马尔可夫步骤的网络的中间激活。我们表明这些激活有效地捕获了来自输入图像的语义信息,并且看起来是分割问题的优异像素级表示。基于这些观察,我们描述了一种简单的分段方法,即使仅提供了几种训练图像也可以工作。我们的方法显着优于若干数据集的现有替代品,以获得相同数量的人类监督。
translated by 谷歌翻译
高保真语义图像编辑的最新进展依赖于最先进的生成模型的概述潜在的潜在空间,例如风格。具体而言,最近的作品表明,通过线性偏移以及潜在方向,可以实现面部图像中的属性的体面可控性。几个最近的方法解决了这种方向的发现,隐含地假设最先进的GAN学习潜在空间,具有固有的线性可分离属性分布和语义矢量算术属性。在我们的工作中,我们表明,作为培训神经颂歌的流动实现的非线性潜在的代码操纵对于许多具有更复杂的非纹理变化因子的实用非面孔图像域有益。特别是,我们调查具有已知属性的大量数据集,并证明某些属性操作仅具有线性移位的挑战。
translated by 谷歌翻译
关于表格数据深度学习的现有文献提出了广泛的新颖架构,并在各种数据集中报告竞争结果。然而,所提出的模型通常不适合彼此相比,并且现有的作品通常使用不同的基准和实验协议。因此,对于研究人员和从业者来说,目前尚不清楚模特表现最佳。此外,该领域仍然缺乏有效的基线,即易于使用的模型,可以在不同问题上提供竞争性能。在这项工作中,我们通过识别两个简单而强大的深层架构,执行表格数据的DL架构的主要系列的概述。第一个是类似Reset的架构,结果是一个强大的基线,在前的作品中经常丢失。第二种模型是我们简单地适应变压器体系结构的表格数据,这比大多数任务更优于其他解决方案。在相同的培训和调整协议下,这两种模型都与许多现有架构上的许多现有架构进行了比较。我们还将最佳DL模型与渐变提升决策树进行比较,并得出结论仍然没有普遍卓越的解决方案。
translated by 谷歌翻译
在过去的几十年中,人工智能领域大大进展,灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中,我们开发了一个原始的脑激发神经模型,将自组织地图(SOM)和Hebbian学习在重新参与索马里(RESOM)模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比,该模型增强了最先进的结果。这项工作还通过在名为SPARP(自配置3D蜂窝自适应平台)的专用FPGA的平台上的模拟结果和硬件执行,演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连,以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果,通过专用串行链路在每个板之间的通信。由于多模式关联,所提出的统一架构,由RESOM模型和头皮硬件平台组成的精度显着提高,与集中式GPU实现相比,延迟和功耗之间的良好折衷。
translated by 谷歌翻译
近年来,预制语言模型彻底改变了NLP世界,同时在各种下游任务中实现了最先进的性能。但是,在许多情况下,当标记数据稀缺时,这些模型不会表现良好,并且预计模型将在零或几秒钟内执行。最近,有几项工作表明,与下游任务更好地对准的预先预测或执行第二阶段,可以导致改进的结果,尤其是在稀缺数据设置中。在此,我们建议利用携带的情绪话语标记来产生大规模的弱标记数据,这又可以用于适应语言模型进行情感分析。广泛的实验结果显示了我们在各种基准数据集中的方法的价值,包括金融域。在https://github.com/ibm/tslm-discourse-markers上提供代码,模型和数据。
translated by 谷歌翻译
我们解决了对追踪预测的影响函数的高效计算,回到培训数据。我们提出并分析了一种新方法来加速基于Arnoldi迭代的反向Hessian计算。通过这种改进,我们实现了我们的知识,首次成功实施了影响功能,该函数的尺寸为全尺寸(语言和愿景)变压器模型,具有数十亿个参数。我们评估我们对图像分类和序列任务的方法,以百万次训练示例。我们的代码将在https://github.com/google-research/jax-influence上获得。
translated by 谷歌翻译
BlockChain技术和相关框架最近受到了广泛的关注。BlockChain系统使用多方共识协议来达到交易协议。超涉及的结构面料框架根据认可政策协议,公开多方共识,以达成交易的共识。在本文中,我们定义了具有概率特性的区块链多方共识的问题。此外,我们提出了一种使用统计模型检查和假设检测提出了核查策略的验证技术。我们分析了政策的几个方面,包括为组织和组织的拒绝概率分配权重的能力。我们在实验中展示了我们验证技术的工作以及如何使用实验结果来使模型可满足规范。人们可以使用我们的技术与超载手结构框架设计企业应用程序。
translated by 谷歌翻译
个体治疗效果(ITE)预测是机器学习的重要研究领域,其目的在解释和估算粒状水平时的作用的因果影响。它代表了对诸如医疗保健,在线广告或社会经济学的多个申请兴趣的问题。为了促进本主题的研究,我们释放了从几个随机控制试验中收集的1390万个样本的公开收集,通过健康的210倍因素扩展先前可用的数据集。我们提供有关数据收集的详细信息,并执行Sanity检查以验证使用此数据是否有因果推理任务。首先,我们正规化可以使用此数据执行的隆起建模(UM)的任务以及相关的评估指标。然后,我们提出了为ITE预测提供了一般设置的合成响应表面和异质处理分配。最后,我们报告实验以验证利用其大小的数据集的关键特性,以评估和比较 - 具有高统计显着性 - 基线UM和ITE预测方法的选择。
translated by 谷歌翻译
当应用于具有高级别方差的目标类别的复杂数据集时,基于异常检测的基于异常检测的方法趋于下降。类似于转移学习中使用的自学学习的想法,许多域具有类似的未标记数据集,可以作为分发超出样本的代理。在本文中,我们介绍了来自类似域的未标记数据的潜在不敏感的AutoEncoder(LIS-AE)用作阳性示例以形成常规AutoEncoder的潜在层(瓶颈),使得它仅能够重建一个任务。我们为拟议的培训流程和损失职能提供了理论理的理由以及广泛的消融研究,突出了我们模型的重要方面。我们在多个异常检测设置中测试我们的模型,呈现定量和定性分析,展示了我们对异常检测任务模型的显着性能改进。
translated by 谷歌翻译
我们展示了通过大规模多代理端到端增强学习的大射击可转移到真正的四轮压力机的无人驾驶群体控制器的可能性。我们培训由神经网络参数化的政策,该政策能够以完全分散的方式控制群体中的各个无人机。我们的政策,在具有现实的四轮流物理学的模拟环境中训练,展示了先进的植绒行为,在紧张的地层中执行侵略性的操作,同时避免彼此的碰撞,破裂和重新建立地层,以避免与移动障碍的碰撞,并有效地协调追求障碍,并有效地协调追求逃避任务。在模拟中,我们分析了培训制度的不同模型架构和参数影响神经群的最终表现。我们展示了在模拟中学习的模型的成功部署到高度资源受限的物理四体体执行站保持和目标交换行为。在Propers网站上提供代码和视频演示,在https://sites.google.com/view/swarm-rl上获得。
translated by 谷歌翻译