在3D点云上的应用程序越来越需要效率和鲁棒性，在自动驾驶和机器人技术等场景中无处不在使用边缘设备，这通常需要实时和可靠的响应。该论文通过设计一个通用框架来应对挑战，以构建具有（3）均衡和网络二元化的3D学习体系结构。然而，模棱两可的网络和二元化的幼稚组合会导致优化的计算效率或几何歧义。我们建议在网络中同时找到标量和向量特征，以避免这两种情况。确切地说，标量特征的存在使网络的主要部分是可动的，而矢量特征则可以保留丰富的结构信息并确保SO（3）均衡。提出的方法可以应用于PointNet和DGCNN等一般骨干。同时，对ModelNet40，Shapenet和现实世界数据集ScanObjectnn进行的实验表明，该方法在效率，旋转稳健性和准确性之间取决于巨大的权衡。这些代码可在https://github.com/zhuoinoulu/svnet上找到。
translated by 谷歌翻译
部分微分方程（PDE）参见在科学和工程中的广泛使用，以将物理过程的模拟描述为标量和向量场随着时间的推移相互作用和协调。由于其标准解决方案方法的计算昂贵性质，神经PDE代理已成为加速这些模拟的积极研究主题。但是，当前的方法并未明确考虑不同字段及其内部组件之间的关系，这些关系通常是相关的。查看此类相关场的时间演变通过多活动场的镜头，使我们能够克服这些局限性。多胎场由标量，矢量以及高阶组成部分组成，例如双分数和三分分射线。 Clifford代数可以描述它们的代数特性，例如乘法，加法和其他算术操作。据我们所知，本文介绍了此类多人表示的首次使用以及Clifford的卷积和Clifford Fourier在深度学习的背景下的转换。由此产生的Clifford神经层普遍适用，并将在流体动力学，天气预报和一般物理系统的建模领域中直接使用。我们通过经验评估克利福德神经层的好处，通过在二维Navier-Stokes和天气建模任务以及三维Maxwell方程式上取代其Clifford对应物中常见的神经PDE代理中的卷积和傅立叶操作。克利福德神经层始终提高测试神经PDE代理的概括能力。
translated by 谷歌翻译
宏位置是将内存块放在芯片画布上的问题。它可以在序列对上表达为组合优化问题，该表示形式描述了宏的相对位置。解决此问题尤其具有挑战性，因为目标功能评估昂贵。在本文中，我们通过序列对使用贝叶斯优化（BO）开发了一种新颖的方法来宏观放置。 BO是一种机器学习技术，它使用概率的替代模型和一个采集功能，可以平衡探索和开发以有效地优化黑盒目标函数。 BO比强化学习更有效率，因此可以与更现实的目标一起使用。此外，从数据中学习并将算法适应目标函数的能力使BO成为其他黑盒优化方法（例如模拟退火）的吸引人替代方法，该方法依赖于问题依赖性的启发式方法和参数调整。我们在固定外线宏观位置问题上基准了我们的算法，并具有半二级线长度目标，并表现出竞争性能。
translated by 谷歌翻译
以对象为中心的表示是人类感知的基础，并使我们能够对世界进行推理，并系统地推广到新的环境。当前，大多数在无监督的对象发现上的作品集中在基于插槽的方法上，这些方法明确将单个对象的潜在表示分开。尽管结果很容易解释，但通常需要设计相关建筑的设计。与此相反，我们提出了一种相对简单的方法 - 复杂的自动编码器（CAE） - 创建分布式以对象为中心的表示。遵循对生物神经元中对象表示为基础的编码方案，其复杂值激活表示两个消息：它们的幅度表达了特征的存在，而神经元之间的相对相位差异应绑定在一起以创建关节对象表示。 。与以前使用复杂值激活进行对象发现的方法相反，我们提出了一种完全无监督的方法，该方法是端到端训练的 - 导致了性能和效率的显着提高。此外，我们表明，与最新的基于最新的插槽方法相比，CAE在简单的多对象数据集上实现了竞争性或更好的无监督对象发现性能，同时训练的速度要快100倍。
translated by 谷歌翻译
这项工作引入了3D分子生成的扩散模型，该模型与欧几里得转化一样。我们的e（3）e象扩散模型（EDM）学会了通过均衡网络的扩散过程，该网络共同在连续（原子坐标）和分类特征（原子类型）上共同运行。此外，我们提供了一种概率分析，该分析使用我们的模型接受了分子的可能性计算。在实验上，所提出的方法显着优于先前关于生成样品质量和训练时效率的3D分子生成方法。
translated by 谷歌翻译
基于能量的建模是一个有希望的无监督学习的方法，它来自单个模型的许多下游应用。使用“对比方法”学习基于能量的模型的主要困难是从每次迭代的当前能量函数中产生样本。已经廉价地完成了许多进展。然而，所有这样的采样范例运行MCMC针对当前模型，这需要无限的长链来产生来自真正能量分布的样本，并且在实践中存在问题。本文提出了一种替代方法来获取这些样品并避免从当前模型中取样的粗MCC采样。我们通过观察建模分布的演变为（i）能量功能的演变，并（ii）从沿着某种矢量场的这种分布的演变的演变来实现这一目标。随后我们推导出该时间依赖的矢量字段，使得该字段之后的粒子近似分布为当前密度模型。因此，我们将颗粒的演变与学习程序规定的能量函数的演变相匹配。重要的是，与Monte Carlo采样不同，我们的方法靶向有限时间匹配当前分布。最后，与基于MCMC的学习方法相比，我们展示了其经验的有效性。
translated by 谷歌翻译
联合学习描述了多个客户端的模型的分布式培训，同时保留数据私有设备。在这项工作中，我们将服务器策划的联合学习过程视为分层潜在的变量模型，其中服务器提供了通过客户端特定的模型参数的先前分发的参数。我们表明，通过简单的高斯前瞻和众所周知的期望 - 最大化（EM）算法的硬版，在这种模型中学习对应于FEDVG，是联合学习设置的最流行的算法。在FEDAVG上的这种透视统一了最近在该字段中的几个工作，并通过分层模型的不同选择开辟了扩展的可能性。基于这种观点，我们进一步提出了一种雇用现有分布的分级模型的变体来促进稀疏性。通过使用Hard-Em算法来学习，我们获得FedSparse，可以在联邦学习设置中学习稀疏神经网络的过程。 FedSparse将来自客户端的通信成本降低到服务器，反之亦然，以及对稀疏网络推断的计算成本 - 这两者都具有很大的实际重要性在联合学习中。
translated by 谷歌翻译
大脑中的类别选择性描述了脑皮质的某些空间局部区域区域倾向于从特定有限类别鲁棒地和选择性地响应刺激。类别选择性的最熟知的示例之一是梭形面积区域（FFA），其在与物体或其他通用刺激相比时优先对面部的图像响应于面部的较低时间皮层的面积。在这项工作中，我们利用新引进的地形变形式自动拓码以无监督方式模拟此类局部类别选择性的出现。通过实验，我们展示了我们的模型产生的空间密集的神经集群，通过COHEN的D度量的可视化图选择性地面临面部，身体和地点。我们将模型与相关的监督方法进行比较，即Lee等人的地形深层人工神经网络（TDANN），并讨论理论和经验相似之处。最后，我们展示了初步结果，表明我们的模型产生了越来越抽象的类别的嵌套空间层次，类似于人类腹侧颞型皮质的观察。
translated by 谷歌翻译
包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。
translated by 谷歌翻译
在这项工作中，我们寻求弥合神经网络中地形组织和设备的概念。为实现这一目标，我们介绍了一种新颖的方法，用于有效地培训具有地形组织的潜变量的深度生成模型。我们表明，这种模型确实学会根据突出的特征，例如在MNIST上的数字，宽度和样式等突出特征来组织激活。此外，通过地形组织随着时间的推移（即时间相干），我们展示了如何鼓励预定义的潜空间转换运营商，以便观察到的转换输入序列 - 这是一种无监督的学习设备的原始形式。我们展示了该模型直接从序列中直接从序列中学习大约成反比的特征（即“胶囊”）并在相应变换测试序列上实现更高的似然性。通过测量推理网络的近似扩展和序列变换来定量验证标准验证。最后，我们展示了复杂转化的近似值，扩大了现有组的常量神经网络的能力。
translated by 谷歌翻译