We propose a geometric scattering-based graph neural network (GNN) for approximating solutions of the NP-hard maximum clique (MC) problem. We construct a loss function with two terms, one which encourages the network to find highly connected nodes and the other which acts as a surrogate for the constraint that the nodes form a clique. We then use this loss to train an efficient GNN architecture that outputs a vector representing the probability for each node to be part of the MC and apply a rule-based decoder to make our final prediction. The incorporation of the scattering transform alleviates the so-called oversmoothing problem that is often encountered in GNNs and would degrade the performance of our proposed setup. Our empirical results demonstrate that our method outperforms representative GNN baselines in terms of solution accuracy and inference speed as well as conventional solvers like Gurobi with limited time budgets. Furthermore, our scattering model is very parameter efficient with only $\sim$ 0.1\% of the number of parameters compared to previous GNN baseline models.
translated by 谷歌翻译
几何深度学习取得了长足的进步，旨在概括从传统领域到非欧几里得群岛的结构感知神经网络的设计，从而引起图形神经网络（GNN），这些神经网络（GNN）可以应用于形成的图形结构数据，例如社会，例如，网络，生物化学和材料科学。尤其是受欧几里得对应物的启发，尤其是图形卷积网络（GCN）通过提取结构感知功能来成功处理图形数据。但是，当前的GNN模型通常受到各种现象的限制，这些现象限制了其表达能力和推广到更复杂的图形数据集的能力。大多数模型基本上依赖于通过本地平均操作对图形信号的低通滤波，从而导致过度平滑。此外，为了避免严重的过度厚度，大多数流行的GCN式网络往往是较浅的，并且具有狭窄的接收场，导致侵犯。在这里，我们提出了一个混合GNN框架，该框架将传统的GCN过滤器与通过几何散射定义的带通滤波器相结合。我们进一步介绍了一个注意框架，该框架允许该模型在节点级别上从不同过滤器的组合信息进行本地参与。我们的理论结果确定了散射过滤器的互补益处，以利用图表中的结构信息，而我们的实验显示了我们方法对各种学习任务的好处。
translated by 谷歌翻译
已被证明在改善神经电机翻译（NMT）系统方面有效的深度编码器，但是当编码器层数超过18时，它达到了翻译质量的上限。更糟糕的是，更深的网络消耗了很多内存，使其无法实现有效地训练。在本文中，我们呈现了共生网络，其包括完整的网络作为共生主网络（M-Net）和另一个具有相同结构的共享子网，但层数较少为共生子网（S-Net）。我们在变压器深度（M-N）架构上采用共生网络，并在NMT中定义M-Net和S-Net之间的特定正则化损耗$ \ mathcal {l} _ {\ tau} $。我们对共生网络进行联合培训，并旨在提高M净性能。我们拟议的培训策略在CMT'14 en-> De，De-> EN和EN-> FR任务的经典培训下将变压器深（12-6）改善了0.61,0.49和0.69 BLEU。此外，我们的变压器深（12-6）甚至优于经典变压器深度（18-6）。
translated by 谷歌翻译
最近，非自动增加（NAT）模型并行地预测输出，与自回归（AT）模型相比，实现了产生速度的大量改进。在对原始数据上表现更差的同时，大多数NAT模型都被培训为在教师模型生成的蒸馏数据上的学生模型，称为序列级知识蒸馏。提高模型性能的有效培训策略是自蒸馏混合（SDM）培训，预先训练原始数据模型，通过预先训练的模型本身产生蒸馏数据，最后重新列举模型原始数据和蒸馏数据的组合。在这项工作中，我们的目标是查看NAT模型的SDM，但发现直接采用SDM到NAT模型在翻译质量方面没有改进。通过仔细分析，我们观察失效与教师模型与NAT学生模型的建模和确认偏差相关。基于这些发现，我们提出了一种增强的策略，通过向经典SDM添加两个阶段来提高名为SDMRT的策略：一个是在自蒸馏数据上进行预重磅，另一个是对滤波后的教师蒸馏数据进行微调。我们的结果在多个NAT模型上以0.6至1.2 bleu表示基础。作为另一个奖励，对于迭代细化NAT模型，我们的方法可以在半迭代号内倾斜基线，这意味着2x加速度。
translated by 谷歌翻译
自回归（AR）和非自动增加（NAR）模型对性能和延迟具有自己的优势，将它们与一个模型相结合，可能会利用两者。目前的组合框架更多地关注多个解码范例的集成，具有统一的生成模型，例如，屏蔽语言模型。然而，由于训练目标和推理之间的差距，概括可能对性能有害。在本文中，我们的目标是通过在统一框架下保留AR和NAR的原始目标来缩小差距。具体地，我们通过将AR和NAR共同建模（左右，左右和直）与新引入的方向变量来提出定向变压器（Diformer），这通过控制每个的预测令牌在那方面有特定的依赖关系。通过方向实现的统一成功地保留了AR和NAR中使用的原始依赖性假设，保留了泛化和性能。 4 WMT基准测试的实验表明，Diformer优于当前的联合建模工作，适用于AR和NAR解码的1.5个以上的BLEU积分，也对最先进的独立AR和NAR模型具有竞争力。
translated by 谷歌翻译
In recent years several learning approaches to point goal navigation in previously unseen environments have been proposed. They vary in the representations of the environments, problem decomposition, and experimental evaluation. In this work, we compare the state-of-the-art Deep Reinforcement Learning based approaches with Partially Observable Markov Decision Process (POMDP) formulation of the point goal navigation problem. We adapt the (POMDP) sub-goal framework proposed by [1] and modify the component that estimates frontier properties by using partial semantic maps of indoor scenes built from images' semantic segmentation. In addition to the well-known completeness of the model-based approach, we demonstrate that it is robust and efficient in that it leverages informative, learned properties of the frontiers compared to an optimistic frontier-based planner. We also demonstrate its data efficiency compared to the end-to-end deep reinforcement learning approaches. We compare our results against an optimistic planner, ANS and DD-PPO on Matterport3D dataset using the Habitat Simulator. We show comparable, though slightly worse performance than the SOTA DD-PPO approach, yet with far fewer data.
translated by 谷歌翻译
这项研究开发了一个无人驾驶系统（UASS）的框架，以监测高层建筑项目中未受保护的边缘和开口附近的跌落危险系统。开发并测试了一个三步基于机器学习的框架，以检测UAS捕获的图像的护栏柱。首先，对护栏探测器进行了培训，以定位支撑护栏的职位的候选位置。由于从实际的工作现场收集的此过程中使用了图像，因此确定了几个错误检测。因此，在以下步骤中引入了其他约束，以滤除错误检测。其次，研究团队将水平线检测器应用于图像，以正确检测地板并删除离地板不近的检测。最后，由于每个帖子之间安装了护栏柱，它们之间的分布差异大致，因此它们之间的空间被估算并用于找到两个帖子之间最有可能的距离。研究团队使用了开发方法的各种组合来监视高层建筑项目的捕获图像中的护栏系统。比较精度和召回指标表明，级联分类器通过落地检测和护栏间距估计来取得更好的性能。研究结果表明，拟议的护栏识别系统可以改善护栏的评估，并促进安全工程师确定高层建筑项目中跌落危害的任务。
translated by 谷歌翻译
腕上的触觉界面可以提供各种触觉线索，以传达信息和与虚拟对象的交互。与指尖不同，手腕和前臂提供了相当大的皮肤，可以放置多个触觉执行器，以显示以最小的保留性丰富触觉信息传递的显示。现有的多重自由度（DOF）腕上磨损的设备采用传统的刚性机器人机制和电动机来限制其多功能性，微型化，分配和组装。基于软弹性弹性执行器阵列的替代溶液仅构成1DOF触觉像素。较高的原型产生一个单个相互作用点，并需要复杂的手动组装过程，例如成型和粘合几个部分。这些方法限制了高功能紧凑型触觉显示，可重复性和可定制性的构建。在这里，我们介绍了一种新颖的，完全3D打印的，柔软，可穿戴的触觉显示器，以增加手腕和前臂上的触觉信息传递，并带有3-DOF触觉素（称为Hoxels）。我们的初始原型包括两个烟囱，可提供皮肤剪切，压力，扭曲，拉伸，挤压和其他任意刺激。每个Hoxel在X和Y轴中产生高达1.6 N的力，并在Z轴上产生高达20 n的力。我们的方法可以快速制造多功能和有力的触觉显示器。
translated by 谷歌翻译
通过推断培训数据中的潜在群体，最近的作品将不可用的注释不可用的情况引入不变性学习。通常，在大多数/少数族裔分裂下学习群体不变性在经验上被证明可以有效地改善许多数据集的分布泛化。但是，缺乏这些关于学习不变机制的理论保证。在本文中，我们揭示了在防止分类器依赖于培训集中的虚假相关性的情况下，现有小组不变学习方法的不足。具体来说，我们提出了两个关于判断这种充分性的标准。从理论和经验上讲，我们表明现有方法可以违反标准，因此未能推广出虚假的相关性转移。在此激励的情况下，我们设计了一种新的组不变学习方法，该方法构建具有统计独立性测试的组，并按组标签重新启动样本，以满足标准。关于合成数据和真实数据的实验表明，新方法在推广到虚假相关性转移方面显着优于现有的组不变学习方法。
translated by 谷歌翻译
我们提出了CKAM，周期性内核自适应大都市，该大都市结合了一个周期性的步骤尺寸方案，以控制探索和采样。我们表明，在精心设计的双峰分布中，现有的自适应大都市类型算法将无法融合到真正的后验分布。我们指出，这是因为自适应采样器使用链的过去历史估算局部/全局协方差结构，这将导致自适应算法被困在局部模式下。我们证明CKAM鼓励对后验分布进行探索，并使采样器能够从局部模式中逃脱，同时保持自适应方法的高性能。
translated by 谷歌翻译