知识蒸馏是一种有前途的学习范式，用于提高资源有效的图形神经网络（GNNS）的性能和可靠性使用更多富有表现力而繁琐的教师模型。过去的GNNS蒸馏工作提出了局部结构保存损失（LSP），它与学生和教师节点嵌入空间的局部结构关系匹配。在本文中，我们提出了两个关键贡献：从方法的角度来看，我们研究了是否保留了教师嵌入图数据的全球拓扑结构对于GNN的更有效的蒸馏物目标，因为真实世界的图表通常包含潜在的相互作用和嘈杂边缘。通过预定义边缘的纯粹本地LSP目标无法实现这一目标，因为它忽略了断开的节点之间的关系。我们提出了两种新方法，更好地保留了全球拓扑结构：（1）全局结构保存损失（GSP），其扩展了LSP掺入所有成对相互作用; （2）曲线图对比度表示蒸馏（G-CRD），它使用对比学学习将学生节点嵌入的学生节点嵌入到参与表示空间中的教师。从实验的角度来看，我们在大型现实世界数据集中介绍了一组扩展的基准，教师和学生GNN之间的性能差距是不可忽略的。我们认为这对于测试知识蒸馏的功效和稳健性至关重要，但是从LSP研究中缺少，使用具有琐碎性能间隙的合成数据集。 4个数据集和14个异构GNN架构的实验表明，G-CRD始终如一地提高了轻量级GNN型号的性能和稳健性，优于维护方法，LSP和GSP的结构，以及由2D计算机视觉调整的基线。

无人监督的学习目睹了自然语言理解和最近的2D图像领域的巨大成功。如何利用无监督学习的3D点云分析的力量仍然是开放的。大多数现有方法只是简单地适应2D域中使用的技术到3D域，同时不完全利用3D数据的特殊性。在这项工作中，我们提出了一种对3D点云的无监督代表学习的点辨别学习方法，该方法专门为点云数据设计，可以学习本地和全局形状特征。我们通过对骨干网络产生的中间级别和全球层面特征进行新的点歧视损失来实现这一目标。该点歧视损失强制执行与属于相应局部形状区域的点，并且与随机采样的嘈杂点不一致。我们的方法简单，设计简单，通过添加额外的适配模块和用于骨干编码器的无监督培训的点一致性模块。培训后，可以在对下游任务的分类器或解码器的监督培训期间丢弃这两个模块。我们在各种设置中对3D对象分类，3D语义和部分分割进行了广泛的实验，实现了新的最先进的结果。我们还对我们的方法进行了详细的分析，目视证明我们所学到的无监督特征的重建本地形状与地面真理形状高度一致。

用于图形组合优化问题的神经网络溶剂的端到端培训，例如旅行销售人员问题（TSP）最近看到了感兴趣的激增，但在几百节节点的图表中保持棘手和效率低下。虽然最先进的学习驱动的方法对于TSP在培训的古典索引时与古典求解器密切相关，但它们无法通过实际尺度的实际情况概括到更大的情况。这项工作提出了一个端到端的神经组合优化流水线，统一几个卷纸，以确定促进比在训练中看到的实例的概括的归纳偏差，模型架构和学习算法。我们的受控实验提供了第一个原则上调查这种零拍摄的概括，揭示了超越训练数据的推断需要重新思考从网络层和学习范例到评估协议的神经组合优化流水线。此外，我们分析了深入学习的最近进步，通过管道的镜头路由问题，并提供新的方向，以刺激未来的研究。

In the last few years, graph neural networks (GNNs) have become the standard toolkit for analyzing and learning from data on graphs. This emerging field has witnessed an extensive growth of promising techniques that have been applied with success to computer science, mathematics, biology, physics and chemistry. But for any successful field to become mainstream and reliable, benchmarks must be developed to quantify progress. This led us in March 2020 to release a benchmark framework that i) comprises of a diverse collection of mathematical and real-world graphs, ii) enables fair model comparison with the same parameter budget to identify key architectures, iii) has an open-source, easy-to-use and reproducible code infrastructure, and iv) is flexible for researchers to experiment with new theoretical ideas. As of December 2022, the GitHub repository has reached 2,000 stars and 380 forks, which demonstrates the utility of the proposed open-source framework through the wide usage by the GNN community. In this paper, we present an updated version of our benchmark with a concise presentation of the aforementioned framework characteristics, an additional medium-sized molecular dataset AQSOL, similar to the popular ZINC, but with a real-world measured chemical target, and discuss how this framework can be leveraged to explore new GNN designs and insights. As a proof of value of our benchmark, we study the case of graph positional encoding (PE) in GNNs, which was introduced with this benchmark and has since spurred interest of exploring more powerful PE for Transformers and GNNs in a robust experimental setting.

机器学习的回归分支纯粹集中于连续值的预测。监督学习分支具有许多基于回归的方法，具有参数和非参数学习模型。在本文中，我们旨在针对与基于距离的回归模型相关的非常微妙的点。所使用的基于距离的模型是K-Nearest邻居回归器，它是一种监督的非参数方法。我们要证明的观点是模型的k参数的效果及其影响指标的波动。我们使用的指标是根平方误差和R平方拟合的优点，其值相对于K值的值表示。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

灵巧的操纵仍然是机器人技术中的一个空缺问题。为了协调研究界为解决这个问题的努力，我们提出了共同的基准。我们设计和构建了机器人平台，该平台托管在MPI上供智能系统托管，可以远程访问。每个平台由三个能够敏捷物体操纵的机器人手指组成。用户能够通过提交自动执行的代码（类似于计算群集）来远程控制平台。使用此设置，i）我们举办机器人竞赛，来自世界任何地方的团队访问我们的平台以应对具有挑战性的任务ii）我们发布了在这些比赛中收集的数据集（包括数百个机器人小时），而我们为研究人员提供了访问自己项目的这些平台。

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

现代视觉惯性导航系统（VINS）面临着实际部署中的一个关键挑战：他们需要在高度动态的环境中可靠且强大地运行。当前最佳解决方案仅根据对象类别的语义将动态对象过滤为异常值。这样的方法不缩放，因为它需要语义分类器来包含所有可能移动的对象类;这很难定义，更不用说部署。另一方面，许多现实世界的环境以墙壁和地面等平面形式表现出强大的结构规律，这也是至关重要的。我们呈现RP-VIO，一种单眼视觉惯性内径系统，可以利用这些平面的简单几何形状，以改善充满活力环境的鲁棒性和准确性。由于现有数据集具有有限数量的动态元素，因此我们还提供了一种高动态的光致态度合成数据集，用于更有效地对现代VINS系统的功能的评估。我们评估我们在该数据集中的方法，以及来自标准数据集的三个不同序列，包括两个真实的动态序列，并在最先进的单眼视觉惯性内径系统上显示出鲁棒性和准确性的显着提高。我们还显示在模拟中，通过简单的动态特征掩蔽方法改进。我们的代码和数据集是公开可用的。

商业建筑约占美国总消耗的35％，其中近三分之二的化石燃料对环境产生了不利影响。通过控制闭环建筑环境中的乘员插头使用量来降低能源消耗，可以通过降低能源消耗来减轻这种不利影响。在这项工作中，我们进行了多个实验，以分析由于激励措施和/或视觉反馈而导致的乘员插头能量消耗的变化。这些激励措施需要以随机顺序管理的每日货币价值在5至50美元之间，视觉反馈由一个基于网络的仪表板组成，旨在提高参与者的能量意识。在位于加利福尼亚州莫菲特菲尔德的NASA AMES研究公园的政府办公室和大学建筑物中进行了实验。构建自回旋模型以预测存在外源变量的预期插头节省。对数据的分析显示，可以通过视觉反馈和激励机制来实现插头能量消耗的调节，这表明在循环控制架构中可能在商业建筑环境中有效。我们的发现表明，在办公室和大学环境中视觉反馈引起的平均能量降低分别约为9.52％和约21.61％。通过通过货币激励措施增强大学环境中的视觉反馈，发现平均减少能量为〜24.22％