功能提取器在文本识别（TR）中起着至关重要的作用，但是由于昂贵的手动调整，自定义其体系结构的探索相对较少。在这项工作中，受神经体系结构搜索（NAS）的成功启发，我们建议搜索合适的功能提取器。我们通过探索具有良好功能提取器的原理来设计特定于域的搜索空间。该空间包括用于空间模型的3D结构空间和顺序模型的基于转换的空间。由于该空间是巨大且结构复杂的，因此无法应用现有的NAS算法。我们提出了一种两阶段算法，以有效地在空间中进行搜索。在第一阶段，我们将空间切成几个块，并借助辅助头逐步训练每个块。我们将延迟约束引入第二阶段，并通过自然梯度下降从受过训练的超级网络搜索子网络。在实验中，进行了一系列消融研究，以更好地了解设计的空间，搜索算法和搜索架构。我们还将所提出的方法与手写和场景TR任务上的各种最新方法进行了比较。广泛的结果表明，我们的方法可以以较小的延迟获得更好的识别性能。

时空活动预测，旨在预测特定位置和时间的用户活动，对于城市规划和移动广告等应用至关重要。基于张量分解或嵌入图的现有解决方案受到以下两个主要局限性的影响：1）忽略用户偏好的细粒度相似之处； 2）用户的建模是纠缠的。在这项工作中，我们提出了一个称为Disenhcn的超图神经网络模型，以弥合上述差距。特别是，我们首先将细粒的用户相似性和用户偏好和时空活动之间的复杂匹配统一为异质性超图。然后，我们将用户表示形式分为不同的方面（位置感知，时光和活动意识），并汇总相应的方面在构造的超图上的特征，从不同方面捕获了高阶关系，并解散了最终方面的最终影响。预言。广泛的实验表明，我们的DisenHCN在四个现实世界中的数据集上优于最新方法的最新方法14.23％至18.10％。进一步的研究还令人信服地验证了我们disenhcn中每个组件的合理性。

评分函数（SF）测量了知识图中三重态的合理性。不同的评分功能会导致在不同知识图上的链接预测性能上造成巨大差异。在本报告中，我们描述了通过在开放图基准（OGB）上随机搜索发现的怪异评分函数。该评分函数（称为Autoweird）仅在三胞胎中使用尾部实体和关系来计算其合理性得分。实验结果表明，AutoweiD在OGBL-Wikikg2数据集上实现了TOP-1性能，但比OGBL-BIOKG数据集的其他方法的性能要差得多。通过分析这两个数据集的尾部实体分布和评估协议，我们将Autoweird在OGBL-Wikikg2上的意外成功归因于不适当的评估和集中的尾巴实体分布。这样的结果可能会激发有关如何准确评估知识图的不同链接预测方法的性能的进一步研究。

针对OGB图分类任务中的两个分子图数据集和一个蛋白质关联子图数据集，我们通过引入PAS（池架构搜索）设计一个图形神经网络框架，用于图形分类任务。同时，我们根据GNN拓扑设计方法F2GNN进行改进GNN培训。最后，在这三个数据集上实现了性能突破，这比具有固定聚合功能的其他方法要好得多。事实证明，NAS方法具有多个任务的高概括能力以及我们在处理图形属性预测任务方面的优势。

联合优化（FedOpt），在大量分布式客户端协作培训学习模型的目标是对联邦学习的重要性。 Fedopt的主要问题可归因于模型分歧和通信效率，这显着影响了性能。在本文中，我们提出了一种新方法，即Losac，更有效地从异构分布式数据中学习。它的关键算法洞察力是在{每个}常规本地模型更新之后本地更新全局全梯度的估计。因此，Losac可以使客户的信息以更紧凑的方式刷新。特别是，我们研究了Losac的收敛结果。此外，Losac的奖金是能够从最近的技术泄漏梯度（DLG）中捍卫信息泄漏。最后，实验已经验证了与最先进的FedOpt算法比较Losac的优越性。具体而言，Losac平均超过100美元的价格提高了通信效率，减轻了模型分歧问题，并配备了对抗DLG的防御能力。

分子特性预测在药物发现中起着基本作用，以鉴定具有目标性质的候选分子。然而，分子特性预测基本上是几次射门问题，这使得难以使用普通机器学习模型。在本文中，我们提出了一个属性感知的关系网络（PAR）来处理此问题。与现有的作品相比，我们利用了不同分子特性的相关子结构和关系的事实。我们首先介绍一个属性感知的嵌入功能，将通用分子嵌入的功能转换为与目标属性相关的子结构感知空间。此外，我们设计了一个自适应关系图学习模块，共同估计了分子关系图和优化分子嵌入W.R.T.目标性质，使得有限标签可以有效地在类似的分子之间繁殖。我们采用元学习策略，其中参数在任务中选择性地更新，以便单独模拟通用和属性感知的知识。基准分子特性预测数据集的广泛实验表明，始终如一地优于现有方法，并可以正确获得性能感知分子嵌入和模型分子关系图。

区分图表中节点的自同质等效在许多科学域中起重要作用，例如计算生物学家和社会网络分析。然而，现有的图形神经网络（GNNS）无法捕获如此重要的财产。为了使GNN意识到同类同性量，我们首先介绍这个概念的本地化变体 - 以自我为中心的自动形态等价（EGO-AE）。然后，我们设计了一种GNN的新型变体，即葡萄，它使用可知的AE感知的聚合器明确地将每个节点邻居的EGO-AE与各种子图模板的辅助装置分辨。虽然子图模板的设计可能很难，但我们进一步提出了一种遗传算法来自动从图数据中搜索它们。此外，我们理论上证明，就具有不同EGO-AE特征的节点的不同表示，葡萄是表达的，其填充了现有GNN变体的基本差距。最后，我们经验验证了我们的八个真实图表数据的模型，包括社交网络，电子商务共同购买网络和引文网络，并表明它一直以现有的GNN达成胜过。源代码是在https://github.com/tsinghua-fib-lab/grape上获得的公开。

Deep learning with noisy labels is practically challenging, as the capacity of deep models is so high that they can totally memorize these noisy labels sooner or later during training. Nonetheless, recent studies on the memorization effects of deep neural networks show that they would first memorize training data of clean labels and then those of noisy labels. Therefore in this paper, we propose a new deep learning paradigm called "Co-teaching" for combating with noisy labels. Namely, we train two deep neural networks simultaneously, and let them teach each other given every mini-batch: firstly, each network feeds forward all data and selects some data of possibly clean labels; secondly, two networks communicate with each other what data in this mini-batch should be used for training; finally, each network back propagates the data selected by its peer network and updates itself. Empirical results on noisy versions of MNIST, CIFAR-10 and CIFAR-100 demonstrate that Co-teaching is much superior to the state-of-the-art methods in the robustness of trained deep models. * The first two authors (Bo Han and Quanming Yao) made equal contributions. The implementation is available at https://github.com/bhanML/Co-teaching.32nd Conference on Neural Information Processing Systems (NIPS 2018),

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.

Temporal sentence grounding (TSG) aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. All existing works first utilize a sparse sampling strategy to extract a fixed number of video frames and then conduct multi-modal interactions with query sentence for reasoning. However, we argue that these methods have overlooked two indispensable issues: 1) Boundary-bias: The annotated target segment generally refers to two specific frames as corresponding start and end timestamps. The video downsampling process may lose these two frames and take the adjacent irrelevant frames as new boundaries. 2) Reasoning-bias: Such incorrect new boundary frames also lead to the reasoning bias during frame-query interaction, reducing the generalization ability of model. To alleviate above limitations, in this paper, we propose a novel Siamese Sampling and Reasoning Network (SSRN) for TSG, which introduces a siamese sampling mechanism to generate additional contextual frames to enrich and refine the new boundaries. Specifically, a reasoning strategy is developed to learn the inter-relationship among these frames and generate soft labels on boundaries for more accurate frame-query reasoning. Such mechanism is also able to supplement the absent consecutive visual semantics to the sampled sparse frames for fine-grained activity understanding. Extensive experiments demonstrate the effectiveness of SSRN on three challenging datasets.