二进制神经网络（BNNS）对现实世界中嵌入式设备显示出巨大的希望。作为实现强大BNN的关键步骤之一，规模因子计算在减少其实价对应物的性能差距方面起着至关重要的作用。然而，现有的BNN忽略了实价重量和尺度因子的固有双线关系，从而导致训练过程不足引起的亚最佳模型。为了解决这个问题，提出了复发性双线性优化，以通过将固有的双线性变量关联到背面传播过程中，以改善BNNS（RBONN）的学习过程。我们的工作是从双线性角度优化BNN的首次尝试。具体而言，我们采用经常​​性优化和密度 - 列表来依次回溯稀疏的实价过滤器，该过滤器将经过充分的训练并基于可控的学习过程达到其性能限制。我们获得了强大的rbonn，在各种模型和数据集上的最先进的BNN上表现出令人印象深刻的性能。特别是，在对象检测的任务下，rbonn具有出色的概括性能。我们的代码在https://github.com/stevetsui/rbonn上进行开源。

学习率是对神经网络培训有重大影响的最重要的超参数之一。学习率计划在实际实践中广泛使用，以根据预定义的时间表来调整学习率，以进行快速收敛和良好的概括。但是，现有的学习率时间表都是启发式算法，缺乏理论支持。因此，人们通常通过多个临时试验选择学习率计划，并且获得的学习率时间表是最佳的。为了提高获得的次级学习率计划的性能，我们提出了一个通用的学习率计划插件，称为学习率扰动（LEAP），可以将其应用于各种学习率计划，以通过引入一定的扰动来改善模型培训达到学习率。我们发现，通过如此简单而有效的策略，培训处理成倍地利用了平坦的最小值，而不是具有保证收敛的尖锐的最小值，从而提高了更好的概括能力。此外，我们进行了广泛的实验，表明使用LEAP培训可以使用各种学习率计划（包括恒定的学习率）来改善各种数据集对各种深度学习模型的性能。

视觉预读（VLP）模型最近成功地促进了许多跨模式下游任务。大多数现有作品通过比较微调的下游任务性能来评估其系统。但是，只有平均下游任务准确性才能提供有关每种VLP方法的优缺点的几乎没有信息，更不用说有关社区如何改善系统的见解。受清单进行自然语言处理的启发，我们引入了VL-CheckList，这是一个新颖的框架，以了解VLP模型的功能。所提出的方法将VLP模型的图像定位能力分为三类：对象，属性和关系，并使用新颖的分类法进一步分解这三个方面。我们进行了全面的研究，通过提出的框架分析了七个最近流行的VLP模型。结果通过揭示了仅在下游任务评估中看不见的模型之间的细粒度差异来证实所提出的方法的有效性。进一步的结果表明，在构建更好的VLP模型方面有希望的研究方向。数据和代码：https：//github.com/om--ai-lab/vl-checklist

在本文中，我们调查了正规化的力量，即在解决广泛形式的游戏（EFGS）方面的加强学习和优化方面的常见技术。我们提出了一系列新算法，基于正规化游戏的回报功能，并建立一组收敛结果，这些结果严格改善了现有的假设或更强的收敛保证。特别是，我们首先证明了膨胀的乐观镜下降（DOMD），一种用于求解EFG的有效变体，具有自适应正则化可以实现快速的$ \ tilde o（1/t）$ last-Ilt-Ilt-Ilt-It-last-Ilt-It-titer-In-titer-Inter-In-Elt-It-Triperate Connergengengenge没有纳什平衡（NE）的独特性假设。此外，正规化的膨胀倍增权重更新（reg-domwu）是reg-domd的实例，进一步享受了$ \ tilde o（1/t）$ ther-tir-tir-tir-tir-tir-tir-ter-tir-tir-ter-tir-tir-tir-tir-tir-tir-tir-tir-tir-ter-ter-ter-ter-ter-ter-ter-ter-ter-tir-ter-ter-tir-trientate Convergence。这解决了一个关于OMWU算法是否可以在没有EFG和正常形式游戏文献中的唯一假设的情况下获得的迭代融合的一个悬而未决的问题。其次，我们表明，正式化的反事实遗憾最小化（reg-cfr），具有乐观的镜像下降算法的变体作为遗憾少量器，可以实现$ o（1/t^{1/4}）$ best-Ilterate和$ $ o（1/t^{3/4}）$用于在EFG中查找NE的平均值收敛率。最后，我们表明Reg-CFR可以实现渐近的最后一介质收敛，而最佳$ O（1/t）$平均识别收敛速率可用于查找扰动的EFGS的NE，这对于找到近似广泛形式的完美非常有用平衡（EFPE）。据我们所知，它们构成了CFR型算法的第一个最后近期收敛结果，同时匹配SOTA平均识别收敛速率在寻找非扰动的EFG中的NE中。我们还提供数值结果来证实我们算法的优势。

通过从完全标记的源域中利用数据，无监督域适应（UDA）通过显式差异最小化数据分布或对抗学习来提高未标记的目标域上的分类性能。作为增强，通过利用模型预测来加强目标特征识别期间涉及类别对齐。但是，在目标域上的错误类别预测中产生的伪标签不准确以及由源域的过度录制引起的分发偏差存在未探明的问题。在本文中，我们提出了一种模型 - 不可知的两阶段学习框架，这大大减少了使用软伪标签策略的缺陷模型预测，并避免了课程学习策略的源域上的过度拟合。从理论上讲，它成功降低了目标域上预期误差的上限的综合风险。在第一阶段，我们用分布对齐的UDA方法训练一个模型，以获得具有相当高的置位目标域上的软语义标签。为了避免在源域上的过度拟合，在第二阶段，我们提出了一种课程学习策略，以自适应地控制来自两个域的损失之间的加权，以便训练阶段的焦点从源分布逐渐移位到目标分布，以预测信心提升了目标分布在目标领域。对两个知名基准数据集的广泛实验验证了我们提出框架促进促进顶级UDA算法的性能的普遍效果，并展示其一致的卓越性能。

段4K或6K超高分辨率图像需要在图像分割中考虑额外的计算考虑。常见的策略，如淡化采样，补丁裁剪和级联模型，不能妥善解决精度和计算成本之间的余额问题。由人类在粗糙到精确水平中连续地区分物体的影响，我们提出了用于超高分辨率分割任务的连续细化模型〜（CRM）。CRM连续将特征映射与细化目标保持一致，并聚合要重建这些图像的细节。此外，我们的CRM表明其具有填补低分辨率培训图像和超高分辨率测试之间的分辨率差距的重要概括能力。我们展示了定量的绩效评估和可视化，以表明我们的提出方法在图像分割细化方面是快速有效的。代码将在https://github.com/dvlab-research/entity发布。

Bilevel optimization plays an essential role in many machine learning tasks, ranging from hyperparameter optimization to meta-learning. Existing studies on bilevel optimization, however, focus on either centralized or synchronous distributed setting. The centralized bilevel optimization approaches require collecting massive amount of data to a single server, which inevitably incur significant communication expenses and may give rise to data privacy risks. Synchronous distributed bilevel optimization algorithms, on the other hand, often face the straggler problem and will immediately stop working if a few workers fail to respond. As a remedy, we propose Asynchronous Distributed Bilevel Optimization (ADBO) algorithm. The proposed ADBO can tackle bilevel optimization problems with both nonconvex upper-level and lower-level objective functions, and its convergence is theoretically guaranteed. Furthermore, it is revealed through theoretic analysis that the iteration complexity of ADBO to obtain the $\epsilon$-stationary point is upper bounded by $\mathcal{O}(\frac{1}{{{\epsilon ^2}}})$. Thorough empirical studies on public datasets have been conducted to elucidate the effectiveness and efficiency of the proposed ADBO.

Entity Alignment (EA), which aims to detect entity mappings (i.e. equivalent entity pairs) in different Knowledge Graphs (KGs), is critical for KG fusion. Neural EA methods dominate current EA research but still suffer from their reliance on labelled mappings. To solve this problem, a few works have explored boosting the training of EA models with self-training, which adds confidently predicted mappings into the training data iteratively. Though the effectiveness of self-training can be glimpsed in some specific settings, we still have very limited knowledge about it. One reason is the existing works concentrate on devising EA models and only treat self-training as an auxiliary tool. To fill this knowledge gap, we change the perspective to self-training to shed light on it. In addition, the existing self-training strategies have limited impact because they introduce either much False Positive noise or a low quantity of True Positive pseudo mappings. To improve self-training for EA, we propose exploiting the dependencies between entities, a particularity of EA, to suppress the noise without hurting the recall of True Positive mappings. Through extensive experiments, we show that the introduction of dependency makes the self-training strategy for EA reach a new level. The value of self-training in alleviating the reliance on annotation is actually much higher than what has been realised. Furthermore, we suggest future study on smart data annotation to break the ceiling of EA performance.

In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of $1.9$ on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.

图形数据库（GDB）启用对非结构化，复杂，丰富且通常庞大的图形数据集的处理和分析。尽管GDB在学术界和行业中都具有很大的意义，但几乎没有努力将它们与图形神经网络（GNNS）的预测能力融为一体。在这项工作中，我们展示了如何无缝将几乎所有GNN模型与GDB的计算功能相结合。为此，我们观察到这些系统大多数是基于或支持的，称为标记的属性图（LPG）的图形数据模型，在该模型中，顶点和边缘可以任意复杂的标签和属性集。然后，我们开发LPG2VEC，这是一种编码器，将任意LPG数据集转换为可以与广泛的GNN类直接使用的表示形式，包括卷积，注意力，消息通话，甚至高阶或频谱模型。在我们的评估中，我们表明，LPG2VEC可以正确保留代表LPG标签和属性的丰富信息，并且与与图形相比，与与图形相比，它提高了预测的准确性，而不管有针对性的学习任务或使用过的GNN模型，多达34％没有LPG标签/属性。通常，LPG2VEC可以将最强大的GNN的预测能力与LPG模型中编码的全部信息范围相结合，为神经图数据库铺平了道路，这是一类系统，其中维护的数据的绝大复杂性将从现代和未来中受益图机学习方法。