Among current anchor-based detectors, a positive anchor box will be intuitively assigned to the object that overlaps it the most. The assigned label to each anchor will directly determine the optimization direction of the corresponding prediction box, including the direction of box regression and category prediction. In our practice of crowded object detection, however, the results show that a positive anchor does not always regress toward the object that overlaps it the most when multiple objects overlap. We name it anchor drift. The anchor drift reflects that the anchor-object matching relation, which is determined by the degree of overlap between anchors and objects, is not always optimal. Conflicts between the fixed matching relation and learned experience in the past training process may cause ambiguous predictions and thus raise the false-positive rate. In this paper, a simple but efficient adaptive two-stage anchor assignment (TSAA) method is proposed. It utilizes the final prediction boxes rather than the fixed anchors to calculate the overlap degree with objects to determine which object to regress for each anchor. The participation of the prediction box makes the anchor-object assignment mechanism adaptive. Extensive experiments are conducted on three classic detectors RetinaNet, Faster-RCNN and YOLOv3 on CrowdHuman and COCO to evaluate the effectiveness of TSAA. The results show that TSAA can significantly improve the detectors' performance without additional computational costs or network structure changes.

A key assumption in most existing works on FL algorithms' convergence analysis is that the noise in stochastic first-order information has a finite variance. Although this assumption covers all light-tailed (i.e., sub-exponential) and some heavy-tailed noise distributions (e.g., log-normal, Weibull, and some Pareto distributions), it fails for many fat-tailed noise distributions (i.e., ``heavier-tailed'' with potentially infinite variance) that have been empirically observed in the FL literature. To date, it remains unclear whether one can design convergent algorithms for FL systems that experience fat-tailed noise. This motivates us to fill this gap in this paper by proposing an algorithmic framework called FAT-Clipping (\ul{f}ederated \ul{a}veraging with \ul{t}wo-sided learning rates and \ul{clipping}), which contains two variants: FAT-Clipping per-round (FAT-Clipping-PR) and FAT-Clipping per-iteration (FAT-Clipping-PI). Specifically, for the largest $\alpha \in (1,2]$ such that the fat-tailed noise in FL still has a bounded $\alpha$-moment, we show that both variants achieve $\mathcal{O}((mT)^{\frac{2-\alpha}{\alpha}})$ and $\mathcal{O}((mT)^{\frac{1-\alpha}{3\alpha-2}})$ convergence rates in the strongly-convex and general non-convex settings, respectively, where $m$ and $T$ are the numbers of clients and communication rounds. Moreover, at the expense of more clipping operations compared to FAT-Clipping-PR, FAT-Clipping-PI further enjoys a linear speedup effect with respect to the number of local updates at each client and being lower-bound-matching (i.e., order-optimal). Collectively, our results advance the understanding of designing efficient algorithms for FL systems that exhibit fat-tailed first-order oracle information.

To lower the communication complexity of federated min-max learning, a natural approach is to utilize the idea of infrequent communications (through multiple local updates) same as in conventional federated learning. However, due to the more complicated inter-outer problem structure in federated min-max learning, theoretical understandings of communication complexity for federated min-max learning with infrequent communications remain very limited in the literature. This is particularly true for settings with non-i.i.d. datasets and partial client participation. To address this challenge, in this paper, we propose a new algorithmic framework called stochastic sampling averaging gradient descent ascent (SAGDA), which i) assembles stochastic gradient estimators from randomly sampled clients as control variates and ii) leverages two learning rates on both server and client sides. We show that SAGDA achieves a linear speedup in terms of both the number of clients and local update steps, which yields an $\mathcal{O}(\epsilon^{-2})$ communication complexity that is orders of magnitude lower than the state of the art. Interestingly, by noting that the standard federated stochastic gradient descent ascent (FSGDA) is in fact a control-variate-free special version of SAGDA, we immediately arrive at an $\mathcal{O}(\epsilon^{-2})$ communication complexity result for FSGDA. Therefore, through the lens of SAGDA, we also advance the current understanding on communication complexity of the standard FSGDA method for federated min-max learning.

磁共振成像（MRI）图像中的小病变对于多种疾病的临床诊断至关重要。但是，MRI质量很容易被各种噪声降解，这可以极大地影响小病变的诊断准确性。尽管已经提出了一些用于降级MR图像的方法，但缺乏提高特定于任务的降级方法来提高小病变的诊断信心。在这项工作中，我们建议通过体素杂种残留MLP-CNN模型来降低具有小病变的三维（3D）MR图像。我们结合了基本的深度学习体系结构MLP和CNN，以获得适当的固有偏差，以通过添加残差连接来利用远距离信息，以使图像降低并整合MLP和CNN中的每个输出层。我们在720 T2-Flair脑图像上评估了所提出的方法，其在不同的噪声水平下具有较小的病变。结果表明，与最先进的方法相比，在定量和视觉评估中，我们的方法在测试数据集上具有优势。此外，两名经验丰富的放射科医生同意，在中等和高噪声水平下，我们的方法在恢复小病变和整体图像质量方面优于其他方法。我们的方法的实现可在https://github.com/laowangbobo/Residual_MLP_CNN_MIXER上获得。

近年来，基于注意力的场景文本识别方法非常受欢迎，并吸引了许多研究人员的兴趣。基于注意力的方法可以将注意力集中在解码过程中的小区域甚至单点上，其中注意矩阵几乎是一个旋转分布。此外，在推断过程中，所有注意力矩阵都将加权整个特征地图，从而导致巨大的冗余计算。在本文中，我们提出了一个用于场景文本识别的有效无注意的单点解码网络（称为SPDN），该网络可以取代传统的基于注意力的解码网络。具体而言，我们建议单点采样模块（SPSM）有效地在特征映射上为解码一个字符的一个关键点采样。这样，我们的方法不仅可以精确地找到每个字符的关键点，还可以删除冗余计算。基于SPSM，我们设计了一个高效且新颖的单点解码网络，以替代基于注意力的解码网络。对公开基准测试的广泛实验证明，我们的SPDN可以大大提高解码效率而不牺牲性能。

由于其在数据隐私保护，有效的沟通和并行数据处理方面的好处，联邦学习（FL）近年来引起了人们的兴趣。同样，采用适当的算法设计，可以实现fl中收敛效应的理想线性加速。但是，FL上的大多数现有作品仅限于I.I.D.的系统。数据和集中参数服务器以及与异质数据集分散的FL上的结果仍然有限。此外，在完全分散的FL下，与数据异质性在完全分散的FL下，可以实现收敛的线性加速仍然是一个悬而未决的问题。在本文中，我们通过提出一种称为Net-Fleet的新算法，以解决具有数据异质性的完全分散的FL系统，以解决这些挑战。我们算法的关键思想是通过合并递归梯度校正技术来处理异质数据集，以增强FL（最初旨在用于通信效率）的本地更新方案。我们表明，在适当的参数设置下，所提出的净型算法实现了收敛的线性加速。我们进一步进行了广泛的数值实验，以评估所提出的净化算法的性能并验证我们的理论发现。

低频词预测仍然是现代神经电机翻译（NMT）系统的挑战。最近的自适应培训方法通过强调整体培训目标的重量来促进不频繁词语的产出。尽管召回了低频词的召回，但它们的预测精度意外地受到自适应目标的阻碍。灵感来自观察到低频词形成更紧凑的嵌入空间，我们从代表学习角度解决这一挑战。具体地，我们提出了一种频率感知的令牌级对比度学习方法，其中每个解码步骤的隐藏状态以基于相应的字频率的柔和对比方式从其他目标单词的对应物推开。我们对广泛使用的NIST汉语 - 英语和WMT14英语 - 德语翻译任务进行实验。经验结果表明，我们的提出方法不仅可以显着提高翻译质量，还可以提高词汇分集和优化词表示空间。进一步调查揭示了，与相关的自适应培训策略相比，我们对低频词预测方法的优势在于在不牺牲精度的情况下在不同频率上的令牌级召回的鲁棒性。

生成的型号推理需要机器生成描述日常情景的句子，这是几种概念，最近引起了很多关注。然而，现有模型不能表现和人类，因为它们产生的句子通常是难以置疑和语法的不正确。在本文中，灵感来自人类创造句子的过程，我们提出了一种新颖的知识增强的致辞生成框架，被称为kgr ^ 4，由四个阶段组成：检索，回顾，精炼，重新思考。在此框架下，我们首先执行检索以搜索从外部语料库作为原型的相关句子。然后，我们训练发电机编辑或复制这些原型以生成候选句子，其中基于AutoEncoder的炼油器将修复候选句子。最后，我们从具有不同超参数的生成器产生的候选句子中选择输出句子。对蒙古基准测试的实验结果和深入分析强烈展示了我们框架的有效性。特别是，KGR ^ 4获得官方排行榜中的33.56个香料点，优于前面报告的最佳结果2.49香料点，实现最先进的性能。

互动和非交互式模型是基于向量的交叉信息检索（V-CLIR）中的两个De-Facto标准框架，其分别以同步和异步方式嵌入查询和文档。从检索准确性和计算效率的角度来看，每个型号都有自己的优越性和缺点。在本文中，我们提出了一种新颖的框架来利用这两个范式的优势。具体地，我们介绍了半交互式机制，它在非交互式架构上构建了我们的模型，但将每个文档与其相关的多语言查询一起编码。因此，可以更好地学习交互式模型的交叉特征。此外，我们通过重用其单词嵌入和采用知识蒸馏来进一步将知识从训练有素的互动模型转移到我们的。我们的模型是从多语言预先训练的语言模型M-BERT初始化的，并在从维基百科和从现实世界搜索引擎收集的内部数据集进行评估。广泛的分析表明，我们的方法在保持计算效率的同时显着提高了检索准确性。

当今部署在边缘网络上的联合学习（FL）系统由大量在数据和/或计算能力中具有高度异质性的工人组成，这些工人要求在时间，努力，数据异质性等方面参加灵活的工作者参与为了满足灵活的工人参与的需求，我们考虑了一种新的FL范式，称为“无政府状态联邦学习”（AFL）（AFL）。与常规FL模型形成鲜明对比的是，AFL中的每个工人都可以自由选择i）何时参加FL，ii）根据当前情况（例如，电池，通信，电池级别，通信渠道，隐私问题）。但是，AFL中这种混乱的工人行为在算法设计中引发了许多新的开放问题。特别是，尚不清楚是否可以开发收敛的AFL训练算法，如果是的，则在什么条件下以及可实现的收敛速度的速度下。为此，我们提出了两种无政府状态的联合平均（AFA）算法，分别命名为AFA-CD和AFA-CS的跨设备和跨核心设置的双向学习率。令人惊讶的是，我们表明，在轻度的无政府状态假设下，这两种AFL算法都达到了最著名的收敛速率，作为常规FL的最新算法。此外，它们保留了新的AFL范式中的工人数量和本地步骤，保留了高度可取的{\ em线性加速效应}。我们通过对现实世界数据集进行广泛的实验来验证提出的算法。