Federated learning has attracted increasing attention with the emergence of distributed data. While extensive federated learning algorithms have been proposed for the non-convex distributed problem, the federated learning in practice still faces numerous challenges, such as the large training iterations to converge since the sizes of models and datasets keep increasing, and the lack of adaptivity by SGD-based model updates. Meanwhile, the study of adaptive methods in federated learning is scarce and existing works either lack a complete theoretical convergence guarantee or have slow sample complexity. In this paper, we propose an efficient adaptive algorithm (i.e., FAFED) based on the momentum-based variance reduced technique in cross-silo FL. We first explore how to design the adaptive algorithm in the FL setting. By providing a counter-example, we prove that a simple combination of FL and adaptive methods could lead to divergence. More importantly, we provide a convergence analysis for our method and prove that our algorithm is the first adaptive FL algorithm to reach the best-known samples $O(\epsilon^{-3})$ and $O(\epsilon^{-2})$ communication rounds to find an $\epsilon$-stationary point without large batches. The experimental results on the language modeling task and image classification task with heterogeneous data demonstrate the efficiency of our algorithms.
translated by 谷歌翻译
卷积神经网络(CNN)压缩对于在资源有限的边缘设备中部署这些模型至关重要。 CNN的现有通道修剪算法在复杂模型上取得了很大的成功。他们从各个角度解决了修剪问题,并使用不同的指标来指导修剪过程。但是,这些指标主要集中于模型的“输出”或“权重”,而忽略了其“解释”信息。为了填补这一空白,我们建议通过利用模型的解释来引导修剪过程,从而从新颖的角度解决通道修剪问题,从而利用来自模型的输入和输出的信息。但是,现有的解释方法不能被部署以实现我们的目标,因为它们的修剪效率低下,或者可能预测了非固定解释。我们通过引入选择器模型来解决这一挑战,该模型可以预测修剪模型的实时平滑显着性掩码。我们通过径向基函数(RBF)函数来参数化解释性掩码的分布,以在我们选择器模型的电感偏置中纳入自然图像的几何事物。因此,我们可以获得解释的紧凑表示,以降低修剪方法的计算成本。我们利用我们的选择器模型来引导网络修剪,以最大程度地提高修剪和原始模型的解释性表示的相似性。关于CIFAR-10和Imagenet基准数据集的广泛实验证明了我们提出的方法的功效。我们的实现可在\ url {https://github.com/alii-ganjj/interpretationssteerpruning}中获得
translated by 谷歌翻译
由于伪造的信息广泛,事实检查引起了人们的关注。大多数事实核对方法仅仅是由于其他语言中的数据稀缺问题而侧重于英语的主张。缺乏低资源语言的事实检查数据集要求采用有效的跨语义转移技术来进行事实检查。此外,以不同语言的可信赖信息可以互补,有助于验证事实。为此,我们介绍了第一个以跨语性检索为增强的事实检查框架,该框架通过跨语言检索器汇总了从多种语言中获取的证据。鉴于缺乏具有索赔式查询的跨语性信息检索数据集,我们使用拟议的跨语性倒数式紧固任务(X-ICT)来训练检索器,这是一种自我监督的算法,该算法通过翻译一个标题来创建训练实例通道。 XICT的目标是学习跨语性检索,其中模型学会确定与给定翻译标题相对应的段落。在X-FACT数据集上,我们的方法在零击跨语言设置中比先前的系统实现了2.23%的绝对F1改进。源代码和数据可在https://github.com/khuangaf/concrete上公开获取。
translated by 谷歌翻译
面向目标的生成脚本学习旨在根据目标生成后续步骤,这是帮助机器人进行日常生活的刻板印象活动的重要任务。我们表明,如果历史状态不仅被给人的语言指示捕获,而且还可以增强随附图像提供的其他信息,可以提高此任务的性能。因此,我们提出了一项新任务,多媒体生成脚本学习,以通过跟踪文本和视觉方式中的历史状态,并介绍包含2,338个任务和31,496个步骤的第一个基准,从而生成后续步骤。我们旨在生成视觉状态的脚本,这些脚本是可跟踪的,对看不见的任务的诱导性,并且在各自的步骤中多样化。我们建议通过多媒体选择性编码器编码视觉状态更改,并使用检索仪的解码器从先前观察到的任务中转移知识,并通过优化面向多样性的对比度学习目标来在每个步骤中介绍不同的信息。我们定义指标以评估发电质量和电感质量。实验结果表明,我们的方法明显优于强质基线。
translated by 谷歌翻译
人工智能通过许多令人印象深刻的应用深刻地彻底改变了药物化学领域,但是这些应用的成功需要大量具有高质量注释的培训样本,这严重限制了数据驱动方法的广泛使用。在本文中,我们专注于反应产量预测问题,该问题有助于化学家仅通过一些实验试验选择新的化学空间中的高收益反应。为了攻击这一挑战,我们首先提出了Metarf,这是一种基于注意力的随机森林模型,该模型专门针对少量产量预测,其中随机森林的注意力重量通过元学习框架自动优化,可以快速地进行优化适合预测新试剂的性能,同时还提供了一些其他样品。为了提高少量学习绩效,我们进一步引入了基于尺寸的采样方法,以确定要进行实验测试然后学习的有价值的样品。我们的方法在三个不同的数据集上进行了评估,并在几乎没有预测上获得了令人满意的性能。在高通量实验(HTE)数据集中,我们方法论的前10个高收益反应的平均产量相对接近理想的产量选择结果。
translated by 谷歌翻译
稀疏性损失最小化问题在包括机器学习,数据挖掘和现代统计的各个领域中起着重要作用。近端梯度下降法和坐标下降法是解决最小化问题的最流行方法。尽管现有方法可以实现隐式模型识别,但在有限数量的迭代中,也就是支持集合识别,但在高维情况下,这些方法仍然遭受巨大的计算成本和内存负担。原因是这些方法中的支持集识别是隐式的,因此无法明确识别实践中的低复杂性结构,即,它们无法通过降低尺寸丢弃相关特征的无用系数,以实现算法加速。为了应对这一挑战,我们提出了一种新颖的加速双随机梯度下降(ADSGD)方法,用于稀疏性损失最小化问题,这可以通过在优化过程中消除无效系数来减少块迭代次数的数量,并最终实现更快的显式模型识别和改进的模型识别和改进和改进的模型识别和改进速度算法效率。从理论上讲,我们首先证明ADSGD可以达到线性收敛速率并降低总体计算复杂性。更重要的是,我们证明ADSGD可以实现显式模型识别的线性速率。从数值上讲,基准数据集上的实验结果证实了我们提出的方法的效率。
translated by 谷歌翻译
随着移动摄影技术的迅速发展,主要的手机制造商正在争先恐后地提高设备的拍摄能力和软件的照片美化算法。但是,智能设备和算法的改进不能取代人类的主观摄影技术。在本文中,我们提出了图像的美学语言指导(ALG)。我们根据指导规则是基于摄影模板还是指导图像,将ALG分为ALG-T和ALG-I。无论是ALG-T还是ALG-I,我们都会从三个颜色,照明和图像组成的属性中指导摄影。输入图像和摄影模板或指导图像之间的三个属性的差异用自然语言描述,即美学自然语言指导(ALG)。另外,由于景观图像和肖像图像之间的照明和组成差异,我们将输入图像分为景观图像和肖像图像。 ALG-T和ALG-I分别针对两种类型的输入图像(景观图像和肖像图像)进行美学指导。
translated by 谷歌翻译
图像美学质量评估在过去十年中很受欢迎。除数值评估外,还提出了自然语言评估(美学字幕)来描述图像的一般美学印象。在本文中,我们提出了美学属性评估,即审美属性字幕,即评估诸如组成,照明使用和颜色布置之类的美学属性。标记美学属性的注释是一项非平凡的任务,该评论限制了相应数据集的规模。我们以半自动方式构建了一个名为DPC-CAPTIONSV2的新型数据集。知识从带有完整注释的小型数据集转移到摄影网站的大规模专业评论。 DPC-CAPTIONSV2的图像包含最多4个美学属性的注释:组成,照明,颜色和主题。然后,我们根据BUTD模型和VLPSA模型提出了一种新版本的美学多属性网络(AMANV2)。 AMANV2融合了带有完整注释的小规模PCCD数据集和带有完整注释的大规模DPCCAPTIONSV2数据集的混合物的功能。 DPCCAPTIONSV2的实验结果表明,我们的方法可以预测对4种美学属性的评论,这些评论比上一个Aman模型所产生的方法更接近美学主题。通过图像字幕的评估标准,专门设计的AMANV2模型对CNN-LSTM模型和AMAN模型更好。
translated by 谷歌翻译
最近,大脑网络已被广泛采用来研究脑动力学,脑发育和脑部疾病。大脑功能网络上的图表学习技术可以促进发现用于临床表型和神经退行性疾病的新型生物标志物。但是,当前的图形学习技术在大脑网络挖掘上存在几个问题。首先,大多数当前的图形学习模型都是为无符号图设计的,这阻碍了对许多签名网络数据(例如大脑功能网络)的分析。同时,大脑网络数据的不足限制了临床表型预测的模型性能。此外,当前的图形学习模型很少是可以解释的,这可能无法为模型结果提供生物学见解。在这里,我们提出了一个可解释的层次签名的图形表示模型,以从大脑功能网络中提取图形表示,可用于不同的预测任务。为了进一步提高模型性能,我们还提出了一种新策略,以增强功能性脑网络数据以进行对比学习。我们使用HCP和OASIS的数据评估了有关不同分类和回归任务的框架。我们来自广泛的实验的结果表明,与几种最新技术相比,该模型的优越性。此外,我们使用从这些预测任务得出的图形显着性图来证明表型生物标志物的检测和解释。
translated by 谷歌翻译
学习提高AUC性能是机器学习中的重要主题。但是,AUC最大化算法可能会由于嘈杂数据而降低泛化性能。自定进度学习是处理嘈杂数据的有效方法。但是,现有的自定进度学习方法仅限于指尖学习,而AUC最大化是一个成对的学习问题。为了解决这个具有挑战性的问题,我们创新提出了一种平衡的自定进度的AUC最大化算法(BSPAUC)。具体而言,我们首先为自节奏的AUC提供了一个统计目标。基于此,我们提出了我们的自进度的AUC最大化公式,其中新型平衡的自定进定的正则化项被嵌入,以确保所选的阳性和负样品具有适当的比例。特别是,关于所有重量变量的子问题在我们的配方中可能是非凸,而通常在现有的自节奏问题中是凸出的。为了解决这个问题,我们提出了一种双环块坐标下降法。更重要的是,我们证明,相对于所有重量变量的子问题基于封闭形式的溶液会收敛到固定点,并且我们的BSPAUC在轻度假设下收敛到我们固定优化目标的固定点。考虑到基于深度学习和基于内核的实现,几个大规模数据集的实验结果表明,与现有的最新AUC最大化方法相比,我们的BSPAUC具有更好的概括性能。
translated by 谷歌翻译