This paper revisits building machine learning algorithms that involve interactions between entities, such as those between financial assets in an actively managed portfolio, or interactions between users in a social network. Our goal is to forecast the future evolution of ensembles of multivariate time series in such applications (e.g., the future return of a financial asset or the future popularity of a Twitter account). Designing ML algorithms for such systems requires addressing the challenges of high-dimensional interactions and non-linearity. Existing approaches usually adopt an ad-hoc approach to integrating high-dimensional techniques into non-linear models and recent studies have shown these approaches have questionable efficacy in time-evolving interacting systems. To this end, we propose a novel framework, which we dub as the additive influence model. Under our modeling assumption, we show that it is possible to decouple the learning of high-dimensional interactions from the learning of non-linear feature interactions. To learn the high-dimensional interactions, we leverage kernel-based techniques, with provable guarantees, to embed the entities in a low-dimensional latent space. To learn the non-linear feature-response interactions, we generalize prominent machine learning techniques, including designing a new statistically sound non-parametric method and an ensemble learning algorithm optimized for vector regressions. Extensive experiments on two common applications demonstrate that our new algorithms deliver significantly stronger forecasting power compared to standard and recently proposed methods.
translated by 谷歌翻译
专门针对联合学习(SDAGFL)的定向无环图(SDAGFL)是一个新的联合学习框架,它通过有向的无循环图分布式分类帐技术(DAG-DLT)从设备中更新模型。 SDAGFL具有个性化的优势,可抵抗完全分散的联邦学习中的单点失败和中毒攻击。由于这些优点,SDAGFL适用于在设备通常由电池供电的物联网场景中进行联合学习。为了促进SDAGFL在物联网中的应用,我们提出了一个基于ESDAGFL的基于事件触发的通信机制的能量优化的。在ESDAGFL中,仅当新模型发生显着更改时才会广播。我们在莎士比亚和歌德的作品中从群集的合成女性数据集中评估了eSDAGFL的合成女性数据集和数据集。实验结果表明,与SDAGFL相比,我们的方法可以将能源消耗降低33 \%,并在训练准确性和专业化之间达到与SDAGFL相同的平衡。
translated by 谷歌翻译
在各个领域(例如政治,健康和娱乐)中的真实和虚假新闻每天都通过在线社交媒体传播,需要对多个领域进行虚假新闻检测。其中,在政治和健康等特定领域中的虚假新闻对现实世界产生了更严重的潜在负面影响(例如,由Covid-19的错误信息引导的流行病)。先前的研究着重于多域假新闻检测,同样采矿和建模域之间的相关性。但是,这些多域方法遇到了SEESAW问题:某些域的性能通常会以损害其他域的性能而改善,这可能导致在特定领域的表现不满意。为了解决这个问题,我们建议一个用于假新闻检测(DITFEND)的域和实例级传输框架,这可以改善特定目标域的性能。为了传递粗粒域级知识,我们从元学习的角度训练了所有域数据的通用模型。为了传输细粒度的实例级知识并将一般模型调整到目标域,我们在目标域上训练语言模型,以评估每个数据实例在源域中的可传递性,并重新赢得每个实例的贡献。两个数据集上的离线实验证明了Ditfend的有效性。在线实验表明,在现实世界中,Ditfend对基本模型带来了更多改进。
translated by 谷歌翻译
车辆网络使车辆能够通过培训数据支持实时车辆应用。由于计算能力有限,车辆通常将数据传输到网络边缘的路边单元(RSU)以处理数据。但是,由于隐私问题,车辆通常不愿彼此共享数据。对于传统的联合学习(FL),车辆在本地训练数据以获取本地模型,然后将本地模型上传到RSU以更新全局模型,因此可以通过共享模型参数而不是数据来保护数据隐私。传统的FL同步更新全局模型,即RSU需要等待所有车辆上传其模型以进行全局模型更新。但是,车辆通常可能会在RSU通过培训获得本地模型之前从覆盖范围中移出,从而降低了全球模型的准确性。有必要提出一个异步联合学习(AFL)来解决此问题,其中RSU一旦从车辆中收到本地模型就会更新全球模型。但是,数据量,计算能力和车辆迁移率可能会影响全球模型的准确性。在本文中,我们共同考虑数据的量,计算功能和车辆移动性,以设计AFL方案以提高全球模型的准确性。广泛的仿真实验表明,我们的方案优于FL方案
translated by 谷歌翻译
人搜索是一项具有挑战性的任务,旨在实现共同的行人检测和人重新识别(REID)。以前的作品在完全和弱监督的设置下取得了重大进步。但是,现有方法忽略了人搜索模型的概括能力。在本文中,我们采取了进一步的步骤和现在的域自适应人员搜索(DAPS),该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战:一个是如何同时解决检测和重新ID任务的域未对准问题,另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战,我们提出了一个强大的基线框架,并使用两个专用设计。 1)我们设计一个域对齐模块,包括图像级和任务敏感的实例级别对齐,以最大程度地减少域差异。 2)我们通过动态聚类策略充分利用未标记的数据,并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计,我们的框架在MAP中获得了34.7%的地图,而PRW数据集的TOP-1则达到80.6%,超过了直接转移基线的大幅度。令人惊讶的是,我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。
translated by 谷歌翻译
这项工作旨在使用带有动作查询的编码器框架(类似于DETR)来推进时间动作检测(TAD),该框架在对象检测中表现出了巨大的成功。但是,如果直接应用于TAD,该框架遇到了几个问题:解码器中争论之间关系的探索不足,由于培训样本数量有限,分类培训不足以及推断时不可靠的分类得分。为此,我们首先提出了解码器中的关系注意机制,该机制根据其关系来指导查询之间的注意力。此外,我们提出了两项​​损失,以促进和稳定行动分类的培训。最后,我们建议在推理时预测每个动作查询的本地化质量,以区分高质量的查询。所提出的命名React的方法在Thumos14上实现了最新性能,其计算成本比以前的方法低得多。此外,还进行了广泛的消融研究,以验证每个提出的组件的有效性。该代码可在https://github.com/sssste/reaeact上获得。
translated by 谷歌翻译
本文提出了一种基于逆变器的Volt-VAR控制(IB-VVC)的一步两级深度强化学习(OSTC-DRL)方法。首先,考虑IB-VVC可以作为单周期优化问题进行配制,我们将IB-VVC作为单步马尔可夫决策过程而不是标准的Markov决策过程,从而简化了DRL学习任务。然后,我们设计了单步角色批判性DRL方案,该方案是最近DRL算法的简化版本,它可以成功地避免了Q值高估的问题。此外,考虑VVC的两个目标:最大程度地减少功率损耗并消除违反电压,我们利用两个批评家分别近似两个目标的回报。它简化了每个评论家的近似任务,并避免了评论家学习过程中两个目标之间的相互作用效果。 OSTC-DRL方法集成了单步角色批判性DRL方案和两批评技术。基于OSTC-DRL,我们设计了两种集中式DRL算法。此外,我们将OSTC-DRL扩展到分散的IB-VVC的多代理OSTC-DRL并设计两个多代理DRL算法。模拟表明,所提出的OSTC-DRL具有更快的收敛速度和更好的控制性能,并且多代理OSTC-DRL适用于分散的IB-VVC问题。
translated by 谷歌翻译
现代神经影像学技术,例如扩散张量成像(DTI)和功能性磁共振成像(fMRI),使我们能够将人脑建模为脑网络或连接组。捕获大脑网络的结构信息和分层模式对于理解大脑功能和疾病状态至关重要。最近,图形神经网络(GNN)的有前途的网络表示能力促使许多基于GNN的方法用于脑网络分析。具体而言,这些方法应用功能聚合和全局池来将大脑网络实例转换为有意义的低维表示,用于下游大脑网络分析任务。但是,现有的基于GNN的方法通常忽略了不同受试者的大脑网络可能需要各种聚合迭代,并将GNN与固定数量的层一起学习所有大脑网络。因此,如何完全释放GNN促进大脑网络分析的潜力仍然是不平凡的。为了解决这个问题,我们提出了一个新颖的大脑网络表示框架,即BN-GNN,该框架搜索每个大脑网络的最佳GNN体系结构。具体而言,BN-GNN使用深度加固学习(DRL)来训练元派利,以自动确定给定脑网络所需的最佳特征聚合数(反映在GNN层的数量中)。在八个现实世界大脑网络数据集上进行的广泛实验表明,我们提出的BN-GNN提高了传统GNN在不同大脑网络分析任务上的性能。
translated by 谷歌翻译
假新闻在各个领域的社交媒体上广泛传播,这导致了政治,灾害和金融等许多方面的现实世界威胁。大多数现有方法专注于单域假新闻检测(SFND),当这些方法应用于多域假新闻检测时,导致不满意的性能。作为新兴领域,多域假新闻检测(MFND)越来越受到关注。但是,数据分布,例如词频率和传播模式,从域变化,即域移位。面对严重领域转变的挑战,现有的假新闻检测技术对于多域场景表现不佳。因此,要求为MFND设计专业型号。在本文中,我们首先为MFND设计了一个带有域名标签的假新闻数据集的基准,即Weibo21,由4,488个假新闻和来自9个不同领域的4,640个真实新闻组成。我们进一步提出了一种通过利用域门来聚合由专家混合提取的多个表示来聚合的多域假新闻检测模型(MDFend)。实验表明,MDFEND可以显着提高多域假新闻检测的性能。我们的数据集和代码可在https://github.com/kennqiang/mdfend-weibo21获得。
translated by 谷歌翻译
自我关注是强大的模拟远程依赖性,但在本地更精细的特征学习中是薄弱的。局部自我关注(LSA)的表现正恰好搭配卷积,劣于动态过滤器,这拼图是使用LSA或其同行的研究人员,哪一个更好,是什么让LSA平庸。为了澄清这些,我们全面调查了来自双方的LSA及其对应物:\ EMPH {频道设置}和\ EMPH {空间处理}。我们发现魔鬼在于生成和应用空间注意,其中相对位置嵌入和相邻过滤器应用是关键因素。根据这些调查结果,我们提出了具有Hadamard注意力和幽灵头的局部自我关注(ELSA)。 Hadamard注意介绍了Hadamard产品,在邻近壳体中有效地产生注意,同时保持高阶映射。 Ghost Head将注意力映射与静态矩阵相结合以增加信道容量。实验证明了ELSA的有效性。如果没有架构/封路数据计修改,则使用ELSA的替换LSA将Swin Transformer \ Cite {Swin}替换为高达+1.​​4,最高1精度。 ELSA还一直在D1至D5中始终如一地享受Volo \ Cite {Volo},其中Elsa-Volo-D5在ImageNet-1K上实现87.2,而无需额外的培训图像。此外,我们在下游任务中评估ELSA。 ELSA在COCO上显着改善了最高+1.9盒AP / +1.3面膜AP,并在ADE20K上达到+1.9 miou。代码可用于\ url {https:/github.com/damo-cv/elsa}。
translated by 谷歌翻译