The heterogeneity gap problem is the main challenge in cross-modal retrieval. Because cross-modal data (e.g. audiovisual) have different distributions and representations that cannot be directly compared. To bridge the gap between audiovisual modalities, we learn a common subspace for them by utilizing the intrinsic correlation in the natural synchronization of audio-visual data with the aid of annotated labels. TNN-CCCA is the best audio-visual cross-modal retrieval (AV-CMR) model so far, but the model training is sensitive to hard negative samples when learning common subspace by applying triplet loss to predict the relative distance between inputs. In this paper, to reduce the interference of hard negative samples in representation learning, we propose a new AV-CMR model to optimize semantic features by directly predicting labels and then measuring the intrinsic correlation between audio-visual data using complete cross-triple loss. In particular, our model projects audio-visual features into label space by minimizing the distance between predicted label features after feature projection and ground label representations. Moreover, we adopt complete cross-triplet loss to optimize the predicted label features by leveraging the relationship between all possible similarity and dissimilarity semantic information across modalities. The extensive experimental results on two audio-visual double-checked datasets have shown an improvement of approximately 2.1% in terms of average MAP over the current state-of-the-art method TNN-CCCA for the AV-CMR task, which indicates the effectiveness of our proposed model.
translated by 谷歌翻译
图表神经网络(GNN)已被广泛用于学习图形结构数据的矢量表示,并实现比传统方法更好的任务性能。 GNN的基础是消息传递过程,它将节点中的信息传播到其邻居。由于该过程每层进行一个步骤,因此节点之间的信息传播的范围在下层中很小,并且它朝向更高的层扩展。因此,GNN模型必须深入地捕获图中的全局结构信息。另一方面,众所周知,深入的GNN模型遭受性能下降,因为它们丢失了节点的本地信息,这对于良好的模型性能至关重要,通过许多消息传递步骤。在本研究中,我们提出了用于图形级分类任务的多级注意汇总(MLAP),这可以适应图表中的本地和全局结构信息。对于每个消息传递步骤,它具有注意池层,通过统一层方格图表示来计算最终图表示。 MLAP架构允许模型利用具有多个级别的本地图形的结构信息,因为它在由于过度的过天气丢失时保留了层面信息。我们的实验结果表明,与基线架构相比,MLAP架构提高了图形分类性能。此外,图表表示的分析表明,来自多个级别的地方的聚合信息确实具有提高学习图表表示的可怜的潜力。
translated by 谷歌翻译
Analyzing defenses in team sports is generally challenging because of the limited event data. Researchers have previously proposed methods to evaluate football team defense by predicting the events of ball gain and being attacked using locations of all players and the ball. However, they did not consider the importance of the events, assumed the perfect observation of all 22 players, and did not fully investigated the influence of the diversity (e.g., nationality and sex). Here, we propose a generalized valuation method of defensive teams by score-scaling the predicted probabilities of the events. Using the open-source location data of all players in broadcast video frames in football games of men's Euro 2020 and women's Euro 2022, we investigated the effect of the number of players on the prediction and validated our approach by analyzing the games. Results show that for the predictions of being attacked, scoring, and conceding, all players' information was not necessary, while that of ball gain required information on three to four offensive and defensive players. With game analyses we explained the excellence in defense of finalist teams in Euro 2020. Our approach might be applicable to location data from broadcast video frames in football games.
translated by 谷歌翻译
使用移动操纵器来整理家庭环境,在机器人技术中提出了各种挑战,例如适应大型现实世界的环境变化,以及在人类面前的安全和强大的部署。2021年9月举行的全球竞赛,对真正的家庭环境中的整理任务进行了基准测试,重要的是,对全面的系统性能进行了测试。对于此挑战,我们开发了整个家庭服务机器人系统,该机器人系统利用数据驱动的方法来适应众多的方法在执行过程中发生的边缘案例,而不是经典的手动预编程解决方案。在本文中,我们描述了提出的机器人系统的核心成分,包括视觉识别,对象操纵和运动计划。我们的机器人系统赢得了二等奖,验证了数据驱动的机器人系统在家庭环境中移动操作的有效性和潜力。
translated by 谷歌翻译
评估足球运动员队友的个人运动对于评估队伍,侦察和粉丝的参与至关重要。据说,在90分钟的比赛中,球员平均没有大约87分钟的球。但是,在不接球的情况下评估进攻球员并揭示运动如何为队友创造得分机会的贡献一直很困难。在本文中,我们评估了通过将实际动作与通过轨迹预测产生的参考运动进行比较来评估创建球外评分机会的玩家。首先,我们使用图形差异神经网络预测玩家的轨迹,该神经网络可以准确地模拟玩家之间的关系并预测长期轨迹。接下来,基于实际运动轨迹和预测轨迹之间修改的外球评估指数的差异,我们评估实际运动与预测运动相比如何促进得分机会。为了进行验证,我们研究了专家一年中专业球队的所有比赛的年薪,目标和比赛的关系。结果表明,年薪和拟议的指标与现有指标和目标无法解释。我们的结果表明,该方法作为没有球的球员为队友创造得分机会的指标的有效性。
translated by 谷歌翻译
神经辐射场(NERF)是数据驱动3D重建中的流行方法。鉴于其简单性和高质量的渲染,正在开发许多NERF应用程序。但是,NERF的大量的速度很大。许多尝试如何加速NERF培训和推理,包括复杂的代码级优化和缓存,使用复杂的数据结构以及通过多任务和元学习的摊销。在这项工作中,我们通过NERF之前通过经典技术镜头重新审视NERF的基本构建块。我们提出了Voxel-Accelated Nerf(VaxnerF),与Visual Hull集成了Nerf,一种经典的3D重建技术,只需要每张图像的二进制前景背景像素标签。可视船体,可在大约10秒内优化,可以提供粗略的现场分离,以省略NERF中的大量网络评估。我们在流行的JAXNERF Codebase提供了一个干净的全力验光,基于JAX的实现,其仅包括大约30行的代码更改和模块化视觉船体子程序,并在高度表现的JAXNERF之上实现了大约2-8倍的速度学习基线具有零劣化呈现质量。具有足够的计算,这有效地将单位训练从小时到30分钟缩小到30分钟。我们希望VAXNERF - 一种仔细组合具有深入方法的经典技术(可谓更换它) - 可以赋予并加速新的NERF扩展和应用,以其简单,可移植性和可靠的性能收益。代码在https://github.com/naruya/vaxnerf提供。
translated by 谷歌翻译
在这项研究中,我们开发了一种用于多任务歧管学习的方法。该方法旨在提高多项任务的歧管学习的性能,特别是当每个任务具有少量样本时。此外,除了用于现有任务的新样本之外,该方法还旨在为新任务生成新的样本。在所提出的方法中,我们使用两种不同类型的信息传输:实例传输和模型传输。例如,转移,数据集在类似的任务之间合并,而对于模型传输,歧管模型在类似的任务之间取平均值。为此目的,所提出的方法包括一组与任务相对应的一组生成歧管模型,其集成到光纤束的一般模型中。我们将所提出的方法应用于人工数据集和面部图像集,结果表明该方法能够估计歧管,即使对于微小的样品。
translated by 谷歌翻译
内核方法是机器学习中最流行的技术之一,使用再现内核希尔伯特空间(RKHS)的属性来解决学习任务。在本文中,我们提出了一种新的数据分析框架,与再现内核Hilbert $ C ^ * $ - 模块(rkhm)和rkhm中的内核嵌入(kme)。由于RKHM包含比RKHS或VVRKHS)的更丰富的信息,因此使用RKHM的分析使我们能够捕获和提取诸如功能数据的结构属性。我们向RKHM展示了rkhm理论的分支,以适用于数据分析,包括代表性定理,以及所提出的KME的注射性和普遍性。我们还显示RKHM概括RKHS和VVRKHS。然后,我们提供采用RKHM和提议的KME对数据分析的具体程序。
translated by 谷歌翻译