Semantic Change Detection (SCD) refers to the task of simultaneously extracting the changed areas and the semantic categories (before and after the changes) in Remote Sensing Images (RSIs). This is more meaningful than Binary Change Detection (BCD) since it enables detailed change analysis in the observed areas. Previous works established triple-branch Convolutional Neural Network (CNN) architectures as the paradigm for SCD. However, it remains challenging to exploit semantic information with a limited amount of change samples. In this work, we investigate to jointly consider the spatio-temporal dependencies to improve the accuracy of SCD. First, we propose a SCanFormer (Semantic Change Transformer) to explicitly model the 'from-to' semantic transitions between the bi-temporal RSIs. Then, we introduce a semantic learning scheme to leverage the spatio-temporal constraints, which are coherent to the SCD task, to guide the learning of semantic changes. The resulting network (ScanNet) significantly outperforms the baseline method in terms of both detection of critical semantic changes and semantic consistency in the obtained bi-temporal results. It achieves the SOTA accuracy on two benchmark datasets for the SCD.
translated by 谷歌翻译
Aspect-based sentiment analysis (ABSA) aims at extracting opinionated aspect terms in review texts and determining their sentiment polarities, which is widely studied in both academia and industry. As a fine-grained classification task, the annotation cost is extremely high. Domain adaptation is a popular solution to alleviate the data deficiency issue in new domains by transferring common knowledge across domains. Most cross-domain ABSA studies are based on structure correspondence learning (SCL), and use pivot features to construct auxiliary tasks for narrowing down the gap between domains. However, their pivot-based auxiliary tasks can only transfer knowledge of aspect terms but not sentiment, limiting the performance of existing models. In this work, we propose a novel Syntax-guided Domain Adaptation Model, named SDAM, for more effective cross-domain ABSA. SDAM exploits syntactic structure similarities for building pseudo training instances, during which aspect terms of target domain are explicitly related to sentiment polarities. Besides, we propose a syntax-based BERT mask language model for further capturing domain-invariant features. Finally, to alleviate the sentiment inconsistency issue in multi-gram aspect terms, we introduce a span-based joint aspect term and sentiment analysis module into the cross-domain End2End ABSA. Experiments on five benchmark datasets show that our model consistently outperforms the state-of-the-art baselines with respect to Micro-F1 metric for the cross-domain End2End ABSA task.
translated by 谷歌翻译
Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
组成概括是指模型可以根据训练期间观察到的数据组件概括为新组成的输入数据的能力。它触发了对不同任务的一系列组成概括分析,因为概括是语言和解决问题技能的重要方面。但是,关于数学单词问题(MWP)的类似讨论受到限制。在此手稿中,我们研究了MWP求解中的组成概括。具体来说,我们首先引入了一种数据分割方法,以创建现有MWP数据集的组合分解。同时,我们合成数据以隔离组成的效果。为了改善MWP解决方案中的组成概括,我们提出了一种迭代数据增强方法,该方法将各种组成变化包括在培训数据中,并可以与MWP方法合作。在评估过程中,我们检查了一组方法,发现所有方法都会在评估的数据集中遇到严重的性能损失。我们还发现我们的数据增强方法可以显着改善一般MWP方法的组成概括。代码可在https://github.com/demoleiwang/cgmwp上找到。
translated by 谷歌翻译
Wasserstein-Fisher-Rao(WFR)距离是一个指标家族,用于评估两种ra措施的差异,这同时考虑了运输和重量的变化。球形WFR距离是WFR距离的投影版本,以实现概率措施,因此配备了WFR的ra尺度空间可以在概率测量的空间中,用球形WFR视为公式锥。与Wasserstein距离相比,在球形WFR下对大地测量学的理解尚不清楚,并且仍然是持续的研究重点。在本文中,我们开发了一个深度学习框架,以计算球形WFR指标下的大地测量学,并且可以采用学习的大地测量学来生成加权样品。我们的方法基于球形WFR的Benamou-Brenier型动态配方。为了克服重量变化带来的边界约束的困难,将基于反向映射的kullback-leibler(KL)发散术语引入成本函数。此外,引入了使用粒子速度的新的正则化项,以替代汉密尔顿 - 雅各比方程的动态公式中的潜力。当用于样品生成时,与先前的流量模型相比,与给定加权样品的应用相比,我们的框架可能对具有给定加权样品的应用有益。
translated by 谷歌翻译
超声检查中的乳腺病变检测对于乳腺癌诊断至关重要。现有方法主要依赖于单独的2D超声图像或组合未标记的视频和标记为2D图像以训练模型以进行乳腺病变检测。在本文中,我们首先收集并注释一个超声视频数据集(188个视频),以进行乳腺病变检测。此外,我们通过汇总视频级别的病变分类功能和剪辑级的时间功能来解决超声视频中乳房病变检测的解决剪辑级和视频级特征聚合网络(CVA-NET)。剪辑级的时间功能特征编码有序视频框架的本地时间信息和洗牌视频帧的全局时间信息。在我们的CVA-NET中,设计了一个Inter-Video融合模块,以融合原始视频框架的本地功能以及从洗牌视频帧中的全局功能,并设计了一个内部视频融合模块,以学习相邻视频框架之间的时间信息。此外,我们学习视频水平功能,以将原始视频的乳房病变分类为良性或恶性病变,以进一步增强超声视频中最终的乳房病变检测性能。我们注释数据集的实验结果表明,我们的CVA-NET显然优于最先进的方法。相应的代码和数据集可在\ url {https://github.com/jhl-det/cva-net}上公开获得。
translated by 谷歌翻译
本文介绍了我们DFGC 2022竞赛的摘要报告。深层味道正在迅速发展,现实的面部折叠变得越来越欺骗性和难以检测。相反,检测深击的方法也正在改善。 Deepfake创作者和防守者之间有两党的比赛。这项竞赛提供了一个通用平台,用于基准在DeepFake创建和检测方法中当前最新的游戏之间的游戏。这场比赛要回答的主要研究问题是彼此竞争时两个对手的现状。这是去年DFGC 2021之后的第二版,具有新的,更多样化的视频数据集,更现实的游戏设置以及更合理的评估指标。通过这项竞争,我们旨在激发研究思想,以建立对深层威胁的更好的防御能力。我们还发布了我们的参与者和我们自己的DFGC 2022数据集,以丰富研究社区的DeepFake数据资源(https://github.com/nice-x/dfgc-2022)。
translated by 谷歌翻译
部分微分方程(PDES)在科学和工程的许多学科中都是普遍的,难以解决。通常,PDE的闭合形式溶液不可用,数值近似方法是计算昂贵的。 PDE的参数在许多应用中是可变的,例如逆问题,控制和优化,风险评估和不确定性量化。在这些应用程序中,我们的目标是解决参数PDE而不是其中一个实例。我们所提出的方法,称为元 - 自动解码器(MAD),将参数PDES作为元学习问题求解,并利用\ Cite {Park2019DeepsDF}中的自动解码器结构来处理不同的任务/ PDE。从PDE管理方程和边界条件诱导的物理知识损失被用作不同任务的培训损失。疯狂的目标是学习一个良好的模型初始化,可以概括不同的任务,最终使未能学习的任务能够更快地学习。疯狂的灵感来自于(猜想)参数PDE解决方案的低维结构,并从流形学习的角度解释了我们的方法。最后,我们展示了疯狂的力量,虽然广泛的数值研究,包括汉堡等式,拉普尔斯方程和时域麦克斯韦方程。与其他深度学习方法相比,MAD表现出更快的收敛速度而不会失去准确性。
translated by 谷歌翻译
近年来,深入学习技术已被用来解决部分微分方程(PDE),其中物理信息的神经网络(PINNS)出现是解决前向和反向PDE问题的有希望的方法。具有点源的PDE,其表示为管理方程中的DIRAC DELTA函数是许多物理过程的数学模型。然而,由于DIRAC DELTA功能所带来的奇点,它们不能直接通过传统的PINNS方法来解决。我们提出了一种普遍的解决方案,以用三种新颖的技术解决这个问题。首先,DIRAC DELTA功能被建模为连续概率密度函数以消除奇点;其次,提出了下限约束的不确定性加权算法,以平衡点源区和其他区域之间的Pinns损失;第三,使用具有周期性激活功能的多尺度深度神经网络来提高PinnS方法的准确性和收敛速度。我们评估了三种代表性PDE的提出方法,实验结果表明,我们的方法优于基于深度学习的方法,涉及准确性,效率和多功能性。
translated by 谷歌翻译
对于子伽马噪声下的差异隐私,我们通过常规链路函数推导出一类具有二进制值的网络模型的渐近属性。在本文中,我们根据具有离散拉普拉斯机制的一般嘈杂机制来释放二元网络的程度序列。我们建立渐近结果,包括参数估计器的一致性和渐近常态,当参数的数量进入无限远在一类网络模型中时。提供模拟和实际数据示例以说明渐近结果。
translated by 谷歌翻译