使用X光片级注释(是或否疾病)和细粒病变级注释(病变边界框)开发了两个DL模型,分别为Chexnet和ChexDet。在测试集(n = 2,922)中比较了模型的内部分类性能和病变定位性能,在NIH-Google(n = 4,376)和Padchest(n = 24,536)数据集上比较了外部分类性能,以及外部病变的本地化性能性能在NIH-Chestx-Ray14数据集(n = 880)上进行了比较。还将模型与内部测试集子集的放射学家进行了比较(n = 496)。鉴于足够的训练数据,这两个模型都与放射科医生相当。 CHEXDET对外部分类有了显着改善,例如在NIH-Google上分类(ROC曲线下的ChexDet区域[AUC]:0.67:Chexnet AUC:0.51; P <.001)和PadChest(ChexDet AUC:0.78,Chexnet AUC,Chexnet AUC,Chexnet AUC,Chexnet auc:chexnet auc auc:chexnet auc auc auc:0.78,chexnet auc auc: :0.55; p <.001)。对于所有数据集的大多数异常,例如在内部集合中检测气胸(Chexdet Jacknife替代自由响应ROC的功绩[JAFROC-FOM]:0.87,0.87,CHEXNET JAFROC-FOM:0.113) ; p <.001)和NIH-Chestx-Ray14(Chexdet Jafroc-fom:0.55,Chexnet Jafroc-fom:0.04; p <.001)。总结,细粒的注释克服了快捷方式学习并启用了DL模型,以识别正确的病变模式,从而改善模型的概括性。
translated by 谷歌翻译
Weakly supervised video anomaly detection (WSVAD) is a challenging task since only video-level labels are available for training. In previous studies, the discriminative power of the learned features is not strong enough, and the data imbalance resulting from the mini-batch training strategy is ignored. To address these two issues, we propose a novel WSVAD method based on cross-batch clustering guidance. To enhance the discriminative power of features, we propose a batch clustering based loss to encourage a clustering branch to generate distinct normal and abnormal clusters based on a batch of data. Meanwhile, we design a cross-batch learning strategy by introducing clustering results from previous mini-batches to reduce the impact of data imbalance. In addition, we propose to generate more accurate segment-level anomaly scores based on batch clustering guidance further improving the performance of WSVAD. Extensive experiments on two public datasets demonstrate the effectiveness of our approach.
translated by 谷歌翻译
In the current person Re-identification (ReID) methods, most domain generalization works focus on dealing with style differences between domains while largely ignoring unpredictable camera view change, which we identify as another major factor leading to a poor generalization of ReID methods. To tackle the viewpoint change, this work proposes to use a 3D dense pose estimation model and a texture mapping module to map the pedestrian images to canonical view images. Due to the imperfection of the texture mapping module, the canonical view images may lose the discriminative detail clues from the original images, and thus directly using them for ReID will inevitably result in poor performance. To handle this issue, we propose to fuse the original image and canonical view image via a transformer-based module. The key insight of this design is that the cross-attention mechanism in the transformer could be an ideal solution to align the discriminative texture clues from the original image with the canonical view image, which could compensate for the low-quality texture information of the canonical view image. Through extensive experiments, we show that our method can lead to superior performance over the existing approaches in various evaluation settings.
translated by 谷歌翻译
卷积神经网络(CNN)通过深度体系结构获得了出色的性能。但是,这些CNN在复杂的场景下通常对图像超分辨率(SR)实现较差的鲁棒性。在本文中,我们通过利用不同类型的结构信息来获得高质量图像,提出了异质组SR CNN(HGSRCNN)。具体而言,HGSRCNN的每个异质组块(HGB)都采用含有对称组卷积块和互补的卷积块的异质体系结构,并以平行方式增强不同渠道的内部和外部关系,以促进富裕类型的较富裕类型的信息, 。为了防止出现获得的冗余功能,以串行方式具有信号增强功能的完善块旨在过滤无用的信息。为了防止原始信息的丢失,多级增强机制指导CNN获得对称架构,以促进HGSRCNN的表达能力。此外,开发了一种平行的向上采样机制来训练盲目的SR模型。广泛的实验表明,在定量和定性分析方面,提出的HGSRCNN获得了出色的SR性能。可以在https://github.com/hellloxiaotian/hgsrcnn上访问代码。
translated by 谷歌翻译
深卷积神经网络(CNN)用于图像通过自动挖掘精确的结构信息进行图像。但是,大多数现有的CNN依赖于扩大设计网络的深度以获得更好的降级性能,这可能会导致训练难度。在本文中,我们通过三个阶段(即动态卷积块(DCB),两个级联的小波变换和增强块(网络)和残留块(RB)(RB)(RB)(RB),提出了带有小波变换(MWDCNN)的多阶段图像。 。 DCB使用动态卷积来动态调整几次卷积的参数,以在降级性能和计算成本之间做出权衡。 Web使用信号处理技术(即小波转换)和判别性学习的组合来抑制噪声,以恢复图像Denoising中更详细的信息。为了进一步删除冗余功能,RB用于完善获得的功能,以改善通过改进残留密度架构来重建清洁图像的特征。实验结果表明,在定量和定性分析方面,提出的MWDCNN优于一些流行的非授权方法。代码可在https://github.com/hellloxiaotian/mwdcnn上找到。
translated by 谷歌翻译
视频异常检测旨在在视频中找到不符合预期行为的事件。普遍的方法主要通过摘要重建或将来的框架预测误差来检测异常。但是,该错误高度依赖于当前摘要的局部环境,并且缺乏对正态性的理解。为了解决这个问题,我们建议不仅通过本地环境来检测异常事件,而且还根据测试事件与培训数据正常的知识之间的一致性。具体而言,我们提出了一个基于上下文恢复和知识检索的新颖的两流框架,这两个流可以相互补充。对于上下文恢复流,我们提出了一个时空的U-NET,可以完全利用运动信息来预测未来的框架。此外,我们提出了一种最大的局部误差机制,以减轻复杂前景对象引起的大恢复错误的问题。对于知识检索流,我们提出了一种改进的可学习区域敏感性散列的散列,该哈希通过暹罗网络和相互差异损失来优化哈希功能。关于正态性的知识是编码和存储在哈希表中的,测试事件与知识表示之间的距离用于揭示异常的概率。最后,我们融合了从两个流的异常得分以检测异常。广泛的实验证明了这两个流的有效性和互补性,因此提出的两流框架在四个数据集上实现了最新的性能。
translated by 谷歌翻译
随着大型预训练的Vison语言模型(如剪辑)的出现,可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息,以探索下游任务。最近提出的名为“上下文优化”(COP)的方法将一组可学习的向量从语言侧引入文本提示符,而单独调整文本提示符则不会影响图像编码器的计算视觉特征,从而导致了次级优势。在本文中,我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外,为了使视觉提示更多地集中在目标视觉概念上,我们提出了类感知的视觉及时调整(CAVPT),该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型,并在8个数据集上进行了广泛的实验结果,证明了该方法的有效性。我们的代码在补充材料中可用。
translated by 谷歌翻译
多光谱和全型图像的融合始终被称为pansharpening。大多数可用的基于深度学习的pan-sharpening方法通过一步方案增强了多光谱图像,这在很大程度上取决于网络的重建能力。但是,遥感图像总是具有很大的变化,因此,这些一步方法容易受到误差积累的影响,因此无法保留空间细节以及光谱信息。在本文中,我们提出了一个新型的两步模型,用于泛叠式模型,该模型通过空间和光谱信息的进行性补偿来锐化MS图像。首先,深层多尺度引导的生成对抗网络用于初步增强MS图像的空间分辨率。从粗糙域中的预交换MS图像开始,我们的方法随后逐步完善了具有反向体系结构的几个生成对抗网络(GAN)的空间和光谱残差。整个模型由三重gan组成,基于特定的架构,关节补偿损失函数旨在使三重甘族能够同时训练。此外,本文提出的空间谱系残留补偿结构可以扩展到其他泛伴式方法,以进一步增强其融合结果。在不同的数据集上进行了广泛的实验,结果证明了我们提出的方法的有效性和效率。
translated by 谷歌翻译
图神经网络(GNN)在捕获图形结构数据中的丰富信息方面表现出了显着的有效性。但是,GNNS的黑框性质阻碍用户理解和信任模型,从而导致其应用程序的困难。尽管近年来见证了有关解释GNN的研究的繁荣,但大多数人都专注于静态图,而动态GNN的解释几乎没有得到探索。由于它们的独特特征是随时间变化的图形结构,解释动态GNN是具有挑战性的。直接使用为动态图上静态图设计的现有模型是不可行的,因为它们忽略了快照之间的时间依赖性。在这项工作中,我们建议DGEXPLAINER为动态GNN提供可靠的解释。 DGEXPLAINER将动态GNN的输出激活评分重新分布到其先前层的神经元的相关性,直到获得输入神经元的相关性得分为止。我们在现实世界数据集上进行定量和定性实验,以证明所提出的框架在识别动态GNN的链接预测和节点回归的重要节点方面的有效性。
translated by 谷歌翻译
准确的语义分割模型通常需要大量的计算资源,从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是,这些模型不能灵活地适应不同的准确性和效率要求。在本文中,我们提出了一种简单但有效的微小语义细分(SLIMSEG)方法,该方法可以在推理期间以不同的能力执行,具体取决于所需的准确性效率 - 折衷。更具体地说,我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近,我们引入了额外的边界指导语义分割损失,以进一步提高每个子模型的性能。我们表明,我们提出的具有各种主流网络的Slimseg可以产生灵活的模型,从而使计算成本的动态调整和比独立模型更好。关于语义分割基准,城市景观和Camvid的广泛实验证明了我们框架的概括能力。
translated by 谷歌翻译