偏光成像以及深度学习,在包括场景分析在内的不同任务上显示了改进的性能。但是,由于培训数据集的尺寸很小,因此可能会质疑其稳健性。尽管该问题可以通过数据增强来解决,但两极分化的方式受到经典数据增强技术未解决的身体可行性约束。为了解决这个问题,我们建议使用Cyclegan,这是一种基于深层生成模型的图像翻译技术,仅依靠未配对的数据,将大型标记的路现场数据集传输到极化域。我们设计了几个辅助损失项,与自行车损失一起处理极化图像的物理约束。在道路场景对象检测任务上证明了该解决方案的效率,在该任务中,生成的逼真的极化图像允许改善汽车的性能和行人检测高达9%。由此产生的约束周期内公开释放,使任何人都可以生成自己的极化图像。
translated by 谷歌翻译
伪标签的使用占上处,以解决无监督的域自适应(UDA)重新识别(RE-ID),具有最佳性能。事实上,这家族的方法已经上升到几个有效的UDA重新ID特定框架。在这些作品中,改善伪标签UDA重新ID性能的研究方向多样化,主要基于直觉和实验:炼制伪标签,减少伪标签中的错误的影响......它可能很难推断出来它们是一般的良好做法,可以以任何伪标记方法实施,以始终如一地提高其性能。为了解决这一关键问题,提出了一个关于伪标签UDA RE-ID的新的理论视图。这些贡献是三倍:(i)伪标签UDA重新ID的新理论框架,通过UDA重新ID性能的新一般学习上限,正式化。 (ii)伪标签的一般良好做法,直接推导出拟议的理论框架的解释,以改善目标重新ID表现。 (iii)关于具有挑战性的人和车辆交叉数据集重新ID任务的广泛实验,对各种最先进的方法和各种建议的良好实践实现显示了一致的性能改进。
translated by 谷歌翻译
对比表现学习已被证明是一种有效的自我监督学习方法。大多数成功的方法都是基于噪声对比估计(NCE)范式,并将实例视图的视图视为阳性和其他情况,作为阳性应与其对比的噪声。但是,数据集中的所有实例都是从相同的分布和共享底层语义信息中汲取,这些语义信息不应被视为噪声。我们认为,良好的数据表示包含实例之间的关系或语义相似性。对比学习隐含地学习关系,但认为负面的噪音是对学习关系质量有害的噪音,因此是象征性的质量。为了规避这个问题,我们提出了一种使用称为相似性对比估计(SCE)之间的情况之间的语义相似性的对比学习的新颖性。我们的培训目标可以被视为柔和的对比学习。我们提出了持续分配以基于其语义相似性推动或拉动实例的持续分配。目标相似性分布从弱增强的情况计算并锐化以消除无关的关系。每个弱增强实例都与一个强大的增强实例配对,该实例对比其积极的同时保持目标相似性分布。实验结果表明,我们所提出的SCE在各种数据集中优于其基线MoCov2和RESSL,并对ImageNet线性评估协议上的最先进的算法具有竞争力。
translated by 谷歌翻译
使用多模式磁共振成像(MRI)对于精确的脑肿瘤细分是必需的。主要问题是,并非所有类型的MRI都始终可以在临床考试中提供。基于同一患者的先生模式之间存在强烈相关性,在这项工作中,我们提出了一种缺少一个或多种方式的脑肿瘤分割网络。所提出的网络由三个子网组成:特征增强的生成器,相关约束块和分割网络。特征增强的生成器利用可用模态来生成表示缺少模态的3D特征增强图像。相关性约束块可以利用模态之间的多源相关性,并且还限制了发电机,以合成特征增强的模态,该特征增强的模态必须具有与可用模式具有相干相关性的特征增强的模态。分段网络是基于多编码器的U-Net,以实现最终的脑肿瘤分割。所提出的方法在Brats 2018数据集上进行评估。实验结果表明,拟议方法的有效性分别在全肿瘤,肿瘤核心和增强肿瘤上实现了82.9,74.9和59.1的平均骰子得分,并且优于3.5%,17%和18.2的最佳方法%。
translated by 谷歌翻译
在多模式分割领域中,可以考虑不同方式之间的相关性以改善分段结果。考虑到不同MR模型之间的相关性,在本文中,我们提出了一种由新型三关注融合引导的多模态分段网络。我们的网络包括与N个图像源,三关注融合块,双关注融合块和解码路径的N个独立于模型编码路径。独立编码路径的模型可以从n个模式捕获模态特征。考虑到从编码器中提取的所有功能都非常有用,我们建议使用基于双重的融合来重量沿模态和空间路径的特征,可以抑制更少的信息特征,并强调每个模态的有用的功能在不同的位置。由于不同模式之间存在强烈的相关性,基于双重关注融合块,我们提出了一种相关注意模块来形成三关注融合块。在相关性注意模块中,首先使用相关描述块来学习模态之间的相关性,然后基于相关性的约束来指导网络以学习对分段更相关的潜在相关特征。最后,通过解码器投影所获得的融合特征表示以获得分段结果。我们对Brats 2018年脑肿瘤分割进行测试的实验结果证明了我们提出的方法的有效性。
translated by 谷歌翻译
未经监督的域适应(UDA)用于重新识别(RE-ID)是一个具有挑战性的任务:避免昂贵的附加数据的注释,它旨在将知识从域转移到仅具有未标记数据的域的带注释数据。已证明伪标签方法已对UDA重新ID有效。然而,这些方法的有效性大量取决于通过聚类影响影响伪标签的一些超参数(HP)的选择。兴趣领域缺乏注释使得这一选择是非微不足道的。目前的方法只需重复使用所有适应任务的相同的经验值,并且无论通过伪标记培训阶段都会改变的目标数据表示。由于这种简单的选择可能会限制其性能,我们的目标是解决这个问题。我们提出了对聚类UDA RE-ID进行培训选择的新理论基础以及伪标签UDA聚类的自动和循环HP调谐方法:丘比巴。 Hyprass在伪标记方法中包含两个模块:(i)基于标记源验证集的HP选择和(ii)特征歧视的条件域对齐,以改善基于源样本的HP选择。关于常用的人员重新ID和车辆重新ID数据集的实验表明,与常用的经验HP设置相比,我们所提出的次数始终如一地提高RE-ID中最先进的方法。
translated by 谷歌翻译
We explore the abilities of two machine learning approaches for no-arbitrage interpolation of European vanilla option prices, which jointly yield the corresponding local volatility surface: a finite dimensional Gaussian process (GP) regression approach under no-arbitrage constraints based on prices, and a neural net (NN) approach with penalization of arbitrages based on implied volatilities. We demonstrate the performance of these approaches relative to the SSVI industry standard. The GP approach is proven arbitrage-free, whereas arbitrages are only penalized under the SSVI and NN approaches. The GP approach obtains the best out-of-sample calibration error and provides uncertainty quantification.The NN approach yields a smoother local volatility and a better backtesting performance, as its training criterion incorporates a local volatility regularization term.
translated by 谷歌翻译
Purpose: The purpose of this paper is to present a method for real-time 2D-3D non-rigid registration using a single fluoroscopic image. Such a method can find applications in surgery, interventional radiology and radiotherapy. By estimating a three-dimensional displacement field from a 2D X-ray image, anatomical structures segmented in the preoperative scan can be projected onto the 2D image, thus providing a mixed reality view. Methods: A dataset composed of displacement fields and 2D projections of the anatomy is generated from the preoperative scan. From this dataset, a neural network is trained to recover the unknown 3D displacement field from a single projection image. Results: Our method is validated on lung 4D CT data at different stages of the lung deformation. The training is performed on a 3D CT using random (non domain-specific) diffeomorphic deformations, to which perturbations mimicking the pose uncertainty are added. The model achieves a mean TRE over a series of landmarks ranging from 2.3 to 5.5 mm depending on the amplitude of deformation. Conclusion: In this paper, a CNN-based method for real-time 2D-3D non-rigid registration is presented. This method is able to cope with pose estimation uncertainties, making it applicable to actual clinical scenarios, such as lung surgery, where the C-arm pose is planned before the intervention.
translated by 谷歌翻译
Although deep networks have shown vulnerability to evasion attacks, such attacks have usually unrealistic requirements. Recent literature discussed the possibility to remove or not some of these requirements. This paper contributes to this literature by introducing a carpet-bombing patch attack which has almost no requirement. Targeting the feature representations, this patch attack does not require knowing the network task. This attack decreases accuracy on Imagenet, mAP on Pascal Voc, and IoU on Cityscapes without being aware that the underlying tasks involved classification, detection or semantic segmentation, respectively. Beyond the potential safety issues raised by this attack, the impact of the carpet-bombing attack highlights some interesting property of deep network layer dynamic.
translated by 谷歌翻译
Computer vision and machine learning are playing an increasingly important role in computer-assisted diagnosis; however, the application of deep learning to medical imaging has challenges in data availability and data imbalance, and it is especially important that models for medical imaging are built to be trustworthy. Therefore, we propose TRUDLMIA, a trustworthy deep learning framework for medical image analysis, which adopts a modular design, leverages self-supervised pre-training, and utilizes a novel surrogate loss function. Experimental evaluations indicate that models generated from the framework are both trustworthy and high-performing. It is anticipated that the framework will support researchers and clinicians in advancing the use of deep learning for dealing with public health crises including COVID-19.
translated by 谷歌翻译