Point cloud analysis is receiving increasing attention, however, most existing point cloud models lack the practical ability to deal with the unavoidable presence of unknown objects. This paper mainly discusses point cloud analysis under open-set settings, where we train the model without data from unknown classes and identify them in the inference stage. Basically, we propose to solve open-set point cloud analysis using a novel Point Cut-and-Mix mechanism consisting of Unknown-Point Simulator and Unknown-Point Estimator modules. Specifically, we use the Unknown-Point Simulator to simulate unknown data in the training stage by manipulating the geometric context of partial known data. Based on this, the Unknown-Point Estimator module learns to exploit the point cloud's feature context for discriminating the known and unknown data. Extensive experiments show the plausibility of open-set point cloud analysis and the effectiveness of our proposed solutions. Our code is available at \url{https://github.com/ShiQiu0419/pointcam}.
translated by 谷歌翻译
由于MRI体积的强度在各机构之间是不一致的,因此必须将多模式MRI的通用特征提取到精确分段脑肿瘤。在这个概念中,我们提出了一个体积视觉变压器,遵循两种窗口策略,以提取精美特征和局部分配平滑度(LDS)在受虚拟对手训练(VAT)启发的模型训练过程中提取精美的特征和局部分配平滑度(LDS),以使模型可靠。我们在FETS Challenge 2022数据集上培训和评估了网络体系结构。我们在在线验证数据集上的性能如下:骰子相似性得分为81.71%,91.38%和85.40%; Hausdorff距离(95%)的14.81毫米,3.93毫米,11.18毫米,分别用于增强肿瘤,整个肿瘤和肿瘤核。总体而言,实验结果通过在每个肿瘤子区域的分割准确性中得出更好的性能来验证我们的方法的有效性。我们的代码实施公开可用:https://github.com/himashi92/vizviva_fets_2022
translated by 谷歌翻译
深度度量学习算法旨在学习有效的嵌入空间,以保持输入数据之间的相似性关系。尽管这些算法在广泛的任务中取得了显着的性能增长,但它们也未能考虑并增加全面的相似性约束。因此,在嵌入空间中学习了亚最佳度量。而且,到目前为止;关于它们在嘈杂标签的存在方面的研究很少。在这里,我们通过设计一个新颖而有效的深层差异损失(DCDL)功能来解决学习歧视性深层嵌入空间的关注和每个班级。在存在和没有噪声的情况下,我们在三个标准图像分类数据集和两个细粒图像识别数据集中的经验结果清楚地表明,在学习歧视性嵌入空间的同时,需要将这种类似的相似性关系以及传统算法结合在一起。
translated by 谷歌翻译
联邦学习(FL)提供了有希望的分布式学习范式,因为它试图通过不共享其私人培训数据来保护用户隐私。但是,最近的研究表明,FL容易受到模型反转攻击的影响,该攻击可以通过窃听共享梯度来重建用户的私人数据。现有的防御解决方案无法在更强烈的攻击中生存,并且在隐私和绩效之间表现不佳。在本文中,我们提出了一种直接而有效的防御策略,基于与隐藏数据相混淆敏感数据的梯度。具体而言,我们在迷你批次中更改一些样品,以模仿梯度水平的敏感数据。使用梯度投影技术,我们的方法试图在不牺牲FL性能的情况下模糊敏感数据。我们广泛的评估表明,与其他防御能力相比,我们的技术在保留FL性能的同时提供了最高水平的保护。我们的源代码位于存储库中。
translated by 谷歌翻译
学习一种潜在的嵌入以了解数据分布的潜在性质,通常是在曲率为零的欧几里得空间中提出的。但是,在嵌入空间中构成的几何约束的成功表明,弯曲空间可能会编码更多的结构信息,从而导致更好的判别能力,从而获得更丰富的表示。在这项工作中,我们研究了弯曲空间的好处,用于分析数据中的异常或分布对象。这是通过通过三个几何约束来考虑嵌入的,即球形几何(具有正曲率),双曲几何形状(具有负曲率)或混合几何形状(具有正曲率和负曲率)。鉴于手头的任务,可以在统一的设计中互换选择三个几何约束。为弯曲空间中的嵌入量身定制,我们还制定功能以计算异常得分。提出了两种类型的几何模块(即,几何模块和两个几何模型)提出了插入原始的欧几里得分类器,并从弯曲的嵌入式中计算出异常分数。我们在各种视觉识别场景中评估所得设计,包括图像检测(多类OOD检测和一级异常检测)和分割(多类异常分段和一级异常分段)。经验结果表明,通过对各种情况的一致改进,我们的提案的有效性。
translated by 谷歌翻译
在许多计算机视觉任务(包括图像识别和对象检测)中,成功地使用了变压器结构成功使用的自我发挥机制。尽管激增,但使用变压器来立体声匹配问题仍然相对尚未探索。在本文中,我们全面研究了变压器在立体声匹配的问题上的使用,尤其是对于腹腔镜视频,并提出了一个新的混合型直立立体声匹配框架(Hybridstereonet),将CNN的最佳和变压器结合在统一的设计中。具体而言,我们研究了几种方法,通过分析设计的损失格局和内域/跨域准确性,将变压器引入体积立体声匹配管道。我们的分析表明,在使用CNN进行成本聚合的同时,使用变压器进行功能表示学习,将导致比其他选项更快地收敛,更高的准确性和更好的概括。我们在SceneFlow上进行的广泛实验,Scread2019和DVPN数据集证明了Hybridstereonet的出色性能。
translated by 谷歌翻译
由于组织和骨骼之间的相似性,在人解剖结构中广泛看到了全球相关性。由于近距离质子密度和T1/T2参数,这些相关性反映在磁共振成像(MRI)扫描中。此外,为了实现加速的MRI,k空间数据的采样不足,从而导致全球混叠伪像。卷积神经网络(CNN)模型被广泛用于加速MRI重建,但是由于卷积操作的固有位置,这些模型在捕获全球相关性方面受到限制。基于自发的变压器模型能够捕获图像特征之间的全局相关性,但是,变压器模型对MRI重建的当前贡献是微小的。现有的贡献主要提供CNN转换器混合解决方案,并且很少利用MRI的物理学。在本文中,我们提出了一种基于物理的独立(无卷积)变压器模型,标题为“多头级联SWIN变压器(MCSTRA),用于加速MRI重建。 MCSTRA将几种相互关联的MRI物理相关概念与变压器网络相结合:它通过移动的窗口自我发场机制利用了全局MR特征;它使用多头设置分别提取属于不同光谱组件的MR特征;它通过级联的网络在中间脱氧和K空间校正之间进行迭代,该网络具有K空间和中间损耗计算中的数据一致性;此外,我们提出了一种新型的位置嵌入生成机制,以使用对应于底面采样掩码的点扩散函数来指导自我发作。我们的模型在视觉上和定量上都大大优于最先进的MRI重建方法,同时描述了改善的分辨率和去除词法。
translated by 谷歌翻译
单图级注释仅正确地描述了图像内容的通常很小的子集,尤其是在描绘了复杂的现实世界场景时。尽管这在许多分类方案中可能是可以接受的,但对于培训时间和测试时间之间有很大差异的应用程序,它构成了一个重大挑战。在本文中,我们仔细研究了$ \ textit {少数图解} $的含义。将输入样品分成贴片并通过视觉变压器的帮助来编码它们,使我们能够在图像跨图像和独立于其各自类别的局部区域之间建立语义对应关系。然后,最有用的补丁程序嵌入手头的任务是通过推理时通过在线优化设置的支持的函数,此外还提供了图像中“ $ \ textit {最重要的} $”的视觉解释性。我们基于通过掩盖图像建模对网络进行无监督培训的最新进展,以克服缺乏细粒度的标签,并了解数据的更一般统计结构,同时避免使用负面图像级注释影响,$ \ textit {aka} $监督坍塌。实验结果表明,我们的方法的竞争力,在四个流行的少数几个分类基准测试基准中获得了新的最先进的结果,价格为$ 5 $ - 弹跳和$ 1 $ $ - 景点。
translated by 谷歌翻译
受到预处理的概念的启发,我们提出了一种新的方法,以提高基于梯度的元学习方法的适应速度,而不会产生额外的参数。我们证明,将优化问题重新验证到非线性最小二乘配方,提供了一种原则性的方法,可以根据条件编号和本地的概念来主动执行$ \ textIt {wittercitioned} $参数空间,用于元学习模型曲率。我们的全面评估表明,所提出的方法大大优于其不受限制的对应物,尤其是在初始适应步骤中,同时在几个几次分类任务上取得了可比或更好的总体结果 - 创造了动态选择推断时间的适应性步骤数量的可能性。
translated by 谷歌翻译
本文提出了基于对脑肿瘤细分任务的普遍学习培训方法。在这一概念中,3D分割网络从双互惠对抗性学习方法学习。为了增强分割预测的概括并使分割网络稳健,我们通过在原始患者数据上添加一些噪声来通过增加一些噪声来遵循虚拟的对抗训练方法。通过将其作为定量主观裁判的评论者纳入了批评,分割网络从与分段结果相关的不确定性信息学习。我们在RSNA-ASNR-MICCAI BRATS 2021数据集上培训和评估网络架构。我们在线验证数据集的表现如下:骰子相似度得分为81.38%,90.77%和85.39%; Hausdorff距离(95±95±95毫米)分别为增强肿瘤,全肿瘤和肿瘤核心的5.37毫米,8.56毫米。同样,我们的方法实现了84.55%,90.46%和85.30%的骰子相似度得分,以及最终测试数据集上的13.48 mm,6.32毫米和16.98mm的Hausdorff距离(95 \%)。总体而言,我们所提出的方法对每个肿瘤次区域的分割准确性产生更好的性能。我们的代码实现在https://github.com/himashi92/vizviva_brats_2021上公开使用
translated by 谷歌翻译