在本文中,我们将$ \ textit {开放设定识别} $与域移动一起研究,最终目标是实现$ \ textit {无源的通用域apation} $(sf-unda),以解决以下情况源和目标域之间存在域和类别变化。在SF-UNDA设置下,该模型在目标适应过程中无法再访问源数据,旨在解决数据隐私问题。我们提出了一种新颖的培训计划,以学习($ n $+1) - 道路分类器,以预测$ n $源类和未知类别,其中仅可用于培训的样本。此外,对于目标适应,我们简单地采用了加权熵最小化,以使源预处理的模型适应未标记的目标域而没有源数据。在实验中,我们显示了:$ \ textbf {1)} $在源培训后,生成的源模型可以获得$ \ textit {开放设定单域概括} $以及$ \ textit {开放设定{open-Set识别}的出色性能$任务; $ \ textbf {2)} $在目标适应后,我们的方法超过了当前的UNDA方法,这些方法在几个基准上的适应过程中需要源数据。对几个不同任务的多功能性强烈证明了我们方法的功效和概括能力。 $ \ textbf {3)} $在目标适应过程中使用封闭设置的域适应方法增强时,我们的无源方法进一步超过了当前的最新unda方法,将当前的方法提高2.5%,7.2%和13% Office-31,办公室和Visda。代码将在https://github.com/albert0147/onering中提供。
translated by 谷歌翻译
最近的自我监督学习方法能够学习高质量的图像表示,并通过监督方法关闭差距。但是,这些方法无法逐步获取新的知识 - 事实上,它们实际上主要仅用为具有IID数据的预训练阶段。在这项工作中,我们在没有额外的记忆或重放的情况下调查持续学习制度的自我监督方法。为防止忘记以前的知识,我们提出了功能正规化的使用。我们将表明,朴素的功能正则化,也称为特征蒸馏,导致可塑性的低可塑性,因此严重限制了连续的学习性能。为了解决这个问题,我们提出了预测的功能正则化,其中一个单独的投影网络确保新学习的特征空间保留了先前的特征空间的信息,同时允许学习新功能。这使我们可以防止在保持学习者的可塑性时忘记。针对应用于自我监督的其他增量学习方法的评估表明我们的方法在不同场景和多个数据集中获得竞争性能。
translated by 谷歌翻译
多标签映像分类是预测一组类标签,可以视为有序的顺序数据。变形金刚整体处理顺序数据,因此它们本质上擅长设置预测。第一个基于视觉的变压器模型,提出了对象检测任务,引入了对象查询的概念。对象查询是可学习的位置编码,其被解码器层中的注意模块使用,以使用图像中的兴趣区域对对象类或边界框进行解码。但是,将相同的对象查询集输入到不同的解码器层阻碍了培训:它会导致性能下降和延迟收敛。在本文中,我们提出了仅在变压器解码器堆栈开始时提供的原始对象查询的使用。此外,我们改进了为多标签分类提出的混合技术。具有原始对象查询的所提出的变压器模型可提高最先进的阶级明智的F1度量2.1%和1.8%;并分别在MS-COCO和NUS范围的数据集中速度提高79.0%和38.6%。
translated by 谷歌翻译
近年来有条件的GAN已经成熟,并且能够产生高质量的现实形象。但是,计算资源和培训高质量的GAN所需的培训数据是巨大的,因此对这些模型的转移学习的研究是一个紧急话题。在本文中,我们探讨了从高质量预训练的无条件GAN到有条件的GAN的转移。为此,我们提出了基于HyperNetwork的自适应权重调制。此外,我们介绍了一个自我初始化过程,不需要任何真实数据才能初始化HyperNetwork参数。为了进一步提高知识转移的样本效率,我们建议使用自我监督(对比)损失来改善GaN判别者。在广泛的实验中,我们验证了多个标准基准上的Hypernetworks,自我初始化和对比损失的效率。
translated by 谷歌翻译
大多数元学习方法都假设存在于可用于基本知识的情节元学习的一组非常大的标记数据。这与更现实的持续学习范例形成对比,其中数据以包含不相交类的任务的形式逐步到达。在本文中,我们考虑了这个增量元学习(IML)的这个问题,其中类在离散任务中逐步呈现。我们提出了一种方法,我们调用了IML,我们称之为eCISODIC重播蒸馏(ERD),该方法将来自当前任务的类混合到当前任务中,当研究剧集时,来自先前任务的类别示例。然后将这些剧集用于知识蒸馏以最大限度地减少灾难性的遗忘。四个数据集的实验表明ERD超越了最先进的。特别是,在一次挑战的单次次数较挑战,长任务序列增量元学习场景中,我们将IML和联合训练与当前状态的3.5%/ 10.1%/ 13.4%之间的差距降低我们在Diered-ImageNet / Mini-ImageNet / CIFAR100上分别为2.6%/ 2.9%/ 5.0%。
translated by 谷歌翻译
域适应(DA)旨在缓解源域和目标域之间的域移位。大多数DA方法都需要访问源数据,但通常是不可能的(例如,由于数据隐私或知识产权)。在本文中,我们解决了挑战的无源域适应(SFDA)问题,其中源净定模型在没有源数据的情况下适应目标域。我们的方法基于目标数据的观察,该数据可能不再与源域分类器对齐,仍然形成清晰的群集。我们通过定义目标数据的本地亲和力来捕获此内在结构,并鼓励具有高局部亲和力的数据之间的标签一致性。我们观察到应将更高的亲和力分配给互惠邻居,并提出自正规化损失以减少嘈杂邻居的负面影响。此外,要使用更多上下文聚合信息,我们考虑扩展的邻域,具有小关联值。在实验结果中,我们验证了目标特征的固有结构是域适应的重要信息来源。我们证明可以通过考虑本地邻居,互易邻居和扩展的邻域来有效地捕获该局部结构。最后,我们在几个2D图像和3D点云识别数据集中实现最先进的性能。代码是在https://github.com/albert0147/sfda_neighbors中获得的。
translated by 谷歌翻译
癌症护理中的治疗决策受到随机对照试验(RCT)的治疗效应估计的指导。 RCT估计在某个人群中,一种治疗与另一种治疗的平均效应。但是,治疗可能对人群中的每个患者都不同样有效。了解针对特定患者和肿瘤特征量身定制的治疗的有效性将实现个性化的治疗决策。通过平均RCT中不同患者亚组的结果来获得量身定制的治疗效果,需要大量的患者在所有相关亚组中具有足够的统计能力,以实现所有可能的治疗。美国癌症联合委员会(AJCC)建议研究人员开发结果预测模型(OPMS),以实现个性化治疗决策。 OPM有时称为风险模型或预后模型,使用患者和肿瘤特征来预测患者的结局,例如总体生存。假设这些预测对于使用“只有在OPM预测患者具有高复发风险的情况下开出化学疗法的规则”之类的规则,对治疗决策有用。 AJCC认识到可靠预测的重要性,发布了OPM的清单,以确保设计OPM设计的患者群体的可靠OPM预测准确性。但是,准确的结果预测并不意味着这些预测会产生良好的治疗决策。从这个角度来看,我们表明OPM依靠固定的治疗政策,这意味着被发现可以准确预测验证研究结果的OPM在用于治疗决策的情况下仍会导致患者伤害。然后,我们提供有关如何开发对个性化治疗决策有用的模型以及如何评估模型是否具有决策价值的指导。
translated by 谷歌翻译
胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法(CAD)方法中取得了成功,但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法,该方法在周围的解剖结构中利用临床上的特征,从而更好地旨在利用放射科医生的知识,而不是其他常规的深度学习方法。为此,我们收集了一个新的数据集,该数据集由99例胰腺导管腺癌(PDAC)和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式,肿瘤可能总是可见为低音病变,因此,专家指的是二次外部特征的可见性,这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法,该方法利用以下外部次要特征:胰管,常见的胆管和胰腺以及处理后的CT扫描。使用这些功能,该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99%的敏感性(一个案例)和99%的特异性,这比以前的最新方法的灵敏度增加了5%。与以前的PDAC检测方法相比,该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善,并强调了在开发新型CAD方法时纳入临床专家知识的重要性。
translated by 谷歌翻译
On general regular simplicial partitions $\mathcal{T}$ of bounded polytopal domains $\Omega \subset \mathbb{R}^d$, $d\in\{2,3\}$, we construct \emph{exact neural network (NN) emulations} of all lowest order finite element spaces in the discrete de Rham complex. These include the spaces of piecewise constant functions, continuous piecewise linear (CPwL) functions, the classical ``Raviart-Thomas element'', and the ``N\'{e}d\'{e}lec edge element''. For all but the CPwL case, our network architectures employ both ReLU (rectified linear unit) and BiSU (binary step unit) activations to capture discontinuities. In the important case of CPwL functions, we prove that it suffices to work with pure ReLU nets. Our construction and DNN architecture generalizes previous results in that no geometric restrictions on the regular simplicial partitions $\mathcal{T}$ of $\Omega$ are required for DNN emulation. In addition, for CPwL functions our DNN construction is valid in any dimension $d\geq 2$. Our ``FE-Nets'' are required in the variationally correct, structure-preserving approximation of boundary value problems of electromagnetism in nonconvex polyhedra $\Omega \subset \mathbb{R}^3$. They are thus an essential ingredient in the application of e.g., the methodology of ``physics-informed NNs'' or ``deep Ritz methods'' to electromagnetic field simulation via deep learning techniques. We indicate generalizations of our constructions to higher-order compatible spaces and other, non-compatible classes of discretizations, in particular the ``Crouzeix-Raviart'' elements and Hybridized, Higher Order (HHO) methods.
translated by 谷歌翻译
In many high-dimensional prediction or classification tasks, complementary data on the features are available, e.g. prior biological knowledge on (epi)genetic markers. Here we consider tasks with numerical prior information that provide an insight into the importance (weight) and the direction (sign) of the feature effects, e.g. regression coefficients from previous studies. We propose an approach for integrating multiple sources of such prior information into penalised regression. If suitable co-data are available, this improves the predictive performance, as shown by simulation and application. The proposed method is implemented in the R package `transreg' (https://github.com/lcsb-bds/transreg).
translated by 谷歌翻译