磁共振成像(MRI)是一种重要的非侵入性临床工具,可以产生高分辨率和可重复的图像。然而,高质量的MR图像需要长时间的扫描时间,这导致患者的疲惫和不适,由于患者的自愿运动和非自愿的生理运动,诱导更多人工制品。为了加速扫描过程,通过K空间欠采样和基于深度学习的重建的方法已经推广。这项工作引进了SwinMR,这是一种基于新型的Swin变压器的快速MRI重建方法。整个网络由输入模块(IM)组成,特征提取模块(FEM)和输出模块(OM)。 IM和OM是2D卷积层,并且FEM由级联的残留的Swin变压器块(RSTBS)和2D卷积层组成。 RSTB由一系列SWIN变压器层(STL)组成。 STL的Shifted Windows多头自我关注(W-MSA / SW-MSA)在移位的窗口中执行,而不是整个图像空间中原始变压器的多头自我关注(MSA)。通过使用灵敏度图提出了一种新的多通道损耗,这被证明是为了保留更多纹理和细节。我们在Calgary-Campinas公共大脑MR DataSet中进行了一系列比较研究和消融研究,并在多模态脑肿瘤细分挑战2017年数据集中进行了下游分段实验。结果表明,与其他基准方法相比,我们的SwinMR实现了高质量的重建,并且它在噪音中断和不同的数据集中显示了不同的遮光罩掩模的稳健性。该代码在https://github.com/ayanglab/swinmr公开使用。
translated by 谷歌翻译
世界目前正在经历持续的传染病大流行病,该传染病是冠状病毒疾病2019(即covid-19),这是由严重的急性呼吸综合征冠状病毒2(SARS-COV-2)引起的。计算机断层扫描(CT)在评估感染的严重程度方面发挥着重要作用,并且还可用于识别这些症状和无症状的Covid-19载体。随着Covid-19患者的累积数量的激增,放射科医师越来越强调手动检查CT扫描。因此,自动化3D CT扫描识别工具的需求量高,因为手动分析对放射科医师耗时,并且它们的疲劳可能导致可能的误判。然而,由于位于不同医院的CT扫描仪的各种技术规范,CT图像的外观可能显着不同,导致许多自动图像识别方法的失败。因此,多域和多扫描仪研究的多域移位问题是不可能对可靠识别和可再现和客观诊断和预后至关重要的至关重要。在本文中,我们提出了Covid-19 CT扫描识别模型即Coronavirus信息融合和诊断网络(CIFD-NET),可以通过新的强大弱监督的学习范式有效地处理多域移位问题。与其他最先进的方法相比,我们的模型可以可靠,高效地解决CT扫描图像中不同外观的问题。
translated by 谷歌翻译
在像地震等自然灾害后建立损伤检测对于启动有效的应急行动至关重要。远程感测的非常高空间分辨率(VHR)图像可以提供由于它们具有高几何精度的受影响建筑物的能力而提供重要信息。已经开发出许多方法来检测由于地震因地震而受损的建筑物。但是,使用深神经网络(DNN)已经支付了利用VHR图像中所代表的丰富的功能。本文提出了一种基于DNN和改进的分段方法的新型超像素的方法,从VHR图像中检测损坏的建筑物。首先,扩展了修改的快速扫描和自适应合并方法以创建初始过分分割。其次,基于相邻图(RAG)的区域合并段,被认为是由局部二进制模式(LBP)纹理,光谱和形状特征组成的改进的语义相似性标准。第三,呈现了使用堆叠的去噪自动编码器的预训练的DNN,称为SDAE-DNN,以利用丰富的语义特征来构建损坏检测。 SDAE-DNN的深层特征抽象可以通过学习更多内在和鉴别特征来提高检测精度,这使得使用最先进的替代分类器的其他方法表现优于其他方法。我们展示了我们在尼泊尔Bhaktapur的复杂城市地区使用WorldView-2图像的方法的可行性和有效性,这是受2015年4月25日的尼泊尔地震影响的。
translated by 谷歌翻译
今天的VIDSGG模型是基于建议的方法,即,它们首先生成众多配对的主题对象片段作为提案,然后对每个提案进行谓词分类。在本文中,我们认为这种普遍的基于建议的框架有三个固有的缺点:1)建议的地面真理谓词标签部分是正确的。 2)他们打破了相同主题对象对的不同谓词实例之间的高阶关系。 3)Vidsgg性能是由提案质量的大约。为此,我们向Vidsgg提出了一个新的分类 - 然后接地框架,可以避免所有三个被忽视的缺点。同时,在此框架下,我们将视频场景图形为临时二分形图形,其中实体和谓词是具有时隙的两种类型的节点,并且边缘在这些节点之间表示不同的语义角色。此配方充分利用了我们的新框架。因此,我们进一步提出了一种基于新的二分曲线图的SGG模型:大。具体而言,大由两部分组成:分类阶段和接地阶段,前者旨在对所有节点和边缘的类别进行分类,并且后者试图本地化每个关系实例的时间位置。两个Vidsgg数据集上的广泛消融已证明我们框架和大的有效性。
translated by 谷歌翻译
陆地温度(LST)是监控土地面过程时的关键参数。然而,云污染和空间和时间分辨率之间的权衡大大妨碍了对高质量的热红外(TIR)遥感数据的访问。尽管采取了巨大的努力来解决这些困境,但仍然难以通过并发空间完整性和高时空分辨率产生LST估计。陆地表面模型(LSM)可用于模拟高度的时间分辨率的Genpless LST,但这通常具有低空间分辨率。在本文中,我们向卫星观察和LSM模拟LST数据提供了一个集成的温度融合框架,以通过60米的空间分辨率和半小时时间分辨率映射Gapless LST。全局线性模型(GLOLM)模型和昼夜陆地表面温度周期(DTC)模型分别作为预处理步骤进行传感器和不同LST数据之间的时间归一化。然后使用基于滤波器的时空集成融合模型融合Landsat LST,适度分辨率成像光谱仪(MODIS)LST和社区土地模型5.0(CLM 5.0)-SIMUTION LST。在一个城市主导地区(中国武汉市)和自然主导地区(中国海河流域)实施了评估,在准确性,空间可变性和日颞动力学方面。结果表明,熔融LST与实际LANDSAT LST数据(原位LST测量)高于Pearson相关系数,在0.94(0.97-0.99)方面,平均绝对误差为0.71-0.98k(0.82-3.17 k )和根平均误差为0.97-1.26 k(1.09-3.97 k)。
translated by 谷歌翻译
我们提出了一种有效的方法,用于从多视图图像观察中联合优化拓扑,材料和照明。与最近的多视图重建方法不同,通常在神经网络中产生纠缠的3D表示,我们将三角形网格输出具有空间不同的材料和环境照明,这些方法可以在任何传统的图形引擎中未修改。我们利用近期工作在可差异化的渲染中,基于坐标的网络紧凑地代表体积纹理,以及可微分的游行四边形,以便直接在表面网上直接实现基于梯度的优化。最后,我们介绍了环境照明的分流和近似的可分辨率配方,以有效地回收全频照明。实验表明我们的提取模型用于高级场景编辑,材料分解和高质量的视图插值,全部以三角形的渲染器(光栅化器和路径示踪剂)的交互式速率运行。
translated by 谷歌翻译
对世界各地的急诊部门(ED)服务的需求不断增长,特别是在Covid-19大流行下。风险三环在优先考虑最需要它们的患者的有限医疗资源方面发挥着至关重要的作用。最近,普遍使用电子健康记录(EHR)已经产生了大量的存储数据,伴随着开发可改善紧急护理的预测模型的巨大机会。然而,没有基于大型公共EHR的广泛接受的ED基准,这是新的研究人员可以轻松访问的基准。填补这种差距的成功可以使研究人员更快,方便地开始研究,而无需详细数据预处理,并促进不同研究和方法之间的比较。在本文中,基于医疗信息MART为重症监护IV急诊部门(MIMIC-IV-ED)数据库,我们提出了一款公共ED基准套件,并获得了从2011年到2019年的50万ED访问的基准数据集。三个ed已经介绍了基于预测任务(住院,关键结果和72小时ED Revisit),其中实施了各种流行的方法,从机器学习方法到临床评分系统进行了实施。他们的性能结果评估并进行了比较。我们的代码是开源,因此任何具有访问模仿-IV-ED的人都可以遵循相同的数据处理步骤,构建基准,并重现实验。本研究提供了洞察力,建议,以及未来研究人员的协议,以处理原始数据并快速建立紧急护理模型。
translated by 谷歌翻译
我们介绍DMTET,深度3D条件生成模型,可以使用诸如粗体素的简单用户指南来合成高分辨率3D形状。它通过利用新型混合3D表示来结婚隐式和显式3D表示的优点。与当前隐含的方法相比,培训涉及符号距离值,DMTET直接针对重建的表面进行了优化,这使我们能够用更少的伪像来合成更精细的几何细节。与直接生成诸如网格之类的显式表示的深度3D生成模型不同,我们的模型可以合成具有任意拓扑的形状。 DMTET的核心包括可变形的四面体网格,其编码离散的符号距离函数和可分行的行进Tetrahedra层,其将隐式符号距离表示转换为显式谱图表示。这种组合允许使用在表面网格上明确定义的重建和对抗性损耗来联合优化表面几何形状和拓扑以及生成细分层次结构。我们的方法显着优于来自粗体素输入的条件形状合成的现有工作,培训在复杂的3D动物形状的数据集上。项目页面:https://nv-tlabs.github.io/dmtet/
translated by 谷歌翻译
自我监督的学习逐渐被出现为一种强大的图形表示学习技术。然而,在图表数据上进行可转换,概括和强大的表示学习仍然是对预训练图形神经网络的挑战。在本文中,我们提出了一种简单有效的自我监督的自我监督的预训练策略,命名为成对半图歧视(PHD),明确地预先在图形级别进行了图形神经网络。 PHD被设计为简单的二进制分类任务,以辨别两个半图是否来自同一源。实验表明,博士学位是一种有效的预训练策略,与最先进的策略相比,在13图分类任务上提供了可比或优越的性能,并在与节点级策略结合时实现了显着的改进。此外,所学习代表的可视化透露,博士策略确实赋予了模型来学习像分子支架等图形级知识。这些结果已将博士学位作为图形级别代表学习中的强大有效的自我监督的学习策略。
translated by 谷歌翻译
随着服务机器人和监控摄像头的出现,近年来野外的动态面部识别(DFR)受到了很多关注。面部检测和头部姿势估计是DFR的两个重要步骤。经常,在面部检测后估计姿势。然而,这种顺序计算导致更高的延迟。在本文中,我们提出了一种低延迟和轻量级网络,用于同时脸部检测,地标定位和头部姿势估计。灵感来自观察,以大角度定位面部的面部地标更具挑战性,提出了一个姿势损失来限制学习。此外,我们还提出了不确定性的多任务损失,以便自动学习各个任务的权重。另一个挑战是,机器人通常使用武器基的计算核心等低计算单元,我们经常需要使用轻量级网络而不是沉重的网络,这导致性能下降,特别是对于小型和硬面。在本文中,我们提出了在线反馈采样来增加不同尺度的培训样本,这会自动增加培训数据的多样性。通过验证常用的更广泛的脸,AFLW和AFLW2000数据集,结果表明,该方法在低计算资源中实现了最先进的性能。代码和数据将在https://github.com/lyp-deeplearning/mos-multi-task-face-detect上使用。
translated by 谷歌翻译