三维(3-D)场景重建是增强现实(AR)中的关键技术之一,它与图像处理和复杂信息显示系统的集成有关。立体匹配是基于计算机视觉的三维场景重建方法。在本文中,我们探索了改进的立体匹配网络SLED-Net,其中提出了单个LongEncoder-Decoder来取代PSM-Net中的堆叠沙漏网络,以实现更好的上下文信息学习。我们比较了最近发布的SLED-Net最新方法,并展示了其在Scene Flow和KITTI2015测试集上的卓越性能。
translated by 谷歌翻译
空间分辨率是磁共振成像(MRI)中的关键成像参数。获取高分辨率MRI数据通常需要很长的扫描时间,并且由于硬件,物理和生理限制而会受到运动伪影的影响。单图像超分辨率(SISR),尤其是基于深度学习技术的单图像超分辨率(SISR),是一种有效且有前途的替代技术,用于改善磁共振(MR)图像的当前空间分辨率。然而,更深层的网络更难以进行有效的培训,因为随着网络的深入,信息逐渐被削弱。由于训练样本的退化,这个问题对于医学图像变得更加严重。在本文中,我们提出了一种新的通道分裂和串行融合网络(CSSFN)用于单个MR图像的超分辨率。具体地,所提出的CSSFN网络将分层特征分成一系列子特征,然后以串行方式将它们集成在一起。因此,网络变得更深并且可以区别地处理不同信道上的子特征。此外,采用密集全局特征融合(DGFF)来集成中间特征,进一步促进网络中的信息流。对几个典型的MR图像进行了大量实验,结果表明我们的CSSFN模型优于其他先进的SISR方法。
translated by 谷歌翻译
显着目标检测的最新进展主要是为了探索如何在卷积神经网络(CNN)中有效地整合卷积侧输出特征。基于此,大多数现有的现有技术检测器设计复杂的网络结构以融合骨干特征提取网络的侧输出特征。但是,如果准确的显着物体检测,融合策略是否会越来越复杂?在本文中,我们观察到自然图像的上下文可以通过侧向输出卷积特征的从高到低的自学习来很好地表达。众所周知,图像的上下文通常指的是全局结构,CNN的顶层通常学习传达全局信息。另一方面,中间体 - 输出特征难以表达上下文信息。在这里,我们设计了一个具有中间监督的沙漏网络,以从高到低的方式学习上下文特征。聚合学习的分层上下文以生成输入图像的混合上下文表达。最后,混合上下文特征可用于准确的显着性估计。我们在六个具有挑战性的显着性数据集上对我们的方法进行了广泛的评估,并且我们的简单方法在各种评估度量下实现了最先进的性能。代码将在纸件验收后发布。
translated by 谷歌翻译
青光眼是世界范围内可预防,不可逆转的失明的主要原因。这种疾病可以保持无症状直至严重,估计有50%-90%的青光眼患者仍未确诊。因此,建议对青光眼筛查进行早期检测和治疗。检测青光眼的一种经济有效的工具可以扩大医疗保健对更大患者群体的访问,但目前还没有这种工具。我们使用5833幅图像的回顾性数据集训练深度学习(DL)算法,评估可升级性,青光眼视神经乳头(ONH)特征和可逆性青光眼风险。使用2个单独的数据集验证所得算法。对于可参考的青光眼风险,该算法在验证数据集“A”中具有0.940(95%CI,0.922-0.955)的AUC(1,205个图像,1个图像/患者; 19%可参考其中图像由研究员培训的青光眼专家小组裁定,并在验证数据集“B”中分析0.858(95%CI,0.836-0.878)(来自9,643名患者的17,593张图像; 9.2%的图像来自亚特兰大退伍军人事务部眼科诊所糖尿病视网膜电视检查程序使用临床转诊决定作为参考标准)。此外,我们发现垂直杯与椎间盘比> = 0.7,神经视网膜边缘,视网膜神经纤维层缺损和裸露的环形血管的存在对青光眼专家和算法的青光眼风险评估贡献最大。对于青光眼ONH特征,算法AUC介于0.608-0.977之间。 DL算法对10名年级学生中的6名(包括3名青光眼专家中的2名)具有明显更高的敏感性,相对于所有评分者具有相当或更高的特异性。仅在眼底图像上训练的DL算法可以以更高的灵敏度和对眼睛护理提供者的可比特异性来检测可参考的青光眼风险。
translated by 谷歌翻译
我们提供了一个基于特征的实时SLAM(同时定位和映射)系统,用于以大视场(FoV)为特色的鱼眼摄像机。大型FoV摄像机有利于大规模户外SLAM应用,因为它们增加了视觉重叠连续帧之间和属于环境静态部分的捕获更多像素。然而,当前基于特征的SLAM系统(例如PTAM和ORB-SLAM)仅将其相机模型限制为针孔。为了弥补空位,我们提出了一种新颖的SLAM系统,其立方体贴图模型利用了完整的FoV而不会引入鱼眼镜头的失真,这极大地有利于特征匹配管道。在初始化和点三角测量阶段,我们采用基于矢量的表示来有效地处理多个面上的匹配,并且基于该表示,我们提出并分析了一个新颖的检查度量。在优化阶段,我们设计并测试了一种新的多针孔重投影误差度量,该度量值通过大幅度优于其他度量。我们在公共数据集上全面评估我们的系统,以及包含真实世界挑战序列的自我收集数据集。结果表明,与其他基于特征的鱼眼SLAM方法相比,我们的系统更加稳健和准确。 CubemapSLAM系统已发布到公共领域。
translated by 谷歌翻译
*These authors contributed equally to this work. The brightfield microscope is instrumental in the visual examination of both biological and physical samples at sub-millimeter scales. One key clinical application has been in cancer histopathology, where the microscopic assessment of the tissue samples is used for the diagnosis and staging of cancer and thus guides clinical therapy​ ​ 1​. However, the interpretation of these samples is inherently subjective, resulting in significant diagnostic variability​ ​ 2,3​. Moreover, in many regions of the world, access to pathologists is severely limited due to lack of trained personnel​ ​ 4​. In this regard, Artificial Intelligence (AI) based tools promise to improve the access and quality of healthcare​ ​ 5-7​. However, despite significant advances in AI research, integration of these tools into real-world cancer diagnosis workflows remains challenging because of the costs of image digitization and difficulties in deploying AI solutions​ ​ 8​ ,​ 9​. Here we propose a cost-effective solution to the integration of AI: the Augmented Reality Microscope (ARM). The ARM overlays AI-based information onto the current view of the sample through the optical pathway in real-time, enabling seamless integration of AI into the regular microscopy workflow. We demonstrate the utility of ARM in the detection of lymph node metastases in breast cancer and the identification of prostate cancer with a latency that supports real-time workflows. We anticipate that ARM will remove barriers towards the use of AI in microscopic analysis and thus improve the accuracy and efficiency of cancer diagnosis. This approach is applicable to other microscopy tasks and AI algorithms in the life sciences​ ​ 10​ and beyond​ ​ 11,12​. Microscopic examination of samples is the gold standard for the diagnosis of cancer, autoimmune diseases, infectious diseases, and more. In cancer, the microscopic examination of stained tissue sections is critical for diagnosing and staging the patient's tumor, which informs treatment decisions and prognosis. In cancer, microscopy analysis faces three major challenges. As a form of image interpretation, these examinations are inherently subjective, exhibiting considerable inter-observer and intra-observer variability​ 2,3​. Moreover, clinical guidelines​ 1​ and studies​ 13​ have begun to require quantitative assessments as part of the effort towards better patient risk stratification​ 1​. For example, breast cancer staging requires counting mitotic cells and quantification of the tumor burden in lymph nodes by measuring the largest tumor focus. However, despite being helpful in treatment planning, quantification is laborious and error-prone. Lastly, access to disease experts can be limited in both developed and developing countries​ 4​ , exacerbating the problem. As a potential solution, recent advances in AI, specifically deep learning​ 14​ , have demonstrated automated medical image analysis with performance c
translated by 谷歌翻译
对于前列腺癌患者,Gleason评分是最重要的预后因素之一,可能决定独立于分期的治疗。然而,Gleason评分基于肿瘤形态的主观显微镜检查并且具有较差的再现性。在这里,我们提出了一个深度学习系统(DLS),用于Gleason评分前列腺切除术的全幻灯片图像。我们的系统是使用来自1,226张幻灯片的1.12亿个病理学家注释的图像片段开发的,并在331个幻灯片的独立验证数据集上进行评估,其中参考标准由泌尿生殖专家病理学家建立。在验证数据集中,29名一般病理学家的平均准确度为0.61。 DLS的诊断准确率显着提高0.70(p = 0.002),并且与临床随访数据的相关性趋向于更好的患者风险分层。我们的方法可以提高格里森评分的准确性和随后的治疗决策,特别是在专业知识不可用的情况下。 DLS还超越了当前的格里森系统,以更精细地表征和定量肿瘤形态,为格里森系统本身的细化提供了机会。
translated by 谷歌翻译
研究了深度神经网络(DNNs)的许多模型压缩技术,包括权重修剪,权重聚类和量化等。权重修剪利用DNN中权重数量的冗余,而权重聚类/量化利用权重的比特数表示的冗余。它们可以有效地组合,以便开发最大程度的冗余。然而,在这方面的文献中缺乏系统的调查。在本文中,我们填补了这个空白,并利用交替方向乘法器方法(ADMM)开发了DNN权重修剪和聚类/量化的统一,系统的框架,这是一种在非优化问题中用于优化理论的强大技术。 DNN重量修剪和聚类/量化以及它们的组合都可以以统一的方式解决。为了在这个框架中进一步提高性能,我们采用了多种技术,包括迭代加权量化和重新训练,联合权重聚类训练和质心更新,权重聚类训练等。所提出的框架在个体权重修剪和聚类/量化问题上都得到了显着改善,以及它们组合。仅对于重量修剪,我们在LeNet-5中减少了167倍的重量,在AlexNet中减少了24.7倍,在VGGNet中减少了23.4倍,没有任何精度损失。对于DNN重量修剪和聚类/量化的组合,我们减少1,910倍和210倍的存储量减少LeNet-5和AlexNet上的重量数据分别没有精度损失。我们的代码和模型在链接http://bit.ly/2D3F0np上发布
translated by 谷歌翻译
约束图像拼接检测和定位(CISDL)是用于图像取证的新提出的挑战性任务,其调查两个输入的所选图像并识别一个图像是否具有从另一个图像粘贴的可疑区域。在本文中,我们提出了一种新的对抗性学习框架来训练CISDL的深度匹配网络。我们的框架主要包括三个构建模块:1)基于atrousconvolution(DMAC)的深度匹配网络旨在生成两个高质量的候选掩码,用于指示两个输入图像的可疑区域; 2)检测网络旨在纠正两者之间的不一致性。两个相应的候选掩码,3)判别网络驱动DMAC网络产生难以与地面真实区分的掩模。在DMAC中,采用atrous卷积提取具有丰富空间信息的特征,提出了基于跳过架构的相关层来捕获层次特征,并构造了不稳定的空间金字塔池,以定位多个尺度的篡改区域。检测网络和判别网络作为损失与辅助参数一起以对抗的方式监督DMAC的训练。在21个生成的测试集和两个公共数据集上进行了广泛的实验,证明了所提出的框架的有效性和DMAC的卓越性能。
translated by 谷歌翻译
特征匹配是计算机视觉领域最基础,最活跃的研究领域之一。对特征匹配器的全面评估是必要的,因为它将推动该领域的发展以及诸如Motion-from-Motion或Visual SLAM之类的高级应用。然而,据我们所知,之前的工作没有针对特征匹配器的评估,而他们只专注于评估特征检测器和描述符。这导致该领域的关键缺席,即没有标准数据集和评估指标来公平地评估不同的特征匹配器。为此,我们提出了第一个统一特征匹配基准,以便于评估特征匹配器。在提议的基准测试中,匹配器在不同方面进行评估,涉及匹配能力,通信效率和效率。此外,他们的表演被调查不同的场景和不同的匹配类型。随后,我们对基准测试中不同的最新匹配器进行了广泛的评估,并根据报告的结果进行深入分析。这可以用于在实际应用中设计实际匹配系统,并且还提倡在特征匹配领域中潜在的未来研究方向。
translated by 谷歌翻译