我们使用用于视频识别的深度模型来解决学习运动表示的挑战性问题。为此,我们利用注意力模块来学习突出视频中的区域和聚合功能以进行识别。具体而言,我们建议利用输出关注度图作为车辆,将学习的表示从运动(流)网络传输到RGB网络。我们系统地研究了注意模块的设计,并开发了一种新的注意蒸馏方法。我们的方法在主要行动基准上进行了评估,并且一直在显着提高基线RGB网络的性能。此外,我们证明了ourattention地图可以利用学习中的运动线索来识别视频帧中的动作位置。我们相信我们的方法为深度模型中的学习运动感知表示提供了一个步骤。
translated by 谷歌翻译
三维(3-D)场景重建是增强现实(AR)中的关键技术之一,它与图像处理和复杂信息显示系统的集成有关。立体匹配是基于计算机视觉的三维场景重建方法。在本文中,我们探索了改进的立体匹配网络SLED-Net,其中提出了单个LongEncoder-Decoder来取代PSM-Net中的堆叠沙漏网络,以实现更好的上下文信息学习。我们比较了最近发布的SLED-Net最新方法,并展示了其在Scene Flow和KITTI2015测试集上的卓越性能。
translated by 谷歌翻译
空间分辨率是磁共振成像(MRI)中的关键成像参数。获取高分辨率MRI数据通常需要很长的扫描时间,并且由于硬件,物理和生理限制而会受到运动伪影的影响。单图像超分辨率(SISR),尤其是基于深度学习技术的单图像超分辨率(SISR),是一种有效且有前途的替代技术,用于改善磁共振(MR)图像的当前空间分辨率。然而,更深层的网络更难以进行有效的培训,因为随着网络的深入,信息逐渐被削弱。由于训练样本的退化,这个问题对于医学图像变得更加严重。在本文中,我们提出了一种新的通道分裂和串行融合网络(CSSFN)用于单个MR图像的超分辨率。具体地,所提出的CSSFN网络将分层特征分成一系列子特征,然后以串行方式将它们集成在一起。因此,网络变得更深并且可以区别地处理不同信道上的子特征。此外,采用密集全局特征融合(DGFF)来集成中间特征,进一步促进网络中的信息流。对几个典型的MR图像进行了大量实验,结果表明我们的CSSFN模型优于其他先进的SISR方法。
translated by 谷歌翻译
青光眼是世界范围内可预防,不可逆转的失明的主要原因。这种疾病可以保持无症状直至严重,估计有50%-90%的青光眼患者仍未确诊。因此,建议对青光眼筛查进行早期检测和治疗。检测青光眼的一种经济有效的工具可以扩大医疗保健对更大患者群体的访问,但目前还没有这种工具。我们使用5833幅图像的回顾性数据集训练深度学习(DL)算法,评估可升级性,青光眼视神经乳头(ONH)特征和可逆性青光眼风险。使用2个单独的数据集验证所得算法。对于可参考的青光眼风险,该算法在验证数据集“A”中具有0.940(95%CI,0.922-0.955)的AUC(1,205个图像,1个图像/患者; 19%可参考其中图像由研究员培训的青光眼专家小组裁定,并在验证数据集“B”中分析0.858(95%CI,0.836-0.878)(来自9,643名患者的17,593张图像; 9.2%的图像来自亚特兰大退伍军人事务部眼科诊所糖尿病视网膜电视检查程序使用临床转诊决定作为参考标准)。此外,我们发现垂直杯与椎间盘比> = 0.7,神经视网膜边缘,视网膜神经纤维层缺损和裸露的环形血管的存在对青光眼专家和算法的青光眼风险评估贡献最大。对于青光眼ONH特征,算法AUC介于0.608-0.977之间。 DL算法对10名年级学生中的6名(包括3名青光眼专家中的2名)具有明显更高的敏感性,相对于所有评分者具有相当或更高的特异性。仅在眼底图像上训练的DL算法可以以更高的灵敏度和对眼睛护理提供者的可比特异性来检测可参考的青光眼风险。
translated by 谷歌翻译
*These authors contributed equally to this work. The brightfield microscope is instrumental in the visual examination of both biological and physical samples at sub-millimeter scales. One key clinical application has been in cancer histopathology, where the microscopic assessment of the tissue samples is used for the diagnosis and staging of cancer and thus guides clinical therapy​ ​ 1​. However, the interpretation of these samples is inherently subjective, resulting in significant diagnostic variability​ ​ 2,3​. Moreover, in many regions of the world, access to pathologists is severely limited due to lack of trained personnel​ ​ 4​. In this regard, Artificial Intelligence (AI) based tools promise to improve the access and quality of healthcare​ ​ 5-7​. However, despite significant advances in AI research, integration of these tools into real-world cancer diagnosis workflows remains challenging because of the costs of image digitization and difficulties in deploying AI solutions​ ​ 8​ ,​ 9​. Here we propose a cost-effective solution to the integration of AI: the Augmented Reality Microscope (ARM). The ARM overlays AI-based information onto the current view of the sample through the optical pathway in real-time, enabling seamless integration of AI into the regular microscopy workflow. We demonstrate the utility of ARM in the detection of lymph node metastases in breast cancer and the identification of prostate cancer with a latency that supports real-time workflows. We anticipate that ARM will remove barriers towards the use of AI in microscopic analysis and thus improve the accuracy and efficiency of cancer diagnosis. This approach is applicable to other microscopy tasks and AI algorithms in the life sciences​ ​ 10​ and beyond​ ​ 11,12​. Microscopic examination of samples is the gold standard for the diagnosis of cancer, autoimmune diseases, infectious diseases, and more. In cancer, the microscopic examination of stained tissue sections is critical for diagnosing and staging the patient's tumor, which informs treatment decisions and prognosis. In cancer, microscopy analysis faces three major challenges. As a form of image interpretation, these examinations are inherently subjective, exhibiting considerable inter-observer and intra-observer variability​ 2,3​. Moreover, clinical guidelines​ 1​ and studies​ 13​ have begun to require quantitative assessments as part of the effort towards better patient risk stratification​ 1​. For example, breast cancer staging requires counting mitotic cells and quantification of the tumor burden in lymph nodes by measuring the largest tumor focus. However, despite being helpful in treatment planning, quantification is laborious and error-prone. Lastly, access to disease experts can be limited in both developed and developing countries​ 4​ , exacerbating the problem. As a potential solution, recent advances in AI, specifically deep learning​ 14​ , have demonstrated automated medical image analysis with performance c
translated by 谷歌翻译
对于前列腺癌患者,Gleason评分是最重要的预后因素之一,可能决定独立于分期的治疗。然而,Gleason评分基于肿瘤形态的主观显微镜检查并且具有较差的再现性。在这里,我们提出了一个深度学习系统(DLS),用于Gleason评分前列腺切除术的全幻灯片图像。我们的系统是使用来自1,226张幻灯片的1.12亿个病理学家注释的图像片段开发的,并在331个幻灯片的独立验证数据集上进行评估,其中参考标准由泌尿生殖专家病理学家建立。在验证数据集中,29名一般病理学家的平均准确度为0.61。 DLS的诊断准确率显着提高0.70(p = 0.002),并且与临床随访数据的相关性趋向于更好的患者风险分层。我们的方法可以提高格里森评分的准确性和随后的治疗决策,特别是在专业知识不可用的情况下。 DLS还超越了当前的格里森系统,以更精细地表征和定量肿瘤形态,为格里森系统本身的细化提供了机会。
translated by 谷歌翻译
研究了深度神经网络(DNNs)的许多模型压缩技术,包括权重修剪,权重聚类和量化等。权重修剪利用DNN中权重数量的冗余,而权重聚类/量化利用权重的比特数表示的冗余。它们可以有效地组合,以便开发最大程度的冗余。然而,在这方面的文献中缺乏系统的调查。在本文中,我们填补了这个空白,并利用交替方向乘法器方法(ADMM)开发了DNN权重修剪和聚类/量化的统一,系统的框架,这是一种在非优化问题中用于优化理论的强大技术。 DNN重量修剪和聚类/量化以及它们的组合都可以以统一的方式解决。为了在这个框架中进一步提高性能,我们采用了多种技术,包括迭代加权量化和重新训练,联合权重聚类训练和质心更新,权重聚类训练等。所提出的框架在个体权重修剪和聚类/量化问题上都得到了显着改善,以及它们组合。仅对于重量修剪,我们在LeNet-5中减少了167倍的重量,在AlexNet中减少了24.7倍,在VGGNet中减少了23.4倍,没有任何精度损失。对于DNN重量修剪和聚类/量化的组合,我们减少1,910倍和210倍的存储量减少LeNet-5和AlexNet上的重量数据分别没有精度损失。我们的代码和模型在链接http://bit.ly/2D3F0np上发布
translated by 谷歌翻译
约束图像拼接检测和定位(CISDL)是用于图像取证的新提出的挑战性任务,其调查两个输入的所选图像并识别一个图像是否具有从另一个图像粘贴的可疑区域。在本文中,我们提出了一种新的对抗性学习框架来训练CISDL的深度匹配网络。我们的框架主要包括三个构建模块:1)基于atrousconvolution(DMAC)的深度匹配网络旨在生成两个高质量的候选掩码,用于指示两个输入图像的可疑区域; 2)检测网络旨在纠正两者之间的不一致性。两个相应的候选掩码,3)判别网络驱动DMAC网络产生难以与地面真实区分的掩模。在DMAC中,采用atrous卷积提取具有丰富空间信息的特征,提出了基于跳过架构的相关层来捕获层次特征,并构造了不稳定的空间金字塔池,以定位多个尺度的篡改区域。检测网络和判别网络作为损失与辅助参数一起以对抗的方式监督DMAC的训练。在21个生成的测试集和两个公共数据集上进行了广泛的实验,证明了所提出的框架的有效性和DMAC的卓越性能。
translated by 谷歌翻译
特征匹配是计算机视觉领域最基础,最活跃的研究领域之一。对特征匹配器的全面评估是必要的,因为它将推动该领域的发展以及诸如Motion-from-Motion或Visual SLAM之类的高级应用。然而,据我们所知,之前的工作没有针对特征匹配器的评估,而他们只专注于评估特征检测器和描述符。这导致该领域的关键缺席,即没有标准数据集和评估指标来公平地评估不同的特征匹配器。为此,我们提出了第一个统一特征匹配基准,以便于评估特征匹配器。在提议的基准测试中,匹配器在不同方面进行评估,涉及匹配能力,通信效率和效率。此外,他们的表演被调查不同的场景和不同的匹配类型。随后,我们对基准测试中不同的最新匹配器进行了广泛的评估,并根据报告的结果进行深入分析。这可以用于在实际应用中设计实际匹配系统,并且还提倡在特征匹配领域中潜在的未来研究方向。
translated by 谷歌翻译
在本文中,我们提出了PointSeg,一种基于球形图像的道路对象的实时端到端语义分割方法。我们将从3D LiDAR点云转换而来的球形图像作为卷积神经网络(CNN)的输入来预测逐点语义图。为了使PointSeg适用于移动系统,我们基于轻量级网络SqueezeNet构建模型,并进行了多项改进。它在内存成本和预测性能之间保持良好的平衡。我们的模型是根据KITTI3D物体检测数据集投射的球形图像和标签掩模进行训练的。实验表明,PointSeg可以在单个GPU 1080ti上以90fps实现竞争精度。这使其与自动驾驶应用非常兼容。
translated by 谷歌翻译