目的:将深度卷积神经网络(CNN)应用于心肌动脉旋转标记(ASL)灌注成像中的左心室分割任务。开发基于特定假阳性与假阴性权衡的测量不确定性和适应性分类的方法。方法:我们使用改进的UNET架构和Monte Carlo(MC)压降。该模型对来自22名受试者的数据进行训练,并对来自6名心脏移植受者的数据进行测试。手动分割和定量心血流量(MBF)图可用于比较。我们考虑两个分割不确定性的全局核心,“骰子不确定性”和“MC不确定性”,它们分别使用和不使用手动分割计算。使用超参数$ \ beta $的Tversky损失函数来使模型适应特定的假阳性与假阴性权衡。结果:改进的UNET模型在测试集上实现了均值(std)= 0.91(0.04)$的Dice系数。使用自动分割测量的MBF与使用手动分割测量的自动分割相关($ R ^ 2 = 0.96 $)。骰子不确定性和MC不确定性非常一致($ R ^ 2 = 0.64 $)。随着$ \ beta $的增加,误报率系统性下降,假负率率系统性上升。结论:我们证明了使用CNN在心肌ASL数据中自动分离左心室的可行性。由于低血压和不一致的血液 - 心肌对比噪声比,这是特别具有挑战性的应用。我们还展示了衡量不确定性并适应假阳性率和假阴性率之间所需权衡的新方法。
translated by 谷歌翻译
包括成像(MRI,fMRI,PET等)和非成像(临床测试,人口统计学等)数据的多模态数据可以一起收集并用于疾病预测。这些不同的数据提供了有关患者病情的补充信息,以便做出明智的诊断。为了更好的疾病预测,需要能够平衡每个多模态数据的个性的模型。我们提出了一种基于图卷积的深度模型,该模型考虑了多模态数据的每个元素的独特性。我们构建了一个新颖的自我关注层,通过探索其与潜在疾病的关系来衡量人口统计数据的每个元素。与最先进的方法相比,我们在计算速度和性能方面表现出我们开发技术的优越性。我们的方法优于其他方法,具有显着的优势。
translated by 谷歌翻译
*These authors contributed equally to this work. The brightfield microscope is instrumental in the visual examination of both biological and physical samples at sub-millimeter scales. One key clinical application has been in cancer histopathology, where the microscopic assessment of the tissue samples is used for the diagnosis and staging of cancer and thus guides clinical therapy​ ​ 1​. However, the interpretation of these samples is inherently subjective, resulting in significant diagnostic variability​ ​ 2,3​. Moreover, in many regions of the world, access to pathologists is severely limited due to lack of trained personnel​ ​ 4​. In this regard, Artificial Intelligence (AI) based tools promise to improve the access and quality of healthcare​ ​ 5-7​. However, despite significant advances in AI research, integration of these tools into real-world cancer diagnosis workflows remains challenging because of the costs of image digitization and difficulties in deploying AI solutions​ ​ 8​ ,​ 9​. Here we propose a cost-effective solution to the integration of AI: the Augmented Reality Microscope (ARM). The ARM overlays AI-based information onto the current view of the sample through the optical pathway in real-time, enabling seamless integration of AI into the regular microscopy workflow. We demonstrate the utility of ARM in the detection of lymph node metastases in breast cancer and the identification of prostate cancer with a latency that supports real-time workflows. We anticipate that ARM will remove barriers towards the use of AI in microscopic analysis and thus improve the accuracy and efficiency of cancer diagnosis. This approach is applicable to other microscopy tasks and AI algorithms in the life sciences​ ​ 10​ and beyond​ ​ 11,12​. Microscopic examination of samples is the gold standard for the diagnosis of cancer, autoimmune diseases, infectious diseases, and more. In cancer, the microscopic examination of stained tissue sections is critical for diagnosing and staging the patient's tumor, which informs treatment decisions and prognosis. In cancer, microscopy analysis faces three major challenges. As a form of image interpretation, these examinations are inherently subjective, exhibiting considerable inter-observer and intra-observer variability​ 2,3​. Moreover, clinical guidelines​ 1​ and studies​ 13​ have begun to require quantitative assessments as part of the effort towards better patient risk stratification​ 1​. For example, breast cancer staging requires counting mitotic cells and quantification of the tumor burden in lymph nodes by measuring the largest tumor focus. However, despite being helpful in treatment planning, quantification is laborious and error-prone. Lastly, access to disease experts can be limited in both developed and developing countries​ 4​ , exacerbating the problem. As a potential solution, recent advances in AI, specifically deep learning​ 14​ , have demonstrated automated medical image analysis with performance c
translated by 谷歌翻译
多智能体学习为学习和模拟交通行为提供了潜在的框架。本文提出了一种新的架构来学习交通场景中的多种驾驶行为。所提出的架构可以独立地同时学习多个行为。我们利用代理的同质性,并在参数共享范例中学习。为了进一步加快培训过程,将异步更新部署到体系结构中。在同时学习不同行为的同时,给定的框架也能够学习代理之间的合作,而无需任何明确的沟通。我们应用这个框架在驾驶中容忍了两个重要的行为:1)车道保持和2)过度采取。结果表明更快的收敛和学习更通用的行为,可以扩展到任何数量的代理。当比较结果的方法时,我们的结果表明在一些案例中表现相同甚至更好。
translated by 谷歌翻译
尽管在诸如图像分类之类的感知任务方面取得了进步,但计算机在诸如图像描述和问答交换之类的认知任务上仍然表现不佳。认知是任务的核心,不仅涉及识别,而且涉及我们的视觉世界。然而,用于处理认知任务图像中的丰富内容的模型仍在使用为感知任务设计的相同数据集进行训练。为了在认知任务中取得成功,模型需要理解图像中对象之间的交互和关系。当被问及“乘坐什么车辆?”时,计算机将需要识别图像中的物体以及骑车(人,马车)和拉动(马,马车)之间的关系,以便正确回答“人员正在骑车”马车”。在本文中,我们提出了Visual Genome数据集,以便对这种关系进行建模。我们收集每个图像中对象,属性和关系的密集注释,以学习这些模型。具体来说,我们的数据集包含超过100K的图像,其中每个图像平均有21个对象,18个属性和18个对象之间的成对关系。我们将区域描述中的对象,属性,关系和名词短语与WordNet同义词的答案对进行了解。这些注释一起代表了图像描述,对象,属性,关系和问题答案的最密集和最大的数据集。
translated by 谷歌翻译
深度学习研究的长期目标是精确地描述培训和概括。然而,神经网络经常复杂的损失景观使学习动力学理论变得难以捉摸。在这项工作中,我们表明,对于广泛的神经网络,学习动力学显着简化,并且在无限宽度限制中,它们由一个线性模型控制。网络初始参数的一阶泰勒展开式。此外,镜像宽贝叶斯神经网络和高斯过程之间的对应关系,具有平方损失的宽神经网络的基于梯度的训练产生了从具有特定组成核的高斯过程绘制的测试集预测。虽然这些理论结果仅在无限宽度限制中是精确的,但我们仍然发现原始网络的预测与线性化版本的预测之间存在极好的经验一致性,即使对于有限的实际大小的网络也是如此。该协议在不同的体系结构,优化方法和损失函数方面都很强大。
translated by 谷歌翻译
高光谱图像(HSI)分类广泛用于分析遥感图像。高光谱图像包括不同的图像带。卷积神经网络(CNN)是最常用的基于深度学习的视觉数据处理方法之一。在最近的工作中也可以看到CNN用于HSI分类。这些方法主要基于2D CNN。然而,HSI分类性能高度依赖于空间和光谱信息。由于计算复杂性增加,很少有方法利用3D CNN。该信提出了用于HSI分类的混合光谱卷积神经网络(HybridSN)。基本上,HybridSN是频谱空间3D-CNN,其后是空间2D-CNN。 3D-CNN促进来自一叠光谱带的联合空间光谱特征表示。 3D-CNN顶部的2D-CNN进一步学习更抽象的空间表示。此外,与单独的3D-CNN相比,使用混合CNN降低了模型的复杂性。通过这种混合方法的表现,在Indian Pines,Pavia University和Salinas Sceneremote传感数据集上进行了非常严格的HSI分类实验。将结果与最先进的手工制作以及端到端深度学习方法进行比较。使用所提出的用于HSI分类的HybridSN获得了令人满意的性能。源代码可以在\ url {https://github.com/gokriznastic/HybridSN}找到。
translated by 谷歌翻译
据我们所知,我们报告了生成对抗网络(GAN)的第一次端到端应用,用于合成视网膜的光学相干断层扫描(OCT)图像。在给定数据类型的采样时,生成模型已经获得了他们可以合成的越来越逼真的图像的最近的注意力。在本文中,我们将GAN应用于视网膜OCT的采样分布。我们观察到现实OCT图像的合成,描绘了可识别的病理学,例如黄斑裂孔,脉络膜血管膜,近视变性,黄斑囊样水肿和中心性视网膜病变等。这是其第一次这样的报道。这项新技术的潜在应用包括手术模拟,治疗计划,疾病预测,以及加速开发新药和治疗视网膜疾病的外科手术。
translated by 谷歌翻译
由于复杂的空间和时间模式,准确的出租车需求 - 供应预测是ITS(智能交通系统)的一个具有挑战性的应用。在出租车需求 - 供应预测的背景下,我们研究了不同空间划分技术对LSTM(长短期记忆)网络的预测性能的影响。我们考虑两种方案:(i)可变大小的Voronoi曲面细分,以及(ii)固定大小的Geohash曲面细分。虽然广泛使用的ConvLSTM(卷积LSTM)可以对固定大小的Geohash分区进行建模,但标准卷积滤波器不能应用于可变大小的Voronoipartition。为了探索Voronoi曲面细分方案,我们建议使用GraphLSTM(基于图形的LSTM),通过在任意结构图上表示Voronoi空间分区asnodes。 GraphLSTM针对ConvLSTM提供了竞争优势,在较低的计算复杂度下,跨越三个实际的大型出租车需求供应数据集,具有不同的性能指标。为了确保在不同设置中的卓越性能,在ConvLSTM和GraphLSTMnetworks上应用了HEDGE基本集合学习算法。
translated by 谷歌翻译
信道分配是向用户分配信道的任务,使得某些目标(例如,和速率)最大化。在诸如细胞网络的集中式网络中,该任务由基站承载,该基站从用户收集信道状态信息(CSI)并计算最优解。在诸如ad-hoc和设备到设备(D2D)网络的分布式网络中,不存在基站并且在用户之间传送全局CSI是相当或不切实际的。当CSI是时变的并且对于用户来说是未知的时,用户面临着学习信道统计在线并且收敛到良好信道分配的挑战。这引入了具有多个决策者的多臂带(MAB)场景。如果两个用户或更多用户选择相同的信道,则发生冲突并且他们都收到零奖励。我们提出了一个分布式信道分配算法,每个用户运行并收敛到最优分配,同时实现O \ left(\ log T \ right)的顺序最优遗憾)。该算法基于分布式拍卖算法的载波感测多路访问(CSMA)实现。它不需要用户之间的任何信息交换。用户仅需要一次观察单个信道并且感测该信道上是否存在传输,而不解码传输或识别传输用户。我们使用模拟LTE和5G信道来演示我们的算法的性能。
translated by 谷歌翻译