解决逆问题仍然是计算机视觉中的核心挑战。现有技术要么使用有关损坏的先验知识明确地构建逆映射,要么使用大量示例直接学习逆。然而,在实践中,腐败的性质可能是未知的,因此规范推理合理解决方案的问题具有挑战性。另一方面,收集任务特定的训练数据对于已知的损坏是繁琐的,对于未知的腐败是不可能的。我们提出了MimicGAN,一种无监督的技术,以生成对抗网络(GAN)的形式解决基于图像先验的一般反转问题。使用GAN之前,我们证明人们可以通过代理网络可靠地恢复解决方案确定的反问题,该代理网络在测试时学会了腐败。我们的系统在不需要监督培训的情况下连续估计出腐败和清洁图像,同时在盲图恢复方面表现优于现有基线。我们还证明了MimicGAN改进了最近基于GAN的对抗adversarialattacks的防御,并且代表了当今最强大的测试时间防御之一。
translated by 谷歌翻译
计算机断层扫描(CT)重建是从安全性到医疗保健等各种应用的基本组成部分。经典技术需要从对象的完整180 $ ^ \ circ $视图中测量投影,称为正弦图。当视角小于180°时,这在有限的角度范围内是不切实际的,这可能由于不同因素而发生,包括扫描时间的限制,扫描仪旋转的有限灵活性等。因此得到的正弦图导致现有技术产生高度神器重建的重建。在本文中,我们建议通过隐式正弦图完成来解决这个问题,这个问题包含一个包含普通签入式扫描扫描的具有挑战性的现实世界数据集。我们提出了一个由一维和二维卷积神经网络组成的系统,该系统在有限角度的正弦图上运行,直接产生重建的最佳估计。接下来,我们在这个重构上使用x射线变换来获得一个“完整的”正弦图,好像它来自一个完整的180 $ ^ \ circ $测量。我们将其提供给标准分析和迭代重构技术以获得最终重建。我们展示了经过深思熟虑的实验,这种组合策略优于许多竞争基线。我们还提出了对建筑的信任度,使从业者能够衡量我们网络的预测可靠性。我们表明,这一指标是PSNR衡量的一个强有力的质量指标,同时在测试时不需要基本事实。最后,通过分割实验,我们证明了我们的重建有效地保留了对象的三维结构。
translated by 谷歌翻译
Interpretability has emerged as a crucial aspect of machine learning, aimed at providing insights into the working of complex neural networks. However , existing solutions vary vastly based on the nature of the interpretability task, with each use case requiring substantial time and effort. This paper introduces MARGIN, a simple yet general approach to address a large set of interpretability tasks ranging from identifying prototypes to explaining image predictions. MARGIN exploits ideas rooted in graph signal analysis to determine influential nodes in a graph, which are defined as those nodes that maximally describe a function defined on the graph. By carefully defining task-specific graphs and functions, we demonstrate that MARGIN outperforms existing approaches in a number of disparate interpretability challenges.
translated by 谷歌翻译
我们发现自己被迅速增加的自治和半自治系统所包围。这一发展产生了两大挑战:机器伦理和机器可解释性。机器伦理一方面关注系统的行为约束,因此道德上可接受的,受限制的行为会产生;另一方面,机器可解释性使系统能够解释他们的行为并争论他们的决定,以便人类用户可以理解并合理地信任他们。在本文中,我们试图激发并努力建立一个结合机器伦理和机器可解释性的框架。从一个玩具示例开始,我们检测这种框架的各种需求,并论证为什么它们应该以及它们如何被纳入自治系统。我们的主要思想是应用正式论证理论的框架,用于决策制定不道德的约束,以及用于产生有用的解释的任务,只有有限的世界知识。我们的讨论结果可以被描述为道德动机,原则治理框架的第一版,结合了机器伦理和机器解释性
translated by 谷歌翻译
定量计算机断层扫描(QCT)是一种广泛用于骨质疏松症诊断和监测的工具。评估皮质标记物如皮质骨矿物质密度(BMD)和厚度是一项艰巨的任务,主要是因为QCT的空间分辨率有限。我们提出了一种基于直接模型的方法,通过人体皮层的中心自动识别表面。我们开发了统计骨骼模型,并在成像过程后分析其概率分布。使用尽可能刚性的变形,我们找到皮质表面,在给定输入量的情况下最大化我们模型的可能性。使用欧洲脊柱模型(ESP)和尸体椎骨的高分辨率/μCT扫描,我们表明所提出的方法能够准确地识别离体皮层的真实中心。 Todemonstrate我们的方法的体内适用性我们使用手动获得的表面进行比较。
translated by 谷歌翻译
使用有限硬件在具有实时功能的应用程序中执行语义分段的能力非常重要。一种这样的应用是视觉鸟瞰图的解释,其需要四个全方位相机图像的这些语义分割。在本文中,我们提出了一种有效的语义分段,它根据运行时和硬件要求设定了新的标准。我们的两个主要贡献是通过并行化ArgMax层来减少运行时间,并通过将通道修剪方法应用于ENet模型来减少硬件需求。
translated by 谷歌翻译
*These authors contributed equally to this work. The brightfield microscope is instrumental in the visual examination of both biological and physical samples at sub-millimeter scales. One key clinical application has been in cancer histopathology, where the microscopic assessment of the tissue samples is used for the diagnosis and staging of cancer and thus guides clinical therapy​ ​ 1​. However, the interpretation of these samples is inherently subjective, resulting in significant diagnostic variability​ ​ 2,3​. Moreover, in many regions of the world, access to pathologists is severely limited due to lack of trained personnel​ ​ 4​. In this regard, Artificial Intelligence (AI) based tools promise to improve the access and quality of healthcare​ ​ 5-7​. However, despite significant advances in AI research, integration of these tools into real-world cancer diagnosis workflows remains challenging because of the costs of image digitization and difficulties in deploying AI solutions​ ​ 8​ ,​ 9​. Here we propose a cost-effective solution to the integration of AI: the Augmented Reality Microscope (ARM). The ARM overlays AI-based information onto the current view of the sample through the optical pathway in real-time, enabling seamless integration of AI into the regular microscopy workflow. We demonstrate the utility of ARM in the detection of lymph node metastases in breast cancer and the identification of prostate cancer with a latency that supports real-time workflows. We anticipate that ARM will remove barriers towards the use of AI in microscopic analysis and thus improve the accuracy and efficiency of cancer diagnosis. This approach is applicable to other microscopy tasks and AI algorithms in the life sciences​ ​ 10​ and beyond​ ​ 11,12​. Microscopic examination of samples is the gold standard for the diagnosis of cancer, autoimmune diseases, infectious diseases, and more. In cancer, the microscopic examination of stained tissue sections is critical for diagnosing and staging the patient's tumor, which informs treatment decisions and prognosis. In cancer, microscopy analysis faces three major challenges. As a form of image interpretation, these examinations are inherently subjective, exhibiting considerable inter-observer and intra-observer variability​ 2,3​. Moreover, clinical guidelines​ 1​ and studies​ 13​ have begun to require quantitative assessments as part of the effort towards better patient risk stratification​ 1​. For example, breast cancer staging requires counting mitotic cells and quantification of the tumor burden in lymph nodes by measuring the largest tumor focus. However, despite being helpful in treatment planning, quantification is laborious and error-prone. Lastly, access to disease experts can be limited in both developed and developing countries​ 4​ , exacerbating the problem. As a potential solution, recent advances in AI, specifically deep learning​ 14​ , have demonstrated automated medical image analysis with performance c
translated by 谷歌翻译
我们建议一种直接深度学习光传输的方法,即:例如,从3D几何照明材料配置到阴影2Dimage的映射。虽然许多以前的学习方法已经采用了应用于图像的2D卷积神经网络,但我们首次展示了光传输可以直接在3D中学习。 3D相对于2D的好处是,形成器还可以正确地捕获与遮挡和/或半透明几何相关的照明效果。为了学习3D光传输,我们将3D场景表示为非结构化3D点云,稍后在渲染期间将其投影到2D输出图像。因此,我们建议包含3D网络的两阶段运算符,其首先将点云转换为潜在表示,稍后在第二步中使用专用3D-2D网络投影到2D输出图像。我们将证明我们的方法在时间相干性方面提高了质量,同时保留了常见2D方法的大部分计算效率。因此,所提出的两阶段运算符是现代延迟着色方法的有价值的扩展。
translated by 谷歌翻译
单词嵌入是高性能自然语言处理(NLP)系统的关键组成部分,但是对于即时学习新单词的良好表示仍然是一个挑战,即对于在训练数据中没有出现的单词。一般的问题设置是在未标记的训练语料库中引入单词嵌入,然后训练模型将新的单词嵌入到这个诱导的嵌入空间中。目前,存在两种用于学习新词嵌入的方法:(i)学习来自新词的表面形式(例如,子词n-gram)的嵌入和(ii)从其出现的上下文中学习嵌入。在本文中,我们提出了利用信息来源(表面形式和上下文)的结构,并表明它可以大大提高嵌入质量。 Ourarchitecture在Definitional Nonce和ContextualRare Words数据集上获得最先进的结果。作为输入,我们只需要一个嵌入集和一个未标记的语料库来训练我们的体系结构,以产生适合于诱导嵌入空间的嵌入。因此,我们的模型可以轻松集成到任何现有的NLP系统中,并增强其处理handlenovel单词的能力。
translated by 谷歌翻译
神经形态设备代表了模仿大脑架构和动态方面的尝试,目的是在计算能力,稳健学习和能源效率方面复制其标志性功能。我们采用了BrainScaleS 2神经形态系统的单片原型,在一个尖峰网络中实现了奖励调制的时间依赖可塑性的概念验证演示,该网络学会了通过平滑追求来播放Pong视频游戏。该系统将用于模拟神经元和突触动力学的电子混合信号基板与用于片上学习的嵌入式数字处理器相结合,在此工作中还可以模拟虚拟环境和学习代理。神经元膜动力学的模拟仿真实现了相对于生物实时的1000倍加速,整个芯片的功率预算为57mW。与使用最先进软件的等效仿真相比,片上仿真至少快一个数量级,三个数量级的能量效率更高。我们演示了片上学习如何能够解释固定模式噪声的影响,这在模拟底物中是不可避免的,同时利用时间变异性进行动作探索。学习通过调整突触权重来补偿物理基质的缺陷,如神经元参数变异性所表现的那样。以匹配各个神经元的兴奋性。
translated by 谷歌翻译