未经授权远程访问来自网络摄像机的流式视频的风险突显了对更强大的隐私保护的需求。为此,我们模拟了一个无镜头编码孔径(CA)相机作为外观编码器,即第一层隐私保护。我们的目标是从编码孔径视频中进行人类动作识别,其编码孔径掩模未知并且不需要重建。我们通过使用基于相位相关和对数极坐标变换的不可逆运动特征来插入第二层隐私保护。相位相关对转换进行编码,而对数极坐标变换对面内旋转和缩放进行编码。 Weshow翻译功能的关键属性是掩码不变的。该属性允许我们通过消除对特定掩模设计的依赖来简化分类器的训练。基于UCF和NTUdatasets子集的结果显示了我们系统的可行性。
translated by 谷歌翻译
本文提出了一种基于DeepLearning(DL)的自适应图像采样算法。自适应采样掩模生成网络与图像修复网络共同训练。在掩码生成网络中控制采样率,并且研究二值化策略以使采样掩码二进制。除了图像采样和重建应用,我们表明所提出的自适应采样算法能够加速光栅扫描过程,如X射线荧光(XRF)图像扫描过程。最近,由于X射线生成和检测技术的进步,XRF基于实验室的系统已经发展了轻量级和便携式仪器。然而,XRF图像的扫描时间通常很长,这是由于需要长时间曝光(例如,每点100美元×1毫秒)。我们提出了一种XRF图像修复方法来解决长扫描时间的问题,从而加快扫描过程,同时仍然保持重建高质量XRF图像的可能性。将所提出的自适应图像采样算法应用于扫描目标的RGB图像,以生成采样掩模。然后根据采样掩模驱动XRF扫描仪以扫描总图像像素的子集。最后,我们通过融合RGB图像来重新扫描扫描的XRF图像以重构整个扫描XRF图像。实验表明,所提出的自适应采样算法能够有效地对图像进行采样,并且比现有方法具有更好的重建精度。
translated by 谷歌翻译
在本文中,我们从RGB视频中解决了3D对象网格重建的问题。我们的方法结合了最佳的多视图几何和数据驱动方法进行三维重建,通过优化对象网格形成多视图光度一致性,同时用ashape先前约束网格变形。我们将其视为每个网面投影的分段图像对齐问题。我们的方法允许我们从光度误差更新形状参数,而无需任何深度或掩模信息。此外,我们展示了如何通过从虚拟角度进行光栅化来避免零光度梯度的简并性。我们使用我们的光度网格优化来展示合成和现实世界视频的3D对象网格重建结果,无论是网状生成网络还是传统的表面重建管道,无需繁重的手工处理,都无法实现。
translated by 谷歌翻译
我们提出了一种机器学习框架,用于合成系统的反应控制器,这些系统与其对抗环境的交互是通过(可能)无限图形的无限期双玩家游戏建模的。我们的框架以无限多个顶点的安全游戏为目标,但它也适用于有限图上的安全游戏,其尺寸对于常规合成技术而言过于严格。学习发生在教师组件和学习算法之间的反馈循环中,教师组件可以象征性地推理安全游戏,学习算法依次从教师提供的各种示例中学习获胜区域的过度概率。我们开发了一种新颖的决策树学习该设置的算法表明,如果获胜区域的合适过度逼近可以表示为确定树,则我们的算法保证收敛到无功安全控制器。最后,我们通过机器人运动规划来评估我们框架的一个例子的性能。
translated by 谷歌翻译
在本文中,我们提出在MRI图像上产生合成的多发性硬化(MS)病变,最终目的是提高监督机器学习算法的性能,从而避免可用的基础事实的问题。我们提出了一种双输入双输出全卷积神经网络模型,用于MRI图像中的MS病变合成。 Thelesion信息被编码为传递给模型并与输入图像堆叠的离散二进制强度级掩模。该模型是端对端训练的,不需要手动注释训练集中的病变。 Wethen通过注册患者图像在健康图像上执行合成病变的生成,随后将其用于数据增强以提高监督的MS病变检测算法的性能。我们的管道评估来自内部临床数据集和公共ISBI2015挑战数据集的MS患者数据。该评估基于测量真实和合成图像之间的相似性以及在病变检测性能方面,通过使用现有的分割框架单独地分割原始图像和合成图像。我们还展示了在健康图像上生成的合成MS病变作为数据增加的用法。我们分析了有限训练数据(单图像训练)的场景,以证明数据增强对两个数据集的影响。我们的结果显着显示了合成MS病变图像的使用效果。对于ISBI2015挑战,我们仅使用单个图像和合成数据增强策略训练的单图像模型显示出与使用整个训练集完全训练的其他CNN方法类似的性能,从而产生可比较的人类专家评估者表现
translated by 谷歌翻译
机器人辅助治疗(RAT)已经成功地用于HRI研究,其中包括社交机器人在医疗保健干预中,因为它们能够吸引人类用户的社交和情感维度。该主题的研究项目遍布全球,遍及美国,欧洲和亚洲。所有这些项目都有一个雄心勃勃的目标,即增加无辜人口的福祉。 RAT的典型工作是使用遥控机器人进行的;一种名为Wizard of of Oz(WoZ)的技术。机器人通常由操作人员控制,患者不知道。然而,从长远来看,WoZ已被证明不是一种可持续发展的技术。为机器人提供自主权(同时保持在治疗师的监督下)有可能减轻治疗师的负担,不仅在治疗方面本身,而且在长期诊断任务中。因此,需要探索在治疗中使用的社交机器人的几个自治程度。增加机器人的自主权也可能带来一系列新的挑战。特别是,需要回答新的道德问题,即使用弱势群体的机器人,以及需要确保符合道德规范的机器人行为。因此,在本次研讨会中,我们希望收集研究结果并探索哪种程度的自主权可能有助于改善医疗保健干预措施,以及我们如何克服其固有的道德挑战。
translated by 谷歌翻译
半监督学习(SSL)已被证明是同时容忍标记和未标记数据的有效方式。最近的受监督方法主要关注深度神经网络,并在几个基准测试中取得了成果:CIFAR10,CIFAR100和SVHN。然而,他们的大多数实验都是基于从头开始训练的模型而不是经过预先训练的模型。另一方面,当目标域具有有限的标记数据时,转移学习已经证明了其价值。直观的问题是:在微调预先训练的模型时是否可以合并SSL?我们全面研究从预训练模型开始的SSL方法如何在不同条件下执行,包括训练策略,架构选择和数据集。从这项研究中,我们获得了一些有趣且有用的观察结果。虽然从业者对这些观察有了直观的理解,但我们进行了全面的经验分析,并证明:(1)从受过预训练的模型训练后,SSL技术在完全监督基线上的收益小于从randominitialized训练时的收益( 2)当用于训练预训练模型的源数据的域与目标任务的域显着不同时,来自SSL的收益显着更高;(3)一些SSL方法能够提供完全监督的基线(如伪 - 标签)。我们希望我们的研究能够加深对SSL研究的理解,并促进开发更有效的SSL方法以利用预先训练的模型的过程。代码现在可以在github上找到。
translated by 谷歌翻译
为了有效地执行深度卷积神经网络(CNN)onedge设备,已经提出了各种方法,其将网络参数的比特宽度减小到1比特。总是排除第一层的二值化,因为它导致显着的误差增加。在这里,我们提出了二进制输入层(BIL)的新概念,它允许通过学习特定于比特的二进制权重来使用二进制输入数据。该概念在三个数据集(PAMAP2,SVHN,CIFAR-10)上进行评估。我们的结果表明,这种方法特别有利于多模态数据集(PAMAP2),它在第一层中使用全精度权重优于网络,比例为1:92个百分点(pp),同时仅消耗芯片面积的2%。
translated by 谷歌翻译
深度卷积神经网络(CNNs)是计算机视觉中最具影响力的最新发展之一,特别是对于分类。随着这些系统在现实世界中的部署,对可解释的AI的需求越来越大。但是,理解在CNN中表示和处理的信息在大多数情况下仍然具有挑战性。在本文中,我们探索了在神经科学领域开发的新信息理论技术的使用,以便能够对aCNN如何表示信息进行新的理解。我们训练了一个10层的ResNet架构来识别使用严格控制的3D人脸渲染模型生成的26M图像中的2,000个面部身份,这些模型产生了内在(表面形态,性别,年龄,表达和种族)和外在因素(即3D姿势,照明)的变化,规模和二维翻译)。通过我们的方法论,我们证明了与人类网络不同,即使面部形状发生极端变化,也会过度概括面部身份,但它对纹理的变化更为敏感。为了理解这些具有直觉特性的信息处理,我们可视化网络处理以识别面部的形状和纹理的特征。然后,我们对黑匣子的内部工作进行了阐述,并揭示了隐藏层如何表示这些特征以及表示是否对于姿势不变。我们希望我们的方法将为CNN的可解释性提供额外的有价值的工具。
translated by 谷歌翻译
胶质瘤是最常见的原发性脑恶性肿瘤,具有不同程度的侵袭性,可变预后和各种异质性组织亚区域,即肿瘤周围水肿/侵入组织,坏死核心,活性和非增强核心。这种内在的异质性也被用于它们的放射性表型,因为它们的子区域通过在多参数磁共振成像(mpMRI)扫描中传播的不同强度分布来描绘,反映了不同的生物学特性。它们的异质形状,范围和位置是其中的一部分。使这些肿瘤难以切除的因素,在某些情况下无法手术。切除肿瘤的数量也是纵向扫描中考虑的一个因素,用于评估表观肿瘤以进行潜在的进展诊断。此外,有越来越多的证据表明,各种肿瘤亚区域的准确分割可以为定量图像分析提供预测患者整体的基础。生存。该研究评估了在国际脑肿瘤分割(BraTS)挑战的最后七个实例(即2012-2018)期间用于mpMRI扫描中的脑肿瘤图像分析的最先进的机器学习(ML)方法。具体而言,我们专注于i)评估术前mpMRI扫描中各种神经胶质瘤亚区的分割,ii)通过肿瘤亚区的纵向生长评估潜在的肿瘤进展,超出RECIST标准的使用,以及iii)预测整体术前mpMRI扫描对经历完全切除的患者的生存率。最后,我们研究了为每个任务确定最佳ML算法的挑战,考虑到除了在每个挑战实例上多样化之外,多机构mpMRI BraTS数据集也是一个不断发展/不断发展的数据集。
translated by 谷歌翻译