为了研究是否可以使用深度学习技术评估在彩色眼底照片上描绘的中心性浆液性脉络膜视网膜病变(CSC)的程度和程度。我们收集了在不同主题上获得的总共2,504个眼底图像。我们使用相应的光学相干断层扫描(OCT)图像验证了这些图像的CSC状态。共有1,329张图片描绘了CSC。对这些图像进行预处理和标准化。将得到的数据集随机分成三部分,比例分别为8:1:1,用于训练,验证和测试目的。我们使用称为InceptionV3的深度学习架构来训练分类器。我们进行了非参数接收机操作特性(ROC)分析,以评估所开发算法识别CSC的能力。两个评价者之间的Kappa系数为0.48(p <0.001),而计算机和两个评价者之间的Kappa系数分别为0.59(p <0.001)和0.33(p <0.05)。我们的实验表明,基于深度学习的计算机算法以相对可靠和一致的方式评估彩色眼底照片上描绘的CSC。
translated by 谷歌翻译
神经网络易受对抗性示例的攻击,这对其在安全敏感系统中的应用构成威胁。我们提出简单的随机抽样(SRS)和统计异常值消除(SOR)作为3D点云分类的防御,其中两种方法通过估计作为对抗点的点的概率来移除点。与作为最先进的防御方法的整体对抗训练相比,SOR具有以下几个优点:更好的防御性能,随机化使得网络对对抗点云更加健壮,无需额外的训练或微调,并且通过添加需要很少的计算特别是,我们在ModelNet40上的实验表明,SOR在实践中作为防御非常有效。这些防御的力量在于它们不可分割的性质和固有的随机性,这使得对手难以规避防御。我们最好的防御措施消除了C&W和基于l2损失的攻击方法的81.4%的强大白盒攻击。
translated by 谷歌翻译
车道标记检测是高级驾驶员辅助系统(ADAS)道路场景分析中的重要元素。受板载计算能力的限制,同时降低系统复杂性和保持高精度仍然是一项挑战。在本文中,我们提出了一种使用深度卷积神经网络的车道标记检测器(LMD)来提取稳健的车道标记特征。为了以较低复杂度的目标改进其性能,采用了相关卷积。设计了更浅,更薄的结构以降低计算成本。此外,我们还设计了后处理算法来构造三阶多项式模型以适应曲线。我们的系统在捕获的道路场景中显示出有希望的结
translated by 谷歌翻译
从物理层认证的角度来看,可以通过检查信道状态信息(CSI)来实现欺骗攻击。现有的基于CSI的认证算法通常需要深入了解信道以提供良好的性能。在本文中,我们研究了基于CSI的通信器,它们可以通过利用深度神经网络(DNN)来节省预先确定的信道属性。我们首先提出了一种能够在CSI中提取局部特征的卷积神经网络(CNN)启用的认证器。接下来,我们使用递归神经网络(RNN)来捕获CSI中不同频率之间的依赖关系。此外,我们建议使用卷积递归神经网络(CRNN)--CNN和RNN的组合---来学习CSI中的本地和上下文信息以进行使用认证。为了有效地训练这些DNN,需要大量标记的通道记录。然而,在存在欺骗者的情况下标记大型通道观察通常是昂贵的。鉴于此,我们进一步研究了其中只有一小部分通道观察被标记的情况。为了解决这个问题,我们将这些支持DNN的方法扩展到半监督方法。这种扩展基于半监督学习技术,该技术使用标记和未标记的数据来训练DNN。具体而言,oursemi监督方法开始于通过以半监督的方式实施K均值算法来为未标记的信道样本生成伪标签。随后,利用标记和伪标记数据对DNN进行顶部训练,然后基于标记的信道记录对其进行微调。
translated by 谷歌翻译
在这项工作中,我们将模型平均应用于深度神经网络(DNN)的并行训练。并行化以模型平均方式完成。将数据分区并分发到不同的节点以进行本地模型更新,并且每隔几个小批量完成跨节点的模型平均。我们使用多个GPU进行数据并行化,并使用消息传递接口(MPI)进行节点之间的通信,这使我们可以频繁地执行模型平均,而不会在通信上浪费太多时间。我们研究了自然梯度随机梯度下降(NG-SGD)和限制玻尔兹曼机(RBM)预训练在模型平均框架中的并行训练的有效性,并探讨了不同学习率计划,平均频率和小批量大小的最佳设置。显示NG-SGD和RBM预训练有利于基于参数平均的模型训练。在300h交换机数据集上,使用32个GPU并且解码精度有限,使用16个GPU实现了9.3倍的加速和17倍的加速。
translated by 谷歌翻译
语义匹配对许多自然语言任务至关重要\ cite {bordes2014semantic,RetrievalQA}。成功的匹配算法需要对语言对象的内部结构及其之间的交互进行充分的建模。作为迈向这一目标的一步,我们通过调整视觉和语音中的卷积策略,提出了用于匹配两个句子的卷积神经网络模型。所提出的模型不仅很好地代表了句子的层次结构及其逐层组合和汇集,而且还捕获了不同层次的丰富匹配模式。我们的模型相当通用,不需要语言的先验知识,因此可以应用于匹配不同性质和不同语言的任务。对各种匹配任务的实证研究表明了所提出的模型对各种匹配任务的有效性,并且它对竞争者模型具有优势。
translated by 谷歌翻译
投注机制是引发代理人对事件预测的一次性投注机制。对于确定性投注机制,现有的不可能性结果表明一些理想的理论性质不相容。特别是,帕累托最优性(在分配之前没有盈利的边注)不能与弱激励兼容性,弱预算平衡和个人理性一起实现。在本文中,我们扩展了投注机制的设计空间,以允许随机化,并询问其中是否有随机化的投注机制,可以实现所有先前考虑​​的所需属性,包括帕累托最优性。我们用两类随机化的投注机制积极地回答这个问题:i)现有确定性投资机制的简单随机抽签式实施,以及ii)我们称之为代理投注机制的另一族简单和随机化投注机制,这些机制是强大的tonoisy基本事实。这一系列机制建立在嘈杂标签学习的基础上(Natarajan等人,2013),以及最近将该信息扩展到信息引出而没有验证设置(Liu和Chen2018)。我们表明,广泛的随机化投注机制家族满足了所有理想的理论属性。
translated by 谷歌翻译
人脸识别近年来取得了长足的进步,主要归功于设计的大容量模型和丰富的标签数据。然而,扩大当前的百万级身份注释变得越来越禁止。在这项工作中,我们表明,未标记的面部数据可以与标记的面部数据一样有效。在这里,我们考虑设置密切模仿现实世界的场景,其中未标记的数据从不受约束的环境收集,并且它们的身份与标记的数据是唯一的。我们的主要观点是,尽管类信息不可用,但我们仍然可以通过以自下而上的方式构建关系图来忠实地近似这些语义关系。我们提出共识驱动传播(CDP)来解决这个具有挑战性的问题,有两个模块,即“委员会”和“调解员”,它们通过仔细聚合多视图信息来强有力地选择正面对。大量实验验证了两个模块的有效性,以丢弃异常值和挖掘硬性积极因素。使用CDP,我们通过仅使用9%的标签实现了对MegaFace识别挑战的78.18%的令人信服的准确度,相比之下,当使用未标记数据时为61.78%,而当使用所有标签时为78.52%。
translated by 谷歌翻译
随机梯度下降(SGD)可追溯到20世纪50年代,是进行随机优化的最流行和最有效的方法之一。关于SGD的研究最近在机器学习中重新出现,用于优化凸损失函数以及训练非凸深度神经网络。该理论假设人们可以很容易地计算出无偏的梯度拟合,这通常是由于经验风险最小化的样本平均性质。然而,存在许多场景(例如,图形学习),其中无偏估计器可能与完整梯度一样昂贵,因为训练示例是互连的。在最近的一项工作中,陈等人。 (2018)提出使用一致的梯度估计器作为经济替代方案。受经验成功的鼓舞,我们在一般情况下表明,一致的估计量会导致与无偏差的收敛行为相同的收敛行为。我们的分析涵盖了强凸,凸和非凸目标。这项工作开辟了几个新的研究方向,包括利用一致的估算器开发更高效的SGD更新,以及为大规模图形设计高效的训练算法。
translated by 谷歌翻译
Extreme多标签分类(XML)是一项重要且具有挑战性的机器学习任务,它为每个实例分配一个极其庞大的标签集合中最相关的候选标签,其中标签,功能和实例的数量可能是数千或数百万。随着业务规模/范围和数据积累的增加,XML在互联网行业越来越受欢迎。极大的标签收集产生诸如计算复杂性,标签间依赖性和噪声标记之类的挑战。基于不同的数学公式,已经提出了许多方法来解决这些挑战。在本文中,我们提出了一种深度学习XML方法,其中包含基于字向量的自我关注,然后是基于排名的AutoEncoder架构。所提出的方法具有以下主要优点:1)自动编码器通过将标签和特征投影到公共嵌入空间上,同时考虑标签间依赖性和特征标签依赖性; 2)排名损失不仅可以提高训练效率和准确性,还可以扩展到处理噪声标记数据; 3)有效的注意机制通过突出特征重要性来改进特征表示。基准数据集的实验结果表明,所提出的方法是具有竞争力的先进方法。
translated by 谷歌翻译