通过将机器学习算法应用于“大数据”,可以在manydomains中看到图像处理能力的快速发展。然而,在医学图像分析领域,由于大规模,注释良好的数据集的可用性有限,部分进展受到限制。造成这种情况的主要原因之一是与生产大量高质量元数据相关的高成本。最近,人们越来越关注为此目的应用众包;这种技术已经被证明可以有效地创建从计算机视觉到物理学的各个学科的大规模数据集。尽管这种方法越来越受欢迎,但还没有全面的文献综述为研究人员提供指导,以考虑在他们自己的医学成像分析中使用众包方法。在本次调查中,我们回顾了将众包应用于2018年7月之前发布的医学图像分析的研究。我们确定了常见的方法,挑战和考虑因素,为采用这种方法的研究人员提供了实用指南。最后,我们将讨论这一新兴领域的未来发展机遇。
translated by 谷歌翻译
贝叶斯优化在优化耗时的黑盒目标方面很受欢迎。尽管如此,对于深度神经网络中的超参数调整,即使是一些超参数设置评估验证错误所需的时间仍然是瓶颈。多保真优化有望减少对这些目标使用更便宜的代理 - 例如,使用训练点的子集训练网络的验证错误或者收敛所需的迭代次数更少。我们提出了一种高度灵活和实用的多保真贝叶斯优化方法,重点是有效地优化迭代训练的监督学习模型的超参数。我们引入了一种新的采集功能,即跟踪感知知识梯度,它有效地利用了多个连续保真度控制和跟踪观察---保真序列中物镜的值,当使用训练迭代改变保真度时可用。我们提供了可用于优化我们的采集功能的可变方法,并展示了它为超神经网络和大规模内核学习的超参数调整提供了最先进的替代方案。
translated by 谷歌翻译
Winograd或Cook-Toom类算法有助于降低许多现代深度卷积神经网络(CNN)的整体计算复杂性。尽管已经对CNN的模型和算法优化进行了大量研究,但很少有人关注效率的实现。嵌入式CPU中的这些算法通常具有非常有限的内存和低功耗预算。本文旨在填补这一空白,重点关注现代Arm Cortex-A CPU的Winograd或Cook-Toom基于卷积的有效实现,这些CPU现在广泛用于移动设备。具体而言,我们通过使用一组优化策略证明了推理延迟的减少。提高计算资源的利用率,并有效地利用ARMv8-A NEON SIMD指令集。我们使用几个有代表性的CNN评估了我们在ArmCortex-A73平台上提出的区域多通道实现。结果表明,与基于nowim2row / im2col的优化技术相比,整个网络的性能显着提高了60%
translated by 谷歌翻译
顺序凸面编程(SCP)最近出现了作为轨迹优化工具的兴趣。然而,大多数可用的方法缺乏严格的性能保证,并且它们通常针对特定的最佳控制设置而定制。在本文中,我们提出了GuSTO(保证顺序轨迹优化),这是一个算法框架,用于解决具有漂移的控制仿射系统的轨迹优化问题。 GuSTO概括了早期基于SCP的轨迹优化方法(通过寻址,例如,目标集约束和固定或自由最终时间的问题),并且在收敛到至少一个静止点方面享有理论收敛保证。进一步利用理论分析来加速实施GuSTO,最初将间接最优控制的思想灌输到SCP环境中。各种轨迹优化设置的数值实验表明,GuSTO在成功率,解决方案质量和计算时间方面通常优于当前最先进的方法。
translated by 谷歌翻译
尽管在眼周识别方面取得了进步,但野外的数据和眼周识别仍然是一个挑战。在本文中,我们通过一对共享参数(双流)卷积神经网络提出了一种多层融合方法,其中每个网络接受RGB数据和一种新颖的基于颜色的纹理描述符,即OrthogonalCombination-Local Binary Coded Pattern(OC-LBCP) )用于野外的眼周识别。具体地,在双流网络中引入两个不同的后期融合层以聚合RGB数据和OC-LBCP。因此,网络有利于后期融合层的这一新特征,以获得准确性。我们还介绍并共享一个新的野外眼周数据集,即用于基准测试的Ethnic-ocular数据集。建议的网络也在两个公开可用的数据集上进行了评估,即CASIA-irisdistance和UBIPr。建议的网络优于这些数据集上的几个竞争方法。
translated by 谷歌翻译
对于许多应用来说,标记数据的收集是费力的。在训练期间开发未标记的数据因此是机器学习的长期目标。自我监督学习通过提供大量可用数据的辅助任务(不同但与监督任务相关)来解决这个问题。在本文中,我们展示了如何将排名用作某些回归问题的aproxy任务。作为另一个贡献,我们为连体网络提出了有效的反向传播技术,该技术可以防止多分支网络架构引入的冗余计算。我们将框架应用于两个回归问题:图像质量评估(IQA)和人群计数。对于这两者,我们展示了如何从未标记的数据自动生成排序的图像集。我们的研究结果表明,经过训练的网络可以回归标记数据的地面真实目标,并同时学习对标记数据进行排序,从而获得明显更好的,最先进的IQA和人群计数结果。此外,我们表明,在自我监督代理任务中测量网络不确定性是衡量未标记数据信息量的一个很好的指标。这可用于驱动主动学习算法,并表明这可以减少标签工作量高达50%。
translated by 谷歌翻译
我们研究了神经网络集合联合训练的实践,其中多分支架构通过单一损失进行训练。这种方法最近获得了牵引力,声称每个参数具有更高的准确性以及增加的并行性。我们引入了一系列新的损失函数来概括多种先前提出的方法,我们用它来研究联合训练的理论和经验属性。这些损失在预测因子的独立和联合训练之间平滑插入,证明联合训练有一些在先前工作中未观察到的缺点。然而,通过我们提出的损失进行适当的正则化,该方法在资源有限的场景和容错系统(例如,IoT和边缘设备)中显示出新的希望。最后,我们将讨论这些结果如何对一般的多分支体系结构(如ResNeXt和InIption)产生影响。
translated by 谷歌翻译
神经网络权重的后验是高维和多模式。每种模式通常表征数据的有意义的不同表示。我们开发了循环随机梯度MCMC(SG-MCMC)来自动探索这种分布。特别是,我们提出了一个循环步长计划,其中较大的步骤发现新模式,较小的步骤表征每种模式。我们证明我们提出的学习计划提供了比具有标准衰减计划的SG-MCMC的静态分布的样本更快的收敛。此外,我们提供了广泛的实验结果,以证明循环SG-MCMC在学习复杂多模态分布中的有效性,特别是对现代深度神经网络进行贝叶斯推理。
translated by 谷歌翻译
探索性数据分析是知识发现的一个基本方面,旨在找到数据集的主要特征。维数减少(例如流形学习)通常用于将adataset中的要素数量减少到人类解释的可管理级别。尽管如此,大多数流氓学习技术并没有解释有关原始特征和数据集真实特征的任何信息。在本文中,我们提出了称为GP-MaL的流形学习的老化编程方法,它通过使用可解释的树来演变从高维空间到低维空间的功能映射。我们表明,GP-MaL具有竞争力,不存在流形学习算法,同时生成可以在无法看到的数据上进行解释和重复使用的模型。在该过程中发现了许多有希望的未来研究方向。
translated by 谷歌翻译
我们提出了SWA-Gaussian(SWAG),一种简单,可扩展,通用的方法,用于深度学习中的不确定性表示和校准。随机权重平均(SWA),计算随机梯度下降(SGD)的第一时刻,用修改的学习率计划迭代最近,我们已经证明了它可以改善深度学习中的泛化。利用SWAG,我们使用SWA解决方案作为第一时刻拟合高斯,并且还从SGD迭代得到秩和对角协方差,在神经网络权重上形成近似后验分布;我们从这个高斯分布中抽样来进行贝叶斯模型平均。 Weempirically发现SWAG近似于真实后验的形状,与描述SGD迭代的静态分布的结果一致。此外,我们证明SWAG在各种计算机视觉任务上表现良好,包括样本外检测,校准和转移学习,与许多流行的替代品相比,包括MC压差,KFACLaplace和温度缩放。
translated by 谷歌翻译