我们考虑使用随机梯度下降来学习两层神经网络。该学习动力学的平均场描述通过在$ R ^ D $中的概率分布空间的演化来近似网络权重的演化(其中$ D $是与每个神经元相关联的参数的数量)。这种演化可以通过部分微分方程来定义,或者等效地定义为概率分布的Wasserstein空间中的梯度流。早期的工作表明(在一些规律性假设下),一旦隐藏单位的数量远大于维度$ D $,平均字段描述就是准确的。在本文中,我们建立了更强大和更一般的近似保证。首先,我们表明隐藏单元的数量只需要大于依赖于数据规律性的数量,并且与维度无关。接下来,我们将此分析推广到无限激活函数的情况,这是早期边界未涵盖的。我们将结果扩展到噪声随机梯度下降。最后,我们证明了核岭回归可以作为平均场分析的特殊限制来恢复。
translated by 谷歌翻译
我们通过图形结构的递归神经网络(GSRNN)研究真实世界健康数据的流行病预测。我们在基准CDC数据集上实现了最先进的预测准确性。为了提高模型效率,我们通过转换 - $ \ ell_1 $惩罚来稀疏网络权重,并在70%的网络权重为零的情况下将预测准确度保持在同一水平。
translated by 谷歌翻译
人们重新识别任务在最近几年已经看到了巨大的改进,主要是由于从深度卷积神经网络(CNN)开发更好的图像特征和大数据集的可用性。然而,很少有关于动物识别和重新识别的研究,即使这些知识可能在各种不同场景中有用。在这里,我们解决了牛重新识别开发CNN的问题,并展示了这项任务与人类之间的关系不足,提出了独特的挑战,使其远未解决。我们提供了基于深层体系结构或标准机器学习算法的各种基线,并将它们与我们的解决方案进行了比较。最后,进行了一项综合研究,以进一步研究这项任务的独特性。
translated by 谷歌翻译
自动学习任务的最佳激活功能是神经网络研究的一个活跃主题。目前,尽管结果很有希望,但仍然难以确定学习激活功能的方法,同时理论上简单且易于实现。此外,到目前为止提出的大多数方法都引入了新的参数或采用了不同的学习技术。在这项工作中,我们提出了一种简单的方法来获得训练的激活函数,该函数将神经网络局部子网络与少量神经元相加。实验表明,这种方法可以在使用预定义的激活函数方面获得更好的结果,而不需要引入需要学习的大量额外参数。
translated by 谷歌翻译
多语言文本分类(PLC)包括根据一组共同的C类自动分类文档,每个文档用一组语言L中的一种编写,并且比通过其相应的语言特定分类器对每个文档进行天真分类时更准确地进行分类。为了提高给定语言的分类准确度,系统也需要利用其他语言编写的训练样例。我们通过漏斗处理multilabel PLC,这是我们在此提出的一种新的集成学习方法。漏斗包括生成一个两层分类系统,其中所有文档,无论语言如何,都由同一(第二层)分类器分类。对于该分类器,所有文档都表示在一个共同的,与语言无关的特征空间中,该特征空间由第一层语言相关分类器生成的后验概率组成。这允许对任何语言的所有测试文档进行分类,以受益于所有语言的所有培训文档中存在的信息。我们提供了大量的实验,在公开的多语言文本集上运行,其中显示漏斗显着优于许多最先进的基线。所有代码和数据集(invector表单)都是公开的。
translated by 谷歌翻译
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活功能,神经网络在偏差和权重参数上进行训练。偏差会影响激活的中心,权重会捕获比例。这里我们建议通过形状参数训练网络。该视图允许神经元调整其自身的激活函数并使神经元曲率适应更好的预测。该修改仅为每个神经元的反向传播增加了另一个方程。重新形式化激活函数asCDF广泛地概括了激活函数的类。我们的目标是扩展一大类激活函数来研究:i)偏度和ii)激活函数的平滑性。在这里,我们介绍自适应Gumbelactivation函数作为Gumbel和Sigmoid之间的桥梁。类似的方法用于发明ReLU的平滑版本。我们与常见激活函数的比较表明了不同的数据表示,尤其是在早期神经网络层中。这种适应还提供了预测改进。
translated by 谷歌翻译
我们提出了一种新的图像采样方法,用于深度神经网络中的可微分图像变换。目前使用的逆向学习的采样方案,例如空间变换器网络,依赖于双线性插值,其在严重的尺度变化下表现不佳,并且更重要的是,导致差的梯度传播。这是因为他们严格依赖直接邻居。相反,我们建议在采样图像中的每个像素附近生成随机辅助样本,并使用它们的强度值创建线性近似。然后,我们将此近似值用作变换图像的可区分公式。然而,我们观察到这些辅助样本可能在严重的图像变换下折叠成单个像素,并且建议通过向中心像素和辅助样本之间的距离添加约束来解决它。我们证明了我们的方法产生了更具代表性的梯度,具有更广泛的图像对齐收敛,这在训练图像配准和分类任务的网络时会产生相当大的性能改善,特别是在大的下采样时。
translated by 谷歌翻译
我们研究了广泛形式博弈中的均衡计算,其中可能存在外部关联,关注需要在参与者和调解者之间进行最少量交流的相关均衡。通过计算正规形式相关非平衡的硬度结果,我们引入了正规形式粗相关均衡的概念,扩展了粗相关均衡序列游戏的定义。我们表明,在没有机会移动的双人游戏中,最优(例如,社会福利最大化)正常形式的粗略相关均衡可以在多项式时间内计算,并且在一般的多玩家游戏中(包括具有机会的双人游戏),问题是难以接受的。对于前一种情况,我们提供了一种基于椭球方法的多项式时间算法,并提出了一种更实用的算法,可以有效地应用于相当大的问题。然后,我们讨论如何将算法扩展到具有机会的游戏和具有超过两个游戏的游戏。
translated by 谷歌翻译
适当选择激活函数(如ReLU,Sigmoid orswish)在(深)多层感受器(MLP)的分类和回归学习中起着重要作用。基于原型的分类学习方法如(广义)学习矢量量化(GLVQ)是强有力的替代方案。这些模型也处理激活功能,但这里它们适用于所谓的分类器功能。在本文中,我们研究了MLP应用于GLVQ的激活功能的成功候选者及其对性能的影响。
translated by 谷歌翻译
在这项工作中,我们报告了结合IEEE国际生物医学成像研讨会(ISBI)2016和国际医学影像计算机辅助干预会议(MICCAI)2017年组织的肝肿瘤分割基准(LITS)的设置和结果。将24种有效的最先进的肝脏和肝脏肿瘤分段算法应用于一组131个计算机断层扫描(CT)体积,具有不同类型的肿瘤对比度水平(高强度/低强度),组织异常(转移瘤)大小和不同程度的病变。已提交的算法已在70个未公开的卷上进行了测试。该数据集是与七家医院和研究机构合作创建的,由三位独立的放射科医师手动审查。我们发现没有一种算法对肝脏和肿瘤表现最佳。最佳肝脏分割算法的Dice评分为0.96(MICCAI),而对于肿瘤分割,最佳算法评估为0.67(ISBI)和0.70(MICCAI)。 LITS图像数据和手动注释继续通过在线评估系统公开提供,作为持续的基准测试资源。
translated by 谷歌翻译