训练具有大量参数或复杂体系结构的神经网络(NN)会产生不希望的现象,使优化过程复杂化。为了解决这个问题,我们提出了NNdesign的第一种模块化方法,其中NN被分解为控制模块和若干功能模块,实现原始操作。我们通过比较整体模块和模块化NNon列表排序问题之间的性能来说明模块化概念,并展示了培训速度,培训稳定性和可维护性方面的优势。我们还讨论了模块化NN中的一些问题。
translated by 谷歌翻译
预测自然图像中的显着区域需要检测场景中存在的对象。为了为这项具有挑战性的任务开发强大的表示,必须通过上下文信息提取和扩充多个空间尺度的高级视觉特征。然而,旨在解释人类固定图的现有模型并未明确地包含这样的机制。在这里,我们提出了一种基于在大规模图像分类任务上预训练的卷积神经网络的方法。该体系结构形成编码器 - 解码器结构,并包括具有不同扩张率的多个卷积层的模块,以并行捕获多尺度特征。此外,我们将得到的表示与全局场景信息相结合,以准确地预测视觉显着性。我们的模型在两个公共显着性基准上获得了竞争性结果,并且我们证明了所选方法的建议方法的有效性。该网络基于轻量级图像分类主干,因此为具有有限计算资源的应用程序提供了合适的选择,以便在复杂的自然场景中估计人类注视。
translated by 谷歌翻译
我们在[1,\ infty] $中提供$ \ alpha $ -loss,$ \ alpha \,这是一个二进制分类的可调丢失函数,它可以弥补日志损失($ \ alpha = 1 $)和$ 0 $ - $ 1 $损失($ \ alpha = \ infty $)。我们证明$ \ alpha $ -loss具有等效的基于保证金的形式,并且是分类校准的,对于理想但难以处理的$ 0 $ - $ 1 $损失的商品损失函数的两个理想属性。基于Forlogistic回归的分类,我们通过利用其Lipschitzianity以及经验风险函数的景观特征的近期结果,提供了$ \ alpha $ -loss的经验风险和预期风险之间的差异的上界。最后,我们证明$ \ alpha $ -loss与$ \ alpha = 2 $相比,对于逻辑回归,MNIST上的log-loss表现更好。
translated by 谷歌翻译
慢性肺曲霉菌病(CPA)是由曲霉菌感染引起的复杂肺病。计算机断层扫描(CT)图像经常被怀疑患有疑似和已确定疾病的患者,但CT上的放射学标志难以量化,从而使准确的随访具有挑战性。我们提出了一种新的方法来训练卷积神经网络,只使用病理标志的区域标签,不仅检测CPA,而且在空间上定位病理标志。我们使用Hounsfield单位(HU)值的不同范围内的平均强度投影,将输入3D CT扫描转换为2D RGB样图像。 CNN架构用于分层任务,导致病理模式的精确激活图。 352名受试者的队列结果显示高分类准确性,定位精度和2年生存率的预测能力。对于药物治疗的患者,这种工具为CPA患者分层和CPA病理征象的定量随访开辟了道路。
translated by 谷歌翻译
我们引入了一种新方法来执行具有正交和单一约束的一阶优化。该方法基于从李群理论到指数图的参数化。参数化将约束优化问题转化为无约束的一个欧几里德空间,可以使用常见的一阶优化方法。所提出的理论结果足以涵盖特殊正交群,酉群以及通常任何连通的紧致李群。我们将讨论如何通过实现技巧高效地计算此参数和其他参数,使得数值复杂的参数化在神经网络中以可忽略的运行时成本使用。特别地,我们将结果应用于具有正交重复权重的RNN,产生称为expRNN的新架构。我们演示了我们的方法如何构建一种更加稳健的正交约束优化方法,在设计用于测试RNN的若干任务中显示更快,更准确和更稳定的收敛。
translated by 谷歌翻译
中央模式发生器(CPG)是生物神经电路,能够在没有节奏输入的情况下产生协调的节奏输出。因此,它们对生物体中的大多数节奏运动负责。这种节律控制广泛适用于机车机器人和医疗设备等领域。在本文中,我们探索了为强化学习创建自我维持的CPG网络的可能性,该网络比当前的多层感知器(MLP)基线模型更有效地学习节奏运动并且在更一般的环境中学习。最近的工作介绍了结构控制网(SCN),它分别维护用于本地和全局控制的线性和非线性模块。在这里,我们展示了时间序列架构,如递归神经网络(RNNs)模型CPGs。结合以前的工作与RNN和SCN,我们介绍了Recurrent ControlNet(RCN),它增加了线性组件,RCN匹配并超过了性能所有环境任务中的基线MLP和SCN。我们的研究证实了RNN对强化学习任务的现有直觉,并证明了强化学习中类似SCN结构的前景。
translated by 谷歌翻译
我们提供了固定深度全连接深度神经网络的泛化性能演变的描述,作为其参数数量$ N $的函数。在数据点数大于输入维数的设置中,当$ N $变大时,我们观察到固定深度增加$ N $减少了由初始条件引起的输出函数$ f_N $的波动。 \!| f_N - {\ bar f} _N | \!| \ sim N ^ { - 1/4} $其中$ {\ bar f} _N $表示初始条件下的平均值。我们根据控制输出函数动态的所谓NeuralTangent Kernel的波动来解释这种渐近行为。对于分类任务,我们预测这些波动会增加真正的testror $ \ epsilon $为$ \ epsilon_ {N} - \ epsilon _ {\ infty} \ sim N ^ { - 1/2} + \ mathcal {O}(N ^ { - 3/4})$。该预测与我们在MNIST数据集上的实证结果一致,并且在具体情况下解释了令人费解的观察结果,即深度网络的预测能力随着拟合参数的数量增加而改善。这种渐近描述在所谓的模拟转换中发生故障,该转换发生在关键的$ N = N ^ * $,低于该值时,训练误差为非零。在没有正则化的情况下,我们观察到一个明显的分歧$ | \!| f_N | \!| \ sim(NN ^ *)^ { - \ alpha} $并提供一个简单的参数,建议$ \ alpha = 1 $,与经验观察一致。这导致了一个似乎合理的解释,即已知的测试误差中的尖点为$ N ^ * $。总的来说,我们的分析表明,一旦模型平均化,最佳模型复杂度就会超出数据库完美拟合的范围,这是实际重要性的结果,需要在各种体系结构和数据集中进行验证。
translated by 谷歌翻译
正式方法已经为调查软件工程基础提供了方法,并且还具有改进可靠系统保证中的当前实践的高潜力。在本文中,我们总结了形式方法的已知长度和弱点。从机器人和自治系统(RAS)的保证的角度来看,我们强调了关于形式化方法的整合,对综合形式方法的基础研究以及成功地将两种研究成果转移到RAS保证方面的独特机会。基于这些机会,我们使用集成的正式方法表达我们对可认证RAS保证的立场。从这个位置,我们争论未来研究和研究转移的方向以及对此类研究的有用结果的期望。
translated by 谷歌翻译
数据分析和机器学习已经成为现代科学方法的综合部分,提供了基于观察来预测其他信息的自动化技术。这些分类和回归技术之一是随机森林方法。这些基于决策树的预测器以其良好的计算性能和可扩展性而闻名。然而,在严重不平衡的训练数据的情况下,如在具有大对照组的医学研究数据中经常看到的那样,必须改变训练算法或采样过程以改善少数类别的预测质量。在这项工作中,提出了一种针对WEKA的平衡随机森林方法。此外,根据R中的参考实现,评估未修改的随机森林实施的预测质量和用于WWEA的新的平衡随机森林版本。研究了平衡数据集和不平衡医学研究数据的两类问题。与其他三种技术相比,使用所提出的不平衡数据方法提供了更高的预测质量。
translated by 谷歌翻译
视觉上下文在场景理解任务中的重要性在计算机视觉社区中得到了充分认可。然而,用于图像分类和语义分割的计算机视觉模型在多大程度上依赖于上下文来进行预测尚不清楚。当在遇到与训练数据不同的上下文分布中的对象时,过度依赖于上下文的模型将失败,因此在我们可以在现实世界中部署模型之前识别这些依赖性是很重要的。我们提出了一种方法,通过编辑图像以去除所选对象并测量目标模型的响应来量化黑盒视觉模型对视觉上下文的敏感性。我们将这种方法应用于两个任务,即图像分类和语义分割,并发现对象和上下文之间的不良依赖关系,例如“人行道”分割在很大程度上依赖于图像中存在的“汽车”。我们提出了一种基于对象移除的数据增强解决方案,以消除这种依赖性,并增加分类和分段模型对上下文变化的鲁棒性。我们的实验表明,所提出的数据增强有助于这些模型改善上下文场景中的性能,同时保持常规数据的性能。
translated by 谷歌翻译