训练具有大量参数或复杂体系结构的神经网络(NN)会产生不希望的现象,使优化过程复杂化。为了解决这个问题,我们提出了NNdesign的第一种模块化方法,其中NN被分解为控制模块和若干功能模块,实现原始操作。我们通过比较整体模块和模块化NNon列表排序问题之间的性能来说明模块化概念,并展示了培训速度,培训稳定性和可维护性方面的优势。我们还讨论了模块化NN中的一些问题。
translated by 谷歌翻译
受风险,失败和事故分析中广泛使用的因果建模技术的启发,这项工作讨论了风险模型的组合框架。风险模型捕获在给定环境中操作机器时可能发生的风险事件空间的碎片。此外,人们可以将这些模型构建到自动机器人等机器中,使其具备风险感知能力,监控,决策和控制能力。以风险因素作为建模原语的概念,该框架提供了几种构建方法。并塑造风险模型。研究了关系和代数性质,并证明了这些性质在相应模型上的有效性和一致性。整个讨论中的几个例子说明了概念的适用性。总的来说,这项工作侧重于风险的定性处理,而将这些结果转移到讨论框架的概率改进。
translated by 谷歌翻译
理解物理现象是一种关键能力,它使人类和动物能够在不确定的感知中在包含新物体及其构造的先前不可见的环境中行动和相互作用。在这项工作中,我们考虑自动块堆叠的问题,并探索在物理约束下的解决方案容忍学习操作与视觉感知固有的任务。受人类直观物理学的启发,我们首先提出了基于学习的基于学习的方法来直接预测稳定性,将更传统的基于模型的方法与显式3D表示和物理模拟进行对比。我们通过伴随的人体测试来研究模型的行为。然后将其集成到区域世界机器人系统中,以指导将单个木块放置到场景中而不会使现有塔架结构坍塌。为了进一步自动化连续块堆叠的过程,我们提出了一种替代方法,其中模型通过与环境的相互作用来学习物理约束,绕过专门的物理学习,就像在本工作的前一部分一样。特别是,我们感兴趣的是需要代理达到给定目标状态的任务类型,这些目标状态对于每个新手都可能是不同的。因此,我们提出了一个深度强化学习框架,该框架学习了由目标结构参数化的堆叠任务的策略。
translated by 谷歌翻译
深度生成模型正在成为现代机器学习的基石。对条件生成对抗网络的近期研究表明,在自然图像上学习复杂的高维分布是在范围内。虽然最新型号能够以高分辨率生成高保真,多样化的图像,但它们依赖于大量的标记数据。在这项工作中,我们展示了如何从最近的自我和半监督学习的工作中受益,以便在无监督的ImageNet综合以及条件设置中超越最先进的技术(SOTA)。特别地,所提出的方法能够使用当前最先进的条件模型BigGAN onImageNet上的样本质量(由FID测量)仅使用10%的标签并且使用20%的标签超过它。
translated by 谷歌翻译
预测自然图像中的显着区域需要检测场景中存在的对象。为了为这项具有挑战性的任务开发强大的表示,必须通过上下文信息提取和扩充多个空间尺度的高级视觉特征。然而,旨在解释人类固定图的现有模型并未明确地包含这样的机制。在这里,我们提出了一种基于在大规模图像分类任务上预训练的卷积神经网络的方法。该体系结构形成编码器 - 解码器结构,并包括具有不同扩张率的多个卷积层的模块,以并行捕获多尺度特征。此外,我们将得到的表示与全局场景信息相结合,以准确地预测视觉显着性。我们的模型在两个公共显着性基准上获得了竞争性结果,并且我们证明了所选方法的建议方法的有效性。该网络基于轻量级图像分类主干,因此为具有有限计算资源的应用程序提供了合适的选择,以便在复杂的自然场景中估计人类注视。
translated by 谷歌翻译
我们在[1,\ infty] $中提供$ \ alpha $ -loss,$ \ alpha \,这是一个二进制分类的可调丢失函数,它可以弥补日志损失($ \ alpha = 1 $)和$ 0 $ - $ 1 $损失($ \ alpha = \ infty $)。我们证明$ \ alpha $ -loss具有等效的基于保证金的形式,并且是分类校准的,对于理想但难以处理的$ 0 $ - $ 1 $损失的商品损失函数的两个理想属性。基于Forlogistic回归的分类,我们通过利用其Lipschitzianity以及经验风险函数的景观特征的近期结果,提供了$ \ alpha $ -loss的经验风险和预期风险之间的差异的上界。最后,我们证明$ \ alpha $ -loss与$ \ alpha = 2 $相比,对于逻辑回归,MNIST上的log-loss表现更好。
translated by 谷歌翻译
慢性肺曲霉菌病(CPA)是由曲霉菌感染引起的复杂肺病。计算机断层扫描(CT)图像经常被怀疑患有疑似和已确定疾病的患者,但CT上的放射学标志难以量化,从而使准确的随访具有挑战性。我们提出了一种新的方法来训练卷积神经网络,只使用病理标志的区域标签,不仅检测CPA,而且在空间上定位病理标志。我们使用Hounsfield单位(HU)值的不同范围内的平均强度投影,将输入3D CT扫描转换为2D RGB样图像。 CNN架构用于分层任务,导致病理模式的精确激活图。 352名受试者的队列结果显示高分类准确性,定位精度和2年生存率的预测能力。对于药物治疗的患者,这种工具为CPA患者分层和CPA病理征象的定量随访开辟了道路。
translated by 谷歌翻译
我们引入了一种新方法来执行具有正交和单一约束的一阶优化。该方法基于从李群理论到指数图的参数化。参数化将约束优化问题转化为无约束的一个欧几里德空间,可以使用常见的一阶优化方法。所提出的理论结果足以涵盖特殊正交群,酉群以及通常任何连通的紧致李群。我们将讨论如何通过实现技巧高效地计算此参数和其他参数,使得数值复杂的参数化在神经网络中以可忽略的运行时成本使用。特别地,我们将结果应用于具有正交重复权重的RNN,产生称为expRNN的新架构。我们演示了我们的方法如何构建一种更加稳健的正交约束优化方法,在设计用于测试RNN的若干任务中显示更快,更准确和更稳定的收敛。
translated by 谷歌翻译
中央模式发生器(CPG)是生物神经电路,能够在没有节奏输入的情况下产生协调的节奏输出。因此,它们对生物体中的大多数节奏运动负责。这种节律控制广泛适用于机车机器人和医疗设备等领域。在本文中,我们探索了为强化学习创建自我维持的CPG网络的可能性,该网络比当前的多层感知器(MLP)基线模型更有效地学习节奏运动并且在更一般的环境中学习。最近的工作介绍了结构控制网(SCN),它分别维护用于本地和全局控制的线性和非线性模块。在这里,我们展示了时间序列架构,如递归神经网络(RNNs)模型CPGs。结合以前的工作与RNN和SCN,我们介绍了Recurrent ControlNet(RCN),它增加了线性组件,RCN匹配并超过了性能所有环境任务中的基线MLP和SCN。我们的研究证实了RNN对强化学习任务的现有直觉,并证明了强化学习中类似SCN结构的前景。
translated by 谷歌翻译
我们提供了固定深度全连接深度神经网络的泛化性能演变的描述,作为其参数数量$ N $的函数。在数据点数大于输入维数的设置中,当$ N $变大时,我们观察到固定深度增加$ N $减少了由初始条件引起的输出函数$ f_N $的波动。 \!| f_N - {\ bar f} _N | \!| \ sim N ^ { - 1/4} $其中$ {\ bar f} _N $表示初始条件下的平均值。我们根据控制输出函数动态的所谓NeuralTangent Kernel的波动来解释这种渐近行为。对于分类任务,我们预测这些波动会增加真正的testror $ \ epsilon $为$ \ epsilon_ {N} - \ epsilon _ {\ infty} \ sim N ^ { - 1/2} + \ mathcal {O}(N ^ { - 3/4})$。该预测与我们在MNIST数据集上的实证结果一致,并且在具体情况下解释了令人费解的观察结果,即深度网络的预测能力随着拟合参数的数量增加而改善。这种渐近描述在所谓的模拟转换中发生故障,该转换发生在关键的$ N = N ^ * $,低于该值时,训练误差为非零。在没有正则化的情况下,我们观察到一个明显的分歧$ | \!| f_N | \!| \ sim(NN ^ *)^ { - \ alpha} $并提供一个简单的参数,建议$ \ alpha = 1 $,与经验观察一致。这导致了一个似乎合理的解释,即已知的测试误差中的尖点为$ N ^ * $。总的来说,我们的分析表明,一旦模型平均化,最佳模型复杂度就会超出数据库完美拟合的范围,这是实际重要性的结果,需要在各种体系结构和数据集中进行验证。
translated by 谷歌翻译