The purpose of this study is to introduce new design-criteria for next-generation hyperparameter optimization software. The criteria we propose include (1) define-by-run API that allows users to construct the parameter search space dynamically, (2) efficient implementation of both searching and pruning strategies, and (3) easy-to-setup, versatile architecture that can be deployed for various purposes, ranging from scalable distributed computing to light-weight experiment conducted via interactive interface. In order to prove our point, we will introduce Optuna, an optimization software which is a culmination of our effort in the development of a next generation optimization software. As an optimization software designed with define-by-run principle, Optuna is particularly the first of its kind. We will present the design-techniques that became necessary in the development of the software that meets the above criteria, and demonstrate the power of our new design through experimental results and real world applications. Our software is available under the MIT license (https://github.com/pfnet/optuna/).
translated by 谷歌翻译
我们已经开发了带有被动动态步行机制的双头机器人。这项研究提出了一个指南针模型，其摇摆质量连接到上半身，并沿水平方向振荡，以阐明上半身水平动力学对两足动物行走的影响。该模型的极限周期进行了数值搜索，并研究了它们的稳定性和能源效率。根据支持摇摆质量的弹簧常数，获得了几个不同的极限周期。特定类型的解决方案降低了稳定性，同时降低了意外下降并提高能源效率的风险。获得的结果归因于摇摆的质量朝与上半身相反的方向移动，从而防止行走时加速和减速的大幅变化。研究了所提出的模型的运动与实际的双头机器人与人类步态之间的关系。
translated by 谷歌翻译
期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。
translated by 谷歌翻译
由于社会心理健康问题的增加，近年来开发机器学习模型以进行心理健康检测或预测的研究有所增加。有效地使用心理健康预测或检测模型可以帮助精神卫生从业人员比目前更具客观地重新定义精神疾病，并在干预措施更有效的早期阶段确定疾病。但是，在该领域的机器学习模型中评估偏见仍然缺乏标准，这导致了提供可靠的预测和解决差异的挑战。由于技术困难，高维临床健康数据的复杂性等因素，因此缺乏标准持续存在，这对于生理信号尤其如此。这与某些生理信号与某些人口认同之间的关系的先前证据加强了探索利用生理信号的心理健康预测模型中偏见的重要性。在这项工作中，我们旨在进行公平分析，并使用ECG数据对焦虑预测模型实施基于多任务学习的偏差缓解方法。我们的方法基于认知不确定性及其与模型权重和特征空间表示的关系。我们的分析表明，我们的焦虑预测基本模型在年龄，收入，种族以及参与者是否在美国出生时引入了一些偏见，而我们的偏见缓解方法在减少模型中的偏见方面的表现更好重新加权缓解技术。我们对特征重要性的分析还有助于确定心率变异性与多个人口统计组之间的关系。
translated by 谷歌翻译
情绪预测在心理健康和情绪感知计算中起着至关重要的作用。情绪的复杂性质是由于其对一个人的生理健康，精神状态和周围环境的依赖而产生的，这使其预测一项艰巨的任务。在这项工作中，我们利用移动传感数据来预测幸福和压力。除了一个人的生理特征外，我们还通过天气和社交网络纳入了环境的影响。为此，我们利用电话数据来构建社交网络并开发机器学习体系结构，该架构从图形网络的多个用户中汇总信息，并将其与数据的时间动态集成在一起，以预测所有用户的情感。社交网络的构建不会在用户的EMA或数据收集方面产生额外的成本，也不会引起隐私问题。我们提出了一种自动化用户社交网络影响预测的架构，能够处理现实生活中社交网络的动态分布，从而使其可扩展到大规模网络。我们广泛的评估突出了社交网络集成提供的改进。我们进一步研究了图形拓扑对模型性能的影响。
translated by 谷歌翻译
从任务到任务的顺序训练正在成为深度学习应用中的主要对象之一，例如持续学习和转移学习。尽管如此，在训练有素的模型的性能改善或恶化的情况下，它仍然不清楚。为了深化我们对顺序培训的理解，本研究在不断学习的可解下的案例中提供了对概括性表现的理论分析。我们考虑神经切线内核（NTK）制度中的神经网络，以便将目标功能从任务中持续学习到任务，并通过使用核心脊的统计机械分析来调查延伸的核心脊的回归。我们首先表现出从积极转移到负转移的特征过渡。高于特定临界值的更类似的目标可以实现随后的任务的积极知识转移，而灾难性的遗忘也会发生，即使具有非常相似的目标。接下来，我们调查持续学习的变体，其中模型在多个任务中学习相同的目标函数。即使对于同一目标，训练型模型也会显示一些转移和遗忘，具体取决于每个任务的样本大小。我们可以保证泛化误差从任务单调减少到相同的样本大小的任务，而不平衡样本大小会降低泛化。我们分别指的是自我知识转移和遗忘的这些改善和恶化，并经验证实它们的深神经网络的现实培训。
translated by 谷歌翻译
我们研究限制的Boltzmann机器（RBM）提取的特征当它在各种温度下旋转模型的自旋配置时训练。使用训练的RBM，我们获得了自旋配置的迭代重建（RBM流量）的流程，并在某些情况下发现流程接近阶段转换点$ T = T_C $ IN ISING模型。由于在重建配置中强调提取的特征，因此在这种固定点处的配置应该除了提取的特征之外。然后，我们研究了固定点对各种参数的依赖性，并猜测RBM流程的固定点处于相位过渡点的状态。我们还通过分析训练RBM的重量矩阵来提供猜想的支持证据。
translated by 谷歌翻译
2020-07-09
我们介绍了ThreedWorld（TDW），是交互式多模态物理模拟的平台。 TDW能够模拟高保真感官数据和富裕的3D环境中的移动代理和对象之间的物理交互。独特的属性包括：实时近光 - 真实图像渲染;对象和环境库，以及他们定制的例程;有效构建新环境课程的生成程序;高保真音频渲染;各种材料类型的现实物理相互作用，包括布料，液体和可变形物体;可定制的代理体现AI代理商;并支持与VR设备的人类交互。 TDW的API使多个代理能够在模拟中进行交互，并返回一系列表示世界状态的传感器和物理数据。我们在计算机视觉，机器学习和认知科学中的新兴的研究方向上提供了通过TDW的初始实验，包括多模态物理场景理解，物理动态预测，多代理交互，像孩子一样学习的模型，并注意研究人类和神经网络。
translated by 谷歌翻译