考虑由一个简单,离散的动力学系统产生的有限状态图,其中代理在矩形网格拾取和删除软件包中移动。问题的状态变量(即,代理位置和软件包位置)是否可以单独从状态图的结构中恢复,而无需访问有关对象,状态结构或任何背景知识的信息?我们表明,这是可能的,只要动力学是通过与域无关的一阶因果语言学习的,这为对象和关系提供了空间,而这些因果关系却被认为是所知的。与数据兼容的语言中最紧凑的表示的偏爱提供了强大而有意义的学习偏见,从而使其成为可能。结构化因果模型(SCM)的语言是代表(静态)因果模型的标准语言,但在由对象填充的动态世界中,需要诸如“经典AI计划”中使用的一阶因果语言。尽管“经典AI”需要手工制作的表示,但可以通过相同语言从非结构化数据中学到类似的表示形式。的确,是那些语言中的语言和对紧凑型表示的偏好为世界提供了结构,揭示了对象,关系和原因。
translated by 谷歌翻译
AI最近的突破表明了深度学习和深度增强学习的显着力量。然而,这些发展已与特定任务联系在一起,并且分销外概括的进展受到限制。虽然假设可以通过结合合适的感应偏差来克服这些限制,但感应偏差本身的概念往往含糊不清,并且不提供有意义的指导。在论文中,我阐述了不同的学习方法,其中表示没有从神经结构中的偏差产生偏差,而是通过具有已知语义的给定的目标语言来学习。基本思想隐含在主流AI中,其中表示代表以从一阶逻辑的片段到概率结构因果模型的语言编码。挑战是从数据中学习传统上用手制作的表示。泛化是语言语义的结果。本文的目标是使这些想法明确,将它们放在更广泛的背景下,其中目标语言的设计至关重要,并在学习行动和计划的背景下说明它们。为此,在一般讨论之后,我考虑学习行动,一般政策和亚国的陈述(“内在奖励”)。在这些情况下,学习被制定为组合问题,但没有任何东西可以防止使用深度学习技术。实际上,通过具有已知语言的语言的学习表示提供了一个待学习的内容,而使用神经网络的学习表示提供了可以学习陈述的补充说明。挑战和机会是将两者带到一起。
translated by 谷歌翻译
Imitation learning approaches achieve good generalization within the range of the training data, but tend to generate unpredictable motions when querying outside this range. We present a novel approach to imitation learning with enhanced extrapolation capabilities that exploits the so-called Equation Learner Network (EQLN). Unlike conventional approaches, EQLNs use supervised learning to fit a set of analytical expressions that allows them to extrapolate beyond the range of the training data. We augment the task demonstrations with a set of task-dependent parameters representing spatial properties of each motion and use them to train the EQLN. At run time, the features are used to query the Task-Parameterized Equation Learner Network (TP-EQLN) and generate the corresponding robot trajectory. The set of features encodes kinematic constraints of the task such as desired height or a final point to reach. We validate the results of our approach on manipulation tasks where it is important to preserve the shape of the motion in the extrapolation domain. Our approach is also compared with existing state-of-the-art approaches, in simulation and in real setups. The experimental results show that TP-EQLN can respect the constraints of the trajectory encoded in the feature parameters, even in the extrapolation domain, while preserving the overall shape of the trajectory provided in the demonstrations.
translated by 谷歌翻译
Transfer learning uses a data model, trained to make predictions or inferences on data from one population, to make reliable predictions or inferences on data from another population. Most existing transfer learning approaches are based on fine-tuning pre-trained neural network models, and fail to provide crucial uncertainty quantification. We develop a statistical framework for model predictions based on transfer learning, called RECaST. The primary mechanism is a Cauchy random effect that recalibrates a source model to a target population; we mathematically and empirically demonstrate the validity of our RECaST approach for transfer learning between linear models, in the sense that prediction sets will achieve their nominal stated coverage, and we numerically illustrate the method's robustness to asymptotic approximations for nonlinear models. Whereas many existing techniques are built on particular source models, RECaST is agnostic to the choice of source model. For example, our RECaST transfer learning approach can be applied to a continuous or discrete data model with linear or logistic regression, deep neural network architectures, etc. Furthermore, RECaST provides uncertainty quantification for predictions, which is mostly absent in the literature. We examine our method's performance in a simulation study and in an application to real hospital data.
translated by 谷歌翻译
基于模拟的推理的神经后验估计方法可能不适合通过在多个观测值上进行条件来处理后验分布,因为它们可能需要大量的模拟器调用以产生准确的近似值。神经可能性估计方法可以自然处理多个观察结果,但需要单独的推论步骤,这可能会影响其效率和性能。我们引入了一种基于模拟的推理的新方法,该方法享有两种方法的好处。我们建议对单个观察值引起的后验分布进行建模,并引入采样算法,该算法将学习分数结合在一起以有效地从目标中进行样本。
translated by 谷歌翻译
深度神经网络模型大量部署在各种硬件平台上。这导致出现新的攻击向量,这些攻击向量大大扩展了标准攻击表面,这是由对抗机器学习社区广泛研究的。旨在通过瞄准存储在内存中的参数(权重)的第一个旨在极大地降低模型性能的攻击之一是位翼攻击(BFA)。在这项工作中,我们指出了与BFA相关的一些评估挑战。首先,标准威胁模型中缺乏对手的预算是有问题的,尤其是在处理身体攻击时。此外,由于BFA提出了关键的可变性,因此我们讨论了某些培训参数的影响以及模型体系结构的重要性。这项工作是第一个介绍BFA对与卷积神经网络相比呈现不同行为的完全连接体系结构的影响的作品。这些结果突出了定义鲁棒和合理评估方法的重要性,以正确评估基于参数的攻击的危险,并衡量国防提供的实际鲁棒性水平。
translated by 谷歌翻译
最近对反向传播的近似(BP)减轻了BP的许多计算效率低下和与生物学的不兼容性,但仍然存在重要的局限性。此外,近似值显着降低了基准的准确性,这表明完全不同的方法可能更富有成果。在这里,基于在软冠军全网络中Hebbian学习的最新理论基础上,我们介绍了多层softhebb,即一种训练深神经网络的算法,没有任何反馈,目标或错误信号。结果,它通过避免重量传输,非本地可塑性,层更新的时间锁定,迭代平衡以及(自我)监督或其他反馈信号来实现效率,这在其他方法中是必不可少的。与最先进的生物学知识学习相比,它提高的效率和生物兼容性不能取得准确性的折衷,而是改善了准确性。 MNIST,CIFAR-10,STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器,分别达到99.4%,80.3%,76.2%和27.3%。总之,SOFTHEBB显示出与BP的截然不同的方法,即对几层的深度学习在大脑中可能是合理的,并提高了生物学上的机器学习的准确性。
translated by 谷歌翻译
我们提出协调指导矢量字段,以与机器人团队同时完成两个任务:首先,多个机器人的指导和导航到可能嵌入2D或3D中的可能不同的路径或表面;其次,他们的运动协调在跟踪他们的规定路径或表面时。运动配位是由路径或表面上的机器人之间所需的参数位移定义的。通过控制对应于指导矢量场之间的路径或表面参数的虚拟坐标来实现这种所需的位移。由动力学系统理论和Lyapunov理论支撑的严格数学保证,用于从所有初始位置上有效的分布式运动协调和机器人在路径或表面上导航。作为实用机器人应用的一个例子,我们从所提出的具有驱动饱和度的Dubins-car样模型的指导向量场中得出了一种对照算法。我们提出的算法分布并可扩展到任意数量的机器人。此外,广泛的说明性模拟和固定翼飞机户外实验验证了我们算法的有效性和鲁棒性。
translated by 谷歌翻译
现代视频游戏的规模和规模迅速增长,为了创造丰富而有趣的环境,需要大量内容。结果,通常使用数千个详细的3D资产来创建一个场景。由于每个资产的多边形网格可以包含数百万个多边形,因此需要绘制的多边形数量可能超过数十亿。因此,计算资源通常会限制场景中可以显示多少详细对象。为了推动此限制并优化性能,可以在可能的情况下减少资产的多边形计数。基本上,这个想法是,距捕获相机距离更远的对象,因此屏幕尺寸相对较小,其多边形计数可能会降低而不会影响感知的质量。细节级别(LOD)是指3D模型表示的复杂性水平。消除复杂性的过程通常称为减少LOD,可以使用算法或由艺术家手动自动完成。但是,如果不同的LOD显着差异,或者如果LOD降低过渡不是无缝的,则此过程可能导致视觉质量恶化。如今,这些结果的验证主要是手动要求专家在视觉上检查结果。但是,此过程是缓慢的,平凡的,因此容易出错。本文中,我们提出了一种根据深度卷积网络的使用来自动化此过程的方法。我们报告有希望的结果,并设想该方法可用于自动化LOD减少测试和验证过程。
translated by 谷歌翻译
游戏理论一直是控制疾病传播并提出个人和地区级别最佳政策的有效工具。在此AMS通知文章中,我们关注Covid-19的干预的决策制定,旨在提供数学模型和有效的机器学习方法,以及对过去实施的相关政策的理由,并如何解释当局如何解释当局从游戏理论的角度来看,决策会影响其邻近地区。
translated by 谷歌翻译