我们呈现了一个用于学习视听表示的自我监督的框架。在我们的框架中引入了一种小说概念,其中除了学习模态和标准的“同步的”跨模型关系之外,riscross也会学习“异步”的跨模式关系。我们展示通过放松音频和视觉模态之间的时间同步性,网络了解强劲的时间不变的表示。我们的实验表明,音频和视觉方式的强大增强,可放松交叉模态时间同步优化性能。要预先绘制我们提出的框架,我们使用具有不同大小,动力学,动力学-400和augioset的不同数据集。学习的表示是在许多下游任务中评估的,即行动识别,声音分类和检索。 Crisscross显示了动作识别的最先进的性能(UCF101和HMDB51)和声音分类(ESC50)。将公开可用的代码和预赠品模型。
translated by 谷歌翻译
深度学习模型在各种自然语言处理任务中设置了基准。然而,这些模型需要巨大的培训数据,这在许多实际问题中是不可行的。虽然各种技术如域适应,但是几个学习技术解决了这个问题,我们介绍了一种积极地将外部知识的新技术引入学习以解决低数据制度问题。我们提出了一种称为Actknow的技术,它基于知识图(KG)的“按需”在学习中,激发了知识图表(KG)的知识(QA)。通过从概念网络中注入世界知识,我们对基于文本的基于文本的变压器模型的临时挑战 - 在低数据制度中的变压器模型上显示了显着的改进。例如,通过仅使用20%的训练示例,我们分别证明了弧形挑战和OpenBookQA的准确性提高了4%。
translated by 谷歌翻译
我们提出了一个用于动态培训互动的多层强化学习软件包,如循环,适应性和临时培训。我们的软件包围绕灵活的代理对象设计,可以轻松配置为支持不同的培训交互,并用混合奖励和n代理处理完全一般的多级环境。我们的包装基于StablyBaseLines3,我们的包装直接与现有强大的Deep RL算法一起使用。最后,Pantheonrl附带直观但功能的Web用户界面,用于配置实验并启动多个异步作业。我们的包裹可以在https://github.com/stanford-iliad/pantheonrl找到。
translated by 谷歌翻译
在这项研究中,我们将人工智力的普遍增强学习(URL)代理模型扩展到量子环境。经典探索随机知识寻求代理,KL-KSA的实用功能是从密度矩阵上量子信息理论的距离措施。量子处理断层扫描(QPT)算法形成了用于建模环境动态的易解的程序。基于基于算法复杂度以及计算资源复杂性的可变成本函数来选择最佳QPT策略。我们而不是提供机器,我们估计了高级语言的成本指标,以允许现实的实验。整个代理设计封装在自我复制Quine中,基于最佳策略选择方案的预测值突变成本函数。因此,具有帕累托 - 最佳QPT政策的多个代理商使用遗传编程而发展,模仿各种资源权衡的物理理论的发展。这一正式框架被称为量子知识寻求代理(QKSA)。尽管其重要性,但很少有量子强化学习模型与量子机器学习中的电流推力相反。 QKSA是类似于古典URL模型的框架的第一个提议。类似于AIXI-TL如何是SOLOMONOFF通用归纳的资源有限的活动版本,QKSA是一个资源有限的参与观察者框架,用于最近提出的基于量子力学的基于量子学的算法的重建。 QKSA可以应用于仿真和研究量子信息理论的方面。具体地,我们证明它可以用于加速量子变分算法,该算法包括断层重建作为其积分子程序。
translated by 谷歌翻译
我们提出了一种新的多功能增强学习的新型政策梯度方法,其利用了两个不同的差异减少技术,并且不需要在迭代上进行大量批次。具体而言,我们提出了一种基于势头的分散策略梯度跟踪(MDPGT),其中使用新的基于动量的方差减少技术来接近具有重要性采样的本地策略梯度代理,并采用中间参数来跟踪两个连续的策略梯度代理。此外,MDPGT可证明$ \ mathcal {o}的最佳可用样本复杂性(n ^ { - 1} \ epsilon ^ {-3})$,用于汇聚到全球平均值的$ \ epsilon $ -stationary点n $本地性能函数(可能是非旋转)。这优于在分散的无模型增强学习中的最先进的样本复杂性,并且当用单个轨迹初始化时,采样复杂性与现有的分散的政策梯度方法获得的样本复杂性匹配。我们进一步验证了高斯策略函数的理论索赔。当所需的误差容忍$ \ epsilon $足够小时,MDPGT导致线性加速,以前已经在分散的随机优化中建立,但不是为了加强学习。最后,我们在多智能体增强学习基准环境下提供了实证结果,以支持我们的理论发现。
translated by 谷歌翻译
有效的通信机制形成任何多机器人系统的骨干,以实现富有成效的协作和协调。在快速传播和聚合中存在基于异步传输的策略的限制将设计人员尽可能多地修剪这些要求。这也限制了移动多机器人系统的可能应用领域。在这项工作中,我们将基于并行的传输策略介绍为替代品。尽管常见地发现了同时传输的困难,例如微秒时间同步,硬件异质性等,但我们演示了如何利用多机器人系统。我们提出了一种分割架构,其中两个主要活动 - 通信和计算独立地进行并通过周期性相互作用进行协调。所提出的分离架构应用于自定义构建完整的网络控制系统,该控制系统由具有异质架构的五个双轮差分驱动器移动机器人组成。我们在领导者追随器设置中使用所提出的设计,以协调动态速度变化以及各种形状的独立形成。实验显示了厘米级空间和毫秒的时间准确度,同时在宽测试区域下花费非常低的无线电核心循环。
translated by 谷歌翻译
标准卷积神经网络(CNN)设计很少专注于明确捕获各种功能以增强网络性能的重要性。相反,大多数现有方法遵循增加或调整网络深度和宽度的间接方法,这在许多情况下显着提高了计算成本。受生物视觉系统的启发,我们提出了一种多样化和自适应的卷积网络(DA $ ^ {2} $ - net),它使任何前锋CNN能够明确地捕获不同的功能,并自适应地选择并强调最具信息性的功能有效地提高网络的性能。 DA $ ^ {2} $ - NET会引入可忽略不计的计算开销,它旨在与任何CNN架构轻松集成。我们广泛地评估了基准数据集的DA $ ^ {2} $ - 网上,包括CNN架构的CNN100,SVHN和Imagenet,包括CNN100。实验结果显示DA $ ^ {2} $ - NET提供了具有非常最小的计算开销的显着性能改进。
translated by 谷歌翻译
我们提出了EgoreRender,一种用于渲染由安装在盖帽或VR耳机上的可穿戴的专门鱼眼相机捕获的人的全身神经头像的系统。我们的系统使演员的质感性谱系景观和她的动作从任意虚拟相机位置。从如下视图和大型扭曲,渲染来自此类自主特征的全身头像具有独特的挑战。我们通过将渲染过程分解为几个步骤,包括纹理综合,构建和神经图像翻译来解决这些挑战。对于纹理合成,我们提出了EGO-DPNET,一个神经网络,其在输入的鱼眼图像和底层参数体模型之间倾少密集的对应,并从自我输入输入中提取纹理。此外,为了编码动态外观,我们的方法还学习隐式纹理堆栈,捕获横跨姿势和视点的详细外观变化。对于正确的姿态生成,我们首先使用参数模型从Egentric视图估算身体姿势。然后,我们通过将参数模型投影到用户指定的目标视点来综合外部释放姿势图像。我们接下来将目标姿势图像和纹理组合到组合特征图像中,该组合特征图像使用神经图像平移网络转换为输出彩色图像。实验评估表明,Egorenderer能够产生佩戴Egocentric相机的人的现实自由观点的头像。几个基线的比较展示了我们的方法的优势。
translated by 谷歌翻译
搭配机器人的效用在很大程度上取决于人类的简单和直观的相互作用机制。如果机器人在自然语言中接受任务指令,首先,它必须通过解码指令来了解用户的意图。然而,在执行任务时,由于观察到的场景的变化,机器人可能面临不可预见的情况,因此需要进一步的用户干预。在本文中,我们提出了一个称为谈话的系统,该系统使机器人能够通过在视觉上观察僵局来启动与教师的相干对话交换。通过对话,它要么在原始计划中找到一个提示,它是一个可接受的替代原始计划的替代方案,或者完全肯定地中止任务。为了实现可能的僵局,我们利用观察到的场景的密集标题和给定的指令,共同计算机器人的下一个动作。我们基于初始指令和情境场景对的数据集评估我们的系统。我们的系统可以识别僵局,并以适当的对话交换来解决82%的准确性。此外,与现有技术相比,用户学习表明,我们的系统的问题更自然(4.02平均为1到5的平均值)(平均3.08)。
translated by 谷歌翻译
超过30亿人缺乏护理皮肤病。AI诊断工具可能有助于早期皮肤癌检测;然而,大多数模型尚未在不同肤色或罕见疾病的图像上进行评估。为了解决这个问题,我们策划了多样化的皮肤科(DDI)DataSet - 这是一种具有不同皮肤色调的第一个公开的,病理证实的图像。我们展示了最先进的皮肤科AI模型在DDI上表现得很糟糕,ROC-AUC与模型的原始结果相比下降29-40%。我们发现暗肤色和罕见的疾病,在DDI数据集中提供良好,导致性能下降。此外,我们表明,无需多样化培训数据,我们表明最先进的强大培训方法无法纠正这些偏差。我们的研究结果确定了需要解决的皮肤病学AI中的重要弱点和偏见,以确保可靠应用于各种患者和所有疾病。
translated by 谷歌翻译