通过简明地表示许多变量的联合功能作为小功能的组合,离散图形模型(GMS)提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题(WCSP),以及在随机马尔可夫随机字段上的最大后验(MAP)推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程(LP)弛豫密切相关,并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来,据了解,凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善,引入了非凸毛蒙特罗风格方法,这些方法非常适合处理与二进制变量的组合问题的SDP放松(例如MaxCut,MaxSAT或地图/ ising)。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型,通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法,避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上,我们观察到BCD方法可以优于两种方法,并提供比本地常量/收敛消息传递方法更严格的边界。
translated by 谷歌翻译
我们开发一种方法来构造来自表示基本上非线性(或不可连锁的)动态系统的数据集构成低维预测模型,其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动,稀疏,非线性模型获得为低维,吸引动力系统的光谱子纤维(SSM)的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡,涡旋脱落和水箱中的晃动的实验测量。我们发现,在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。
translated by 谷歌翻译
放射学报告生成旨在产生计算机辅助诊断,以缓解放射科医生的工作量,并最近引起了越来越长的关注。然而,之前的深度学习方法倾向于忽视医学发现之间的相互影响,这可以是限制所生成的报告质量的瓶颈。在这项工作中,我们建议在信息知识图表中提出和代表医学发现的协会,并将此事先知识纳入放射学报告,以帮助提高所生成的报告质量。实验结果证明了我们在IU X射线数据集上的提出方法的优越性,Rouge-L为0.384 $ \ PM $ 0.007和0.340 $ \ PM $ 0.011。与以前的作品相比,我们的模型平均实现了1.6%(苹果酒和Rouge-L的增加2.0%和1.5%)。实验表明,先验知识可以为准确的放射学报告生成表现收益。我们将在https://github.com/bionlplab/report_generation_amia2022中公开公开可用的代码。
translated by 谷歌翻译
现有的分布式协作多智能体增强学习(MARL)框架通常假设通过共识算法估计全球奖励的无向协调图和通信图。这种框架可能导致昂贵的通信成本,并且由于全球共识的要求,可扩展性差。在这项工作中,我们使用定向协调图研究Marls,并提出了一种分布式RL算法,其中本地策略评估基于本地值函数。通过与其邻居通过定向的学习诱导的通信图来实现每个代理的本地值函数,而不使用任何共识算法。采用基于参数扰动的零顺序优化(动物园)方法来实现梯度估计。通过与现有的基于动物园的RL算法进行比较,我们表明我们提出的分布式RL算法可确保高可扩展性。示出了分布式资源分配示例来说明我们算法的有效性。
translated by 谷歌翻译
我们考虑在下一个成本和约束函数的预测存在下对在线凸优化的一般问题。通过将具有预测自适应动态步骤组合的跟随 - 正则化的引导迭代来设计一种新的原始双向算法。该算法实现$ \ mathcal o(t ^ {\ frac {3- \ beta} {4})$后悔和$ \ mathcal o(t ^ {\ frac {1+ \ beta} {2})$约束通过参数$ \ beta \!\ in \![1/2,1)$可调的违规界限,并且具有与预测质量缩小的恒定因素,实现最终$ \ mathcal o(1)$遗憾的完美预测。我们的工作扩展了这个约束OCO设置的FTRL框架,并优于基于最先进的贪婪的解决方案,而不会对预测质量,成本函数或约束的几何形状的条件突出,而不是凸出的。
translated by 谷歌翻译
有效的人类学习取决于广泛的教育材料,与学习者目前对该主题保持一致。虽然互联网彻底改变了人类的学习或教育,但仍存在大量资源可访问性障碍。即,过剩的在线信息可以使其充满努力导航和发现高质量的学习材料。在本文中,我们提出了教育资源发现(ERD)管道,用于为新颖域自动化Web资源发现。管道由三个主要步骤组成:数据收集,功能提取和资源分类。我们从一个已知的源域开始,通过传输学习在两个看不见的目标域上进行资源发现。我们首先从一组种子文档中收集频繁查询并在网上搜索以获取候选资源,例如讲座幻灯片和介绍博客帖子。然后我们介绍一个小说预用信息检索深神经网络模型,查询文件屏蔽语言建模(QD-MLM),以提取这些候选​​资源的深度特征。我们应用基于树的分类器来决定候选人是否是一个积极的学习资源。当在两个类似但新的靶域评估时,管道在评估时实现0.94和0.82的F1分数。最后,我们展示了该管道如何使应用程序有益于应用:调查的领先段落生成。这是据我们所知,这是考虑各种网络资源的研究。我们还释放了39,728个手动标记的Web资源的语料库,以及来自NLP,计算机视觉(CV)和统计信息(统计数据)的659个查询。
translated by 谷歌翻译
监督运营商学习是一种新兴机器学习范例,用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法,LOCA(学习操作员耦合注意力),激励了最近的注意机制的成功。在我们的体系结构中,输入函数被映射到有限的一组特征,然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合,LOCA能够明确地学习目标输出功能中的相关性,使我们能够近似非线性运算符,即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上,我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中,评估LOCA的表现,以及黑盒气候预测问题。通过这些场景,我们展示了最先进的准确性,对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播,即使对于分发超出预测任务。
translated by 谷歌翻译
异常值检测是指偏离一般数据分布的数据点的识别。现有的无监督方法经常遭受高计算成本,复杂的绰号调谐以及有限的解释性,特别是在使用大型高维数据集时。为了解决这些问题,我们介绍了一种称为ECOD(基于实证累积分布的异常值检测)的简单而有效的算法,这是由异常值常常出现在分布尾部的“罕见事件”的事实的启发。在简而言之,ECOD首先通过计算数据的各维度的经验累积分布来估计输入数据的基础分布以非参数。 ECOD然后使用这些经验分布来估计每个数据点的每维的尾部概率。最后,ECOD通过跨尺寸聚合估计的尾概率来计算每个数据点的异常值。我们的贡献如下:(1)我们提出了一种名为ECOD的新型异常检测方法,这既是可参数又易于解释; (2)我们在30个基准数据集上进行广泛的实验,在那里我们发现ECOD在准确性,效率和可扩展性方面优于11个最先进的基线; (3)我们释放易于使用和可扩展的(具有分布式支持)Python实现,以实现可访问性和再现性。
translated by 谷歌翻译
我们研究了批量策略优化中模型选择的问题:给定固定的部分反馈数据集和$ M $ Model类,学习具有与最佳模型类的策略具有竞争力的性能的策略。通过识别任何模型选择算法应最佳地折衷的错误,以线性模型类在与线性模型类中的内容匪徒设置中的问题正式化。(1)近似误差,(2)统计复杂性,(3 )覆盖范围。前两个来源是在监督学习的模型选择中常见的,在最佳的交易中,这些属性得到了很好的研究。相比之下,第三个源是批量策略优化的唯一,并且是由于设置所固有的数据集移位。首先表明,没有批处理策略优化算法可以同时实现所有三个的保证,展示批量策略优化的困难之间的显着对比,以及监督学习中的积极结果。尽管存在这种负面结果,但我们表明,在三个错误源中的任何一个都可以实现实现剩下的两个近乎oracle不平等的算法。我们通过实验结论,证明了这些算法的功效。
translated by 谷歌翻译
超越地球轨道的人类空间勘探将涉及大量距离和持续时间的任务。为了有效减轻无数空间健康危害,数据和空间健康系统的范式转移是实现地球独立性的,而不是Earth-Reliance所必需的。有希望在生物学和健康的人工智能和机器学习领域的发展可以解决这些需求。我们提出了一个适当的自主和智能精密空间健康系统,可以监控,汇总和评估生物医学状态;分析和预测个性化不良健康结果;适应并响应新累积的数据;并提供对其船员医务人员的个人深度空间机组人员和迭代决策支持的预防性,可操作和及时的见解。在这里,我们介绍了美国国家航空航天局组织的研讨会的建议摘要,以便在太空生物学和健康中未来的人工智能应用。在未来十年,生物监测技术,生物标志科学,航天器硬件,智能软件和简化的数据管理必须成熟,并编织成精确的空间健康系统,以使人类在深空中茁壮成长。
translated by 谷歌翻译