我们提出了一种基于注意力的方法,该方法将局部图像特征聚合到主题级表示以预测疾病严重性。与需要固定维度输入的经典深度学习相比,我们的方法在一组图像补丁上运行;因此它可以容纳可变长度输入图像而无需调整图像大小。该模型学习临床解释的主题水平表示,反映疾病的严重程度。我们的模型由三个相互依赖的模块组成,这些模块相互调节:(1)一个辨别网络,它从局部特征中学习固定长度的表示,并将它们映射到疾病严重程度; (2)通过关注对预测任务贡献最大的解剖学区域来提供可解释性的注意机制; (3)生成网络可以促进当地潜在特征的多样性。生成的关键是注意力量是非退化的,同时保持局部区域与疾病严重程度的相关性。我们在慢性阻塞性肺病(COPD)的大规模肺CT研究中训练我们的模式到终点。我们的模型为预测COPD严重程度的临床指标提供了最先进的性能。注意力的分布提供了肺组织与临床测量的区域相关性。
translated by 谷歌翻译
在可能发生在世界任何地方的人道主义援助 - 灾难救济(HADR)危机的过程中,实时信息通常由需要帮助的人员在线提供,反过来,这些信息可以由参与管理的不同利益相关者使用。危机自动处理这些职位可以大大提高这些工作的效率;例如,了解受影响人群特定区域的总体情绪可能有助于决策者了解如何最有效地分配资源以实现有效的灾难响应。但是,这些努力可能会受到当地语言资源可用性的严重限制。 DARPA项目针对紧急事件的低资源语言(LORELEI)旨在在这种人道主义危机背景下为低资源语言推进语言处理技术。在这项工作中,我们描述了LORELEI项目2019年情绪,情绪和认知状态(SEC)试点任务的提交。我们描述了我们提交中包含的情绪分析系统的集合以及提取的特征。我们的fieldingsystems在SEC试点任务的英语和西班牙语评估中取得了最好的成绩。
translated by 谷歌翻译
在本文中,我们介绍了我们的方法和SemEval 2019的子任务A和子任务B的系统描述任务6:识别和分类社交媒体中的攻击性语言。子任务A涉及识别给定的推文是否具有攻击性,而子任务B涉及检测攻击性推文是否针对某人(组或个人)。我们的子任务A模型基于卷积神经网络,双向LSTM机器人和双向LSTM +双向GRU的集合,而对于子任务B,我们依赖于从训练数据和手动观察得到的一组启发式算法。我们提供了使用训练模型获得的结果的详细分析。我们的团队在子任务A的103名参与者中排名第5,获得了0.807的宏观F1评分,并且在子任务B的75名参与者中排名第8,实现了0.695的宏观F1。
translated by 谷歌翻译
集合方法已广泛应用于强化学习(RL),以增强稳定性,提高收敛速度和改进探索。这些方法通常通过采用不同RL算法的聚合机制来执行。我们通过社会选择理论中的委员会投票规则的相似性表明,可以统一各种这些方法。我们将在集合方法中设计动作聚合机制的问题映射到投票问题,该投票问题在不同的投票规则下产生流行的基于集合的RL算法,如多数投票Q学习或自举Q学习。反过来,我们的统一框架允许我们设计具有更好性能的新的集合-RL算法。例如,我们将两个以多样性为中心的委员会投票规则,即SingleNon-Transferable Voting Rule和Chamberlin-Courant Rule,映射到新的RL算法中,这些算法在我们的实验中表现出极好的探索行为。
translated by 谷歌翻译
While neural networks have achieved high performance in different learning tasks, their accuracy drops significantly in the presence of small adver-sarial perturbations to inputs. Defenses based on regularization and adversarial training are often followed by new attacks to defeat them. In this paper, we propose attack-agnostic robustness certificates for a multi-label classification problem using a deep ReLU network. Although computing the exact distance of a given input sample to the classification decision boundary requires solving a non-convex optimization, we characterize two lower bounds for such distances, namely the simplex certificate and the decision boundary certificate. These robustness certificates leverage the piece-wise linear structure of ReLU networks and use the fact that in a polyhedron around a given sample, the prediction function is linear. In particular, the proposed simplex certificate has a closed-form, is differentiable and is an order of magnitude faster to compute than the existing methods even for deep networks. In addition to theoretical bounds, we provide numerical results for our certificates over MNIST and compare them with some existing upper bounds.
translated by 谷歌翻译
我们考虑一个双代理MDP框架,代理在协作设置中反复解决任务。我们研究了为第一个代理(A1)设计学习算法的问题,该问题促进了成功的协作,即使在第二个代理(A2)以未知方式调整其策略时也是如此。在我们的环境中,关键的挑战是,第二个代理人的存在会导致第一个代理人的稳定性和非遗忘性的奖励和转换。我们为代理A1设计了新颖的在线学习算法,如果代理A2政策的规模在两者之间发生变化,他们的后悔会减少$ O(T ^ {1- \ frac {3} {7} \ cdot \ alpha})$ $ T $学习情节任何两个连续剧集的上限由$ O(T ^ { - \ alpha})$限制。在这里,假设参数$ \ alpha $严格地大于$ 0 $,并且我们表明这个假设是必要的,因为{\ em学习奇偶校验噪声}问题在计算上很难。我们表明,代理A1的次线性遗憾进一步暗示了代理人对MDP的联合回报的近似最优性,这表明了{\ em smooth}游戏的特性。
translated by 谷歌翻译
我们通过逐点伯努利检验来研究学习未知,平滑概率函数的基本问题。我们提供了第一个可扩展的算法,可以通过严格的保证有效地解决这个问题。特别地,我们证明了后验更新规则对L2范数中的真实概率函数的收敛速度。此外,我们允许伯努利测试依赖于上下文特征,并提供一个修改的推理引擎,为这种新颖的设置提供可靠的保证。数值结果表明,经验收敛速度与理论相符,说明了我们的方法在处理上下文特征方面优于现有技术的优越性。
translated by 谷歌翻译
机器人需要情境意识,有效的语音产生和实现非语言手势,以便在社会中成功进行交流。在本文中,我们提出了我们的端到端系统,试图增强非语言手势的有效性。为了实现这一点,我们在TED扬声器的演奏中确定了主要使用的手势,并根据听众的注意力将它们映射到相应的语音环境和调制语音。所提出的方法利用Convolutional PoseMachine [4]来检测人类手势。 TED扬声器的主要手势用于学习手势到语音映射。他们的演讲用于训练模型。我们还通过进行社会调查评估了机器人与人的互动情况。机器人监控表演的有效性,并根据观众的注意力水平自动简化其演讲模式,这是通过摄像机的视觉反馈计算出来的。基于头部姿势检测和交互调查,进一步评估了交互的有效性以及在即兴期间做出的决定。
translated by 谷歌翻译
许多预测任务,尤其是计算机视觉中的预测任务,往往具有内在含义。例如,语义分段的输出可以取决于正在观察的比例,并且图像显着性或视频摘要通常是用户或上下文相关的。可以说,在这种情况下,利用特定于实例的证据(例如规模或用户上下文)可以帮助解决导致改进预测的基本模糊性。虽然现有文献已经考虑将这些证据纳入经典模型,例如概率图形模型(PGM),但在深度神经网络(DNN)模型的背景下,在这个问题上存在有限的(或没有)先前的工作。在本文中,我们提出了一种基于通用多任务学习(MTL)的框架,该框架将证据作为一个或多个辅助任务的输出处理,同时将原始问题建模为感兴趣的主要任务。我们的训练阶段与标准MTL体系结构使用的阶段相同。在预测期间,我们反向传播次要任务的损失,以便重新调整网络权重以匹配证据。早期停止或两个规范的正则化器确保权重不会与最初学习的权重显着不同。在两个特定场景中的实现(a)在给定图像级别标签的情况下预测语义分段(b)在给定图像的文本描述的情况下预测实例级别分割,清楚地证明了我们提出的方法的有效性。
translated by 谷歌翻译
我们认为机器教学问题处于教室式的环境中,教师必须向不同的学生群体提供相同的例子。他们的多样性源于他们初始内部状态的差异以及他们的学习率。我们证明了一位完全了解学生学习动态的教师可以使用O(min {d,N} log(1 / eps))示例向整个课堂教授目标概念,其中d是问题的环境维度,N是学习者的数量,eps是准确度参数。当教师对由嘈杂声提供的学习者内部动力学有一定的了解时,我们展示了我们教学策略的稳健性。此外,我们研究了学习者的工作量与教师目标概念教学成本之间的权衡。我们的实验验证了理论结果,并建议将课堂适当地划分为同质群体,从而在这两个目标之间取得平衡。
translated by 谷歌翻译