成功的人工智能系统通常需要大量标记的数据来从文档图像中提取信息。在本文中，我们研究了改善人工智能系统在理解文档图像中的性能的问题，尤其是在培训数据受到限制的情况下。我们通过使用加强学习提出一种新颖的填充方法来解决问题。我们的方法将信息提取模型视为策略网络，并使用策略梯度培训来更新模型，以最大程度地提高补充传统跨凝结损失的综合奖励功能。我们使用标签和专家反馈在四个数据集上进行的实验表明，我们的填充机制始终提高最先进的信息提取器的性能，尤其是在小型培训数据制度中。
translated by 谷歌翻译
法律文本的自动摘要是一个重要的且仍然是一个具有挑战性的任务，因为法律文件往往是长期的，并且具有不寻常的结构和风格。深层模型的最近进步培训结束于终端以可分辨率的损失总结自然文本，但在适用于合法领域时，它们会显示有限的结果。在本文中，我们建议使用强化学习来培养当前的深度摘要模型，以提高其对法律领域的表现。为此，我们采用了近端政策优化方法，并引入了新的奖励函数，鼓励一代满足词汇和语义标准的候选摘要。我们将我们的方法应用于培训不同的摘要骨架，并在3个公共法律数据集中遵守一致而显着的性能增益。
translated by 谷歌翻译
深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。
translated by 谷歌翻译
To apply federated learning to drug discovery we developed a novel platform in the context of European Innovative Medicines Initiative (IMI) project MELLODDY (grant n{\deg}831472), which was comprised of 10 pharmaceutical companies, academic research labs, large industrial companies and startups. The MELLODDY platform was the first industry-scale platform to enable the creation of a global federated model for drug discovery without sharing the confidential data sets of the individual partners. The federated model was trained on the platform by aggregating the gradients of all contributing partners in a cryptographic, secure way following each training iteration. The platform was deployed on an Amazon Web Services (AWS) multi-account architecture running Kubernetes clusters in private subnets. Organisationally, the roles of the different partners were codified as different rights and permissions on the platform and administrated in a decentralized way. The MELLODDY platform generated new scientific discoveries which are described in a companion paper.
translated by 谷歌翻译
无数据知识蒸馏（DFKD）最近引起了人们的关注，这要归功于其在不使用培训数据的情况下将知识从教师网络转移到学生网络的吸引力。主要思想是使用发电机合成数据以培训学生。随着发电机的更新，合成数据的分布将发生变化。如果发电机和学生接受对手的训练，使学生忘记了先前一步获得的知识，则这种分配转换可能会很大。为了减轻这个问题，我们提出了一种简单而有效的方法，称为动量对抗蒸馏（MAD），该方法维持了发电机的指数移动平均值（EMA）副本，并使用发电机和EMA生成器的合成样品来培训学生。由于EMA发电机可以被视为发电机旧版本的合奏，并且与发电机相比，更新的更改通常会发生较小的变化，因此对其合成样本进行培训可以帮助学生回顾过去的知识，并防止学生适应太快的速度发电机的新更新。我们在六个基准数据集上进行的实验，包括ImageNet和Place365，表明MAD的性能优于竞争方法来处理大型分配转移问题。我们的方法还与现有的DFKD方法相比，甚至在某些情况下达到了最新的方法。
translated by 谷歌翻译
元学习是一种处理不平衡和嘈杂标签学习的有效方法，但它取决于验证集，其中包含随机选择，手动标记和平衡的分布式样品。该验证集的随机选择和手动标记和平衡不仅是元学习的最佳选择，而且随着类的数量，它的缩放范围也很差。因此，最近的元学习论文提出了临时启发式方法来自动构建和标记此验证集，但是这些启发式方法仍然是元学习的最佳选择。在本文中，我们分析了元学习算法，并提出了新的标准来表征验证集的实用性，基于：1）验证集的信息性； 2）集合的班级分配余额； 3）集合标签的正确性。此外，我们提出了一种新的不平衡的嘈杂标签元学习（INOLML）算法，该算法会自动构建通过上面的标准最大化其实用程序来构建验证。我们的方法比以前的元学习方法显示出显着改进，并在几个基准上设定了新的最新技术。
translated by 谷歌翻译
COVID-19大流行已经暴露了全球医疗服务的脆弱性，增加了开发新颖的工具来提供快速且具有成本效益的筛查和诊断的需求。临床报告表明，Covid-19感染可能导致心脏损伤，心电图（ECG）可以作为Covid-19的诊断生物标志物。这项研究旨在利用ECG信号自动检测COVID-19。我们提出了一种从ECG纸记录中提取ECG信号的新方法，然后将其送入一维卷积神经网络（1D-CNN）中，以学习和诊断疾病。为了评估数字信号的质量，标记了基于纸张的ECG图像中的R峰。之后，将从每个图像计算的RR间隔与相应数字化信号的RR间隔进行比较。 COVID-19 ECG图像数据集上的实验表明，提出的数字化方法能够正确捕获原始信号，平均绝对误差为28.11 ms。我们提出的1D-CNN模型在数字化的心电图信号上进行了训练，允许准确识别患有COVID-19和其他受试者的个体，分类精度为98.42％，95.63％和98.50％，用于分类COVID-19 vs.正常，与正常人分类， COVID-19与异常心跳和Covid-19和其他类别分别与其他阶级。此外，提出的方法还为多分类任务实现了高级的性能。我们的发现表明，经过数字化的心电图信号训练的深度学习系统可以作为诊断Covid-19的潜在工具。
translated by 谷歌翻译
表示技术的快速发展和大规模医学成像数据的可用性必须在3D医学图像分析中快速增加机器学习的使用。特别是，深度卷积神经网络（D-CNN）是关键参与者，并被医学成像界采用，以协助临床医生和医学专家进行疾病诊断。然而，培训深层神经网络，例如在高分辨率3D体积的计算机断层扫描（CT）扫描中进行诊断任务的D-CNN带来了强大的计算挑战。这提出了开发基于深度学习的方法，这些方法在2D图像中具有强大的学习表示形式，而是3D扫描。在本文中，我们提出了一种新的策略，以根据沿轴的相邻切片的描述来训练CT扫描上的\ emph {slice level}分类器。特别是，每一个都是通过卷积神经网络（CNN）提取的。该方法适用于具有每片标签的CT数据集，例如RSNA颅内出血（ICH）数据集，该数据集旨在预测ICH的存在并将其分类为5个不同的子类型。我们在RSNA ICH挑战的最佳4 \％最佳解决方案中获得了单个模型，其中允许模型集成。实验还表明，所提出的方法显着优于CQ500上的基线模型。所提出的方法是一般的，可以应用于其他3D医学诊断任务，例如MRI成像。为了鼓励该领域的新进步，我们将在接受论文后制定我们的代码和预培训模型。
translated by 谷歌翻译
跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。
translated by 谷歌翻译
鉴于在各种条件和背景下捕获的图像的识别药物已经变得越来越重要。已经致力于利用基于深度学习的方法来解决文献中的药丸识别问题。但是，由于药丸的外观之间的相似性很高，因此经常发生错误识别，因此识别药丸是一个挑战。为此，在本文中，我们介绍了一种名为Pika的新颖方法，该方法利用外部知识来增强药丸识别精度。具体来说，我们解决了一种实用的情况（我们称之为上下文药丸识别），旨在在患者药丸摄入量的情况下识别药丸。首先，我们提出了一种新的方法，用于建模在存在外部数据源的情况下，在这种情况下，在存在外部处方的情况下，药丸之间的隐式关联。其次，我们提出了一个基于步行的图形嵌入模型，该模型从图形空间转换为矢量空间，并提取药丸的凝结关系。第三，提供了最终框架，该框架利用基于图像的视觉和基于图的关系特征来完成药丸识别任务。在此框架内，每种药丸的视觉表示形式都映射到图形嵌入空间，然后用来通过图表执行注意力，从而产生了有助于最终分类的语义丰富的上下文矢量。据我们所知，这是第一项使用外部处方数据来建立药物之间的关联并使用此帮助信息对其进行分类的研究。皮卡（Pika）的体系结构轻巧，并且具有将识别骨架纳入任何识别骨架的灵活性。实验结果表明，通过利用外部知识图，与基线相比，PIKA可以将识别精度从4.8％提高到34.1％。
translated by 谷歌翻译