在过去的两年中,从2020年到2021年,Covid-19在包括越南在内的许多国家 /地区都破坏了预防疾病措施,并对人类生活和社会社区的各个方面产生了负面影响。此外,社区中的误导性信息和有关大流行的虚假新闻也是严重的情况。因此,我们提出了第一个基于越南社区的问题答复数据集,用于开发COVID-19的问题答案系统,称为UIT-VICOV19QA。该数据集包括从可信赖的医疗来源收集的4,500对提问,至少有一个答案,每个问题最多有四个独特的解释答案。除数据集外,我们还建立了各种深度学习模型作为基线,以评估数据集的质量,并通过BLEU,Meteor和Rouge-l等常用指标来进一步研究基准结果,以进行进一步的研究。我们还说明了对这些模型进行多个解释答案的积极影响,尤其是在变压器上 - 研究领域的主要结构。
translated by 谷歌翻译
Temporal Graph Neural Network (TGNN) has been receiving a lot of attention recently due to its capability in modeling time-evolving graph-related tasks. Similar to Graph Neural Networks, it is also non-trivial to interpret predictions made by a TGNN due to its black-box nature. A major approach tackling this problems in GNNs is by analyzing the model' responses on some perturbations of the model's inputs, called perturbation-based explanation methods. While these methods are convenient and flexible since they do not need internal access to the model, does this lack of internal access prevent them from revealing some important information of the predictions? Motivated by that question, this work studies the limit of some classes of perturbation-based explanation methods. Particularly, by constructing some specific instances of TGNNs, we show (i) node-perturbation cannot reliably identify the paths carrying out the prediction, (ii) edge-perturbation is not reliable in determining all nodes contributing to the prediction and (iii) perturbing both nodes and edges does not reliably help us identify the graph's components carrying out the temporal aggregation in TGNNs.
translated by 谷歌翻译
在过去的几年中,已经引入了许多基于输入数据扰动的解释方法,以提高我们对黑盒模型做出的决策的理解。这项工作的目的是引入一种新颖的扰动方案,以便可以获得更忠实和强大的解释。我们的研究重点是扰动方向对数据拓扑的影响。我们表明,在对离散的Gromov-Hausdorff距离的最坏情况分析以及通过持久的同源性的平均分析中,沿输入歧管的正交方向的扰动更好地保留了数据拓扑。从这些结果中,我们引入EMAP算法,实现正交扰动方案。我们的实验表明,EMAP不仅改善了解释者的性能,而且还可以帮助他们克服最近对基于扰动的方法的攻击。
translated by 谷歌翻译
尽管最近关于了解深神经网络(DNN)的研究,但关于DNN如何产生其预测的问题仍然存在许多问题。特别是,给定对不同输入样本的类似预测,基本机制是否会产生这些预测?在这项工作中,我们提出了Neucept,这是一种局部发现关键神经元的方法,该神经元在模型的预测中起着重要作用,并确定模型的机制在产生这些预测中。我们首先提出一个关键的神经元识别问题,以最大程度地提高相互信息目标的序列,并提供一个理论框架,以有效地解决关键神经元,同时控制精度。Neucept接下来以无监督的方式学习了不同模型的机制。我们的实验结果表明,Neucept鉴定的神经元不仅对模型的预测具有强大的影响,而且还具有有关模型机制的有意义的信息。
translated by 谷歌翻译
时间图神经网络(TGNN)由于能够捕获图形拓扑依赖性和非线性时间动力学的能力而广泛用于建模与图形相关的任务。TGNN的解释对于透明和值得信赖的模型至关重要。但是,复杂的拓扑结构和时间依赖性使解释TGNN模型非常具有挑战性。在本文中,我们为TGNN模型提出了一个新颖的解释器框架。给定图表上的时间序列待解释,该框架可以在一个时间段内以概率图形模型的形式识别出主要的解释。关于运输域的案例研究表明,所提出的方法可以在一段时间内发现道路网络中的动态依赖性结构。
translated by 谷歌翻译
多分辨率的深度学习方法,例如U-NET体系结构,在分类和分割图像中已经达到了高性能。但是,这些方法不能提供潜在的图像表示形式,也不能用于分解,denoise和重建图像数据。 U-NET和其他卷积神经网络(CNNS)通常使用合并来扩大接受场,这通常会导致不可逆的信息丢失。这项研究建议包括riesz-quincunx(RQ)小波变换,结合1)高阶Riesz小波变换和2)在U-NET体系结构内正交Quincunx小波(两者都用于减少医学图像中的模糊) ,以减少卫星图像及其时间序列中的噪音。在变换的特征空间中,我们提出了一种变异方法,以了解特征的随机扰动如何影响图像以进一步降低噪声。结合两种方法,我们引入了一种用于减少卫星图像中噪声的图像和时间序列分解的混合Rqunet-VAE方案。我们提出了定性和定量的实验结果,表明与其他最先进的方法相比,我们提出的Rqunet-VAE在降低卫星图像中的噪声方面更有效。我们还将我们的方案应用于多波段卫星图像的多个应用程序,包括:通过扩散和图像分割分解图像denoising,图像和时间序列分解。
translated by 谷歌翻译
识别息肉对于在计算机辅助临床支持系统中自动分析内窥镜图像的自动分析具有挑战性。已经提出了基于卷积网络(CNN),变压器及其组合的模型,以分割息肉以有希望的结果。但是,这些方法在模拟息肉的局部外观方面存在局限性,或者在解码过程中缺乏用于空间依赖性的多层次特征。本文提出了一个新颖的网络,即结肠形式,以解决这些局限性。 Colonformer是一种编码器架构,能够在编码器和解码器分支上对远程语义信息进行建模。编码器是一种基于变压器的轻量级体系结构,用于在多尺度上建模全局语义关系。解码器是一种层次结构结构,旨在学习多层功能以丰富特征表示。此外,添加了一个新的Skip连接技术,以完善整体地图中的息肉对象的边界以进行精确分割。已经在五个流行的基准数据集上进行了广泛的实验,以进行息肉分割,包括Kvasir,CVC-Clinic DB,CVC-ColondB,CVC-T和Etis-Larib。实验结果表明,我们的结肠构造者在所有基准数据集上的表现优于其他最先进的方法。
translated by 谷歌翻译
我们为神经机翻译(NMT)提供了一个开源工具包。新工具包主要基于拱形变压器(Vaswani等,2017)以及下面详述的许多其他改进,以便创建一个独立的,易于使用,一致和全面的各个领域的机器翻译任务框架。它是为了支持双语和多语言翻译任务的工具,从构建各个语料库的模型开始推断新的预测或将模型打包给提供功能的JIT格式。
translated by 谷歌翻译
近年来,知识蒸馏(KD)被认为是模型压缩和加速度的关键解决方案。在KD中,通过最大限度地减少两者的概率输出之间的分歧,一项小学生模型通常从大师模型中培训。然而,如我们实验中所示,现有的KD方法可能不会将老师的批判性解释知识转移给学生,即两种模型所做的预测的解释并不一致。在本文中,我们提出了一种新颖的可解释的知识蒸馏模型,称为XDistillation,通过该模型,解释信息都从教师模型转移到学生模型。 Xdistillation模型利用卷积的自动统计学器的想法来近似教师解释。我们的实验表明,由Xdistillation培训的模型优于传统KD方法的那些不仅在预测准确性的术语,而且对教师模型的忠诚度。
translated by 谷歌翻译
Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.
translated by 谷歌翻译