Purpose: Trans-oral robotic surgery (TORS) using the da Vinci surgical robot is a new minimally-invasive surgery method to treat oropharyngeal tumors, but it is a challenging operation. Augmented reality (AR) based on intra-operative ultrasound (US) has the potential to enhance the visualization of the anatomy and cancerous tumors to provide additional tools for decision-making in surgery. Methods: We propose and carry out preliminary evaluations of a US-guided AR system for TORS, with the transducer placed on the neck for a transcervical view. Firstly, we perform a novel MRI-transcervical 3D US registration study. Secondly, we develop a US-robot calibration method with an optical tracker and an AR system to display the anatomy mesh model in the real-time endoscope images inside the surgeon console. Results: Our AR system reaches a mean projection error of 26.81 and 27.85 pixels for the projection from the US to stereo cameras in a water bath experiment. The average target registration error for MRI to 3D US is 8.90 mm for the 3D US transducer and 5.85 mm for freehand 3D US, and the average distance between the vessel centerlines is 2.32 mm. Conclusion: We demonstrate the first proof-of-concept transcervical US-guided AR system for TORS and the feasibility of trans-cervical 3D US-MRI registration. Our results show that trans-cervical 3D US is a promising technique for TORS image guidance.
translated by 谷歌翻译
Many real-world applications of language models (LMs), such as code autocomplete and writing assistance, involve human-LM interaction, but the main LM benchmarks are non-interactive, where a system produces output without human intervention. To evaluate human-LM interaction, we develop a framework, Human-AI Language-based Interaction Evaluation (H-LINE), that expands non-interactive evaluation along three dimensions, capturing (i) the interactive process, not only the final output; (ii) the first-person subjective experience, not just a third-party assessment; and (iii) notions of preference beyond quality. We then design five tasks ranging from goal-oriented to open-ended to capture different forms of interaction. On four state-of-the-art LMs (three variants of OpenAI's GPT-3 and AI21's J1-Jumbo), we find that non-interactive performance does not always result in better human-LM interaction and that first-person and third-party metrics can diverge, suggesting the importance of examining the nuances of human-LM interaction.
translated by 谷歌翻译
Machine learning (ML) is revolutionizing protein structural analysis, including an important subproblem of predicting protein residue contact maps, i.e., which amino-acid residues are in close spatial proximity given the amino-acid sequence of a protein. Despite recent progresses in ML-based protein contact prediction, predicting contacts with a wide range of distances (commonly classified into short-, medium- and long-range contacts) remains a challenge. Here, we propose a multiscale graph neural network (GNN) based approach taking a cue from multiscale physics simulations, in which a standard pipeline involving a recurrent neural network (RNN) is augmented with three GNNs to refine predictive capability for short-, medium- and long-range residue contacts, respectively. Test results on the ProteinNet dataset show improved accuracy for contacts of all ranges using the proposed multiscale RNN+GNN approach over the conventional approach, including the most challenging case of long-range contact prediction.
translated by 谷歌翻译
th骨海星(COTS)爆发是大屏障礁(GBR)珊瑚损失的主要原因,并且正在进行实质性的监视和控制计划,以将COTS人群管理至生态可持续的水平。在本文中,我们在边缘设备上介绍了基于水下的水下数据收集和策展系统,以进行COTS监视。特别是,我们利用了基于深度学习的对象检测技术的功能,并提出了一种资源有效的COTS检测器,该检测器在边缘设备上执行检测推断,以帮助海上专家在数据收集阶段进行COTS识别。初步结果表明,可以将改善计算效率的几种策略(例如,批处理处理,帧跳过,模型输入大小)组合在一起,以在Edge硬件上运行拟议的检测模型,资源消耗较低,信息损失较低。
translated by 谷歌翻译
Graph Machine Learning(GraphMl)将经典的机器学习推广到不规则的图形域,它享有最近的文艺复兴时期,导致了令人眼花and乱的模型及其在多个域中的应用。随着政府机构对可信赖的AI系统的敏感领域和法规的日益适用性,研究人员已开始研究透明度和图形学习的隐私问题。但是,这些主题主要是独立研究的。在该立场论文中,我们提供了有关GraphMl隐私和透明度相互作用的统一观点。
translated by 谷歌翻译
隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息,我们提出了几种图形重建攻击。我们表明,事后功能解释的其他知识大大提高了这些攻击的成功率。此外,我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异:基于梯度,基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多,但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释,隐私泄漏随着解释实用程序的增加而增加。最后,我们提出了基于随机响应机制的防御,以释放大大降低攻击成功率的解释。我们的匿名代码可用。
translated by 谷歌翻译
解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知,由于缺乏公认的基准,评估图形神经网络(GNN)的可解释性方法是具有挑战性的。鉴于GNN模型,存在几种可解释性方法来解释具有多种(有时相互矛盾的)方法论的GNN模型。在本文中,我们提出了一个基准,用于评估称为Bagel的GNN的解释性方法。在百吉饼中,我们首先提出了四种不同的GNN解释评估制度 - 1)忠诚,2)稀疏性,3)正确性。 4)合理性。我们在现有文献中调和多个评估指标,并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络,文档图,到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现,并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。
translated by 谷歌翻译
对疾病的准确和早期预测可以计划和改善患者未来生活的质量。在大流行的情况下,医疗决定成为速度挑战,医师必须迅速采取行动诊断和预测疾病严重程度的风险,此外,这对于帕金森氏病(如帕金森氏病)的神经退行性疾病也很高。具有特征选择(FS)技术的机器学习(ML)模型可以应用于帮助医生快速诊断疾病。 FS最佳子集功能,可改善模型性能并帮助减少患者所需的测试数量,从而加快诊断的速度。这项研究表明,预先应用于分类器算法,逻辑回归,在非侵入性测试结果数据上预先应用于分类器算法的结果。这三个FS是基于滤波器的方法的方差分析(ANOVA),最小绝对收缩和选择操作员(LASSO)作为嵌入式方法和顺序特征选择(SFS)作为包装方法。结果表明,FS技术可以帮助构建有效的分类器,从而改善分类器的性能,同时减少计算时间。
translated by 谷歌翻译
荆棘冠的海星(婴儿床)爆发是珊瑚损失的主要原因是巨大的障碍礁(GBR),并且正在进行大量监测和控制计划,以试图管理生态可持续水平的COTS群体。我们释放了GBR上的COTS爆发区域的大规模注释的水下图像数据集,以鼓励机器学习和AI驱动技术的研究,以改善珊瑚礁秤上的COTS群体的检测,监测和管理。该数据集发布并托管在一次竞争中,挑战国际机器学习界,并从这些水下图像中的COTS检测的任务挑战。
translated by 谷歌翻译
病毒感染导致全世界的显着发病率和死亡率。理解特定病毒和人类蛋白质之间的相互作用模式在揭示病毒感染和发病机制的潜在机制方面发挥着至关重要的作用。这可以进一步帮助预防和治疗病毒相关疾病。然而,由于病毒 - 人类相互作用的稀缺数据和大多数病毒的快速突变率,预测新病毒和人体细胞之间的蛋白质 - 蛋白质相互作用的任务是非常挑战性的。我们开发了一种多任务转移学习方法,利用人类互乱组约2400万蛋白序列和相互作用模式的信息来解决小型训练数据集的问题。除了使用手工制作的蛋白质特征,而不是通过深语模型方法从巨大的蛋白质序列来源学习的统计学上丰富的蛋白质表示。此外,我们采用了额外的目的,旨在最大限度地提高观察人蛋白质蛋白质相互作用的可能性。这一附加任务目标充当规律器,还允许纳入域知识来告知病毒 - 人蛋白质 - 蛋白质相互作用预测模型。我们的方法在13个基准数据集中实现了竞争力,以及SAR-COV-2病毒受体的案例研究。实验结果表明,我们所提出的模型有效地用于病毒 - 人和细菌 - 人蛋白质 - 蛋白质 - 蛋白质相互作用预测任务。我们分享我们的重复性和未来研究代码,以便在https://git.l3s.uni-hannover.de/dong/multitastastastastastastastastastask-transfer。
translated by 谷歌翻译