尽管对临床机器学习研究有强烈的关注和相当大的投资，但在现实世界的临床环境中，在大规模的应用中已经部署了相对较少的应用。虽然研究在推进最先进的情况下很重要，但翻译同样重要的是，使这些技术和技术能够最终影响医疗保健。我们认为对几个考虑缺乏升值是在期望和现实之间这种差异的主要原因。为了更好地描述研究人员和从业者之间的整体视角，我们调查了几个从业人员在开发CML中进行临床部署的商业经验。使用这些洞察力，我们确定了几个主要类别的挑战，以便更好地设计和开发临床机学习应用。

Artificial Intelligence (AI) has become commonplace to solve routine everyday tasks. Because of the exponential growth in medical imaging data volume and complexity, the workload on radiologists is steadily increasing. We project that the gap between the number of imaging exams and the number of expert radiologist readers required to cover this increase will continue to expand, consequently introducing a demand for AI-based tools that improve the efficiency with which radiologists can comfortably interpret these exams. AI has been shown to improve efficiency in medical-image generation, processing, and interpretation, and a variety of such AI models have been developed across research labs worldwide. However, very few of these, if any, find their way into routine clinical use, a discrepancy that reflects the divide between AI research and successful AI translation. To address the barrier to clinical deployment, we have formed MONAI Consortium, an open-source community which is building standards for AI deployment in healthcare institutions, and developing tools and infrastructure to facilitate their implementation. This report represents several years of weekly discussions and hands-on problem solving experience by groups of industry experts and clinicians in the MONAI Consortium. We identify barriers between AI-model development in research labs and subsequent clinical deployment and propose solutions. Our report provides guidance on processes which take an imaging AI model from development to clinical implementation in a healthcare institution. We discuss various AI integration points in a clinical Radiology workflow. We also present a taxonomy of Radiology AI use-cases. Through this report, we intend to educate the stakeholders in healthcare and AI (AI researchers, radiologists, imaging informaticists, and regulators) about cross-disciplinary challenges and possible solutions.

机器学习透明度（ML），试图揭示复杂模型的工作机制。透明ML承诺推进人为因素在目标用户中以人为本的人体目标的工程目标。从以人为本的设计视角，透明度不是ML模型的属性，而是一种能力，即算法与用户之间的关系;因此，与用户的迭代原型和评估对于获得提供透明度的充足解决方案至关重要。然而，由于有限的可用性和最终用户，遵循了医疗保健和医学图像分析的人以人为本的设计原则是具有挑战性的。为了调查医学图像分析中透明ML的状态，我们对文献进行了系统审查。我们的评论在医学图像分析应用程序的透明ML的设计和验证方面揭示了多种严重的缺点。我们发现，大多数研究到达迄今为止透明度作为模型本身的属性，类似于任务性能，而不考虑既未开发也不考虑最终用户也不考虑评估。此外，缺乏用户研究以及透明度声明的偶发验证将当代研究透明ML的医学图像分析有可能对用户难以理解的风险，因此临床无关紧要。为了缓解即将到来的研究中的这些缺点，同时承认人以人为中心设计在医疗保健中的挑战，我们介绍了用于医学图像分析中的透明ML系统的系统设计指令。 Intrult指南建议形成的用户研究作为透明模型设计的第一步，以了解用户需求和域要求。在此过程之后，会产生支持设计选择的证据，最终增加了算法提供透明度的可能性。

机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。

期望与成功采用AI来创新和改善业务之间仍然存在很大的差距。由于深度学习的出现，AI的采用率更为复杂，因为它经常结合大数据和物联网，从而影响数据隐私。现有的框架已经确定需要专注于以人为中心的设计，结合技术和业务/组织的观点。但是，信任仍然是一个关键问题，需要从一开始就设计。拟议的框架从以人为本的设计方法扩展，强调和维持基于该过程的信任。本文提出了负责人工智能（AI）实施的理论框架。拟议的框架强调了敏捷共同创造过程的协同业务技术方法。目的是简化AI的采用过程来通过在整个项目中参与所有利益相关者来创新和改善业务，以便AI技术的设计，开发和部署与人合作而不是孤立。该框架对基于分析文献综述，概念框架设计和从业者的中介专业知识的负责人AI实施提出了新的观点。该框架强调在以人为以人为中心的设计和敏捷发展中建立和维持信任。这种以人为中心的方式与设计原则的隐私相符和启用。该技术和最终用户的创建者正在共同努力，为业务需求和人类特征定制AI解决方案。关于采用AI来协助医院计划的说明性案例研究将证明该拟议框架适用于现实生活中的应用。

这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此，我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战，这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题，旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作，包括决策者，建模者和潜在影响社区的成员，以严格评估数据驱动的算法的特定设计的合理性和使用系统。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

部署的AI系统通常不起作用。它们可以随意地构造，不加选择地部署并欺骗性地促进。然而，尽管有这一现实，但学者，新闻界和决策者对功能的关注很少。这导致技术和政策解决方案的重点是“道德”或价值一致的部署，通常会跳过先前的问题，即给定系统功能或完全提供任何好处。描述各种功能失败的危害，我们分析一组案例研究，以创建已知的AI功能问题的分类法。然后，我们指出的是政策和组织响应，这些策略和组织响应经常被忽略，并在功能成为重点后变得更容易获得。我们认为功能是一项有意义的AI政策挑战，是保护受影响社区免受算法伤害的必要第一步。

近年来，获得医疗保健监管批准的机器学习（ML）技术的数量已大大增加，从而使其可以投入市场。但是，与ML的数据驱动和学习的行为相比，最初是为传统软件设计了用于它们的监管框架。由于框架正在改革的过程中，因此有必要主动确保ML的安全以防止患者的安全受到损害。在自主系统（AMLAS）方法中使用的机器学习的保证是由基于系统安全性良好概念的Assunity International计划开发的。这篇综述通过咨询ML制造商了解该方法是否融合或与其当前安全保证实践有所不同，是否存在差距和限制，是否有差距和局限性，以及当应用于医疗保健领域时是否适合目的。通过这项工作，我们认为，当应用于医疗机器学习技术时，AMLAS是一种安全保证方法，尽管医疗保健特定的补充指导的开发将使实施该方法论的人受益。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

随着各种公开的AI伦理原则的共识，差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构（CSIRO）的研究人员和工程师的实践和经验，他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括：隐私保护和安全，可靠性和安全性，透明度和解释性，公平性，竞争性，责任，人以人为本的价值观和人类，社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后，提供了一系列组织响应，以支持实施高级AI道德原则。

The SNMMI Artificial Intelligence (SNMMI-AI) Summit, organized by the SNMMI AI Task Force, took place in Bethesda, MD on March 21-22, 2022. It brought together various community members and stakeholders from academia, healthcare, industry, patient representatives, and government (NIH, FDA), and considered various key themes to envision and facilitate a bright future for routine, trustworthy use of AI in nuclear medicine. In what follows, essential issues, challenges, controversies and findings emphasized in the meeting are summarized.

在每日新兴科学调查和发现的世界中，跨行业的机器学习的多产推出对于熟悉ML潜力的人来说令人惊讶。这种伦理集中研究的一致性既不是对源于同一申请的偏见和不公平问题的回应而产生的。对抗算法偏差的技术的公平研究现在比以往任何时候都更加支持。大部分公平研究已经开始生产工具，即机器学习从业者可以在设计其算法时审核偏差。尽管如此，在实践中缺乏应用这些公平解决方案。该系统审查提供了已经定义的算法偏置问题的深入摘要，并提出了公平解决空间。此外，本综述提供了对溶液空间的深入崩溃，自释放以来出现的溶液空间以及机器学习从业者，公平研究人员和机构利益攸关方提出的需求的分类。这些需求已经组织并向各方组织并解决了其实施，包括公平研究人员，产生ML算法的组织以及机器学习从业者自己。这些发现可以在未来使用，以弥合从业者和公平专家之间的差距，并告知创建可用的展示展示率工具包。

连续的软件工程在许多领域已变得司空见惯。但是，在调节需要考虑其他问题的密集部门时，通常认为很难采用连续的开发方法，例如DevOps。在本文中，我们提出了一种将拉力请求用作设计控件的方法，并将这种方法应用于认证的医疗系统中的机器学习，这是一种新颖的技术，这是一种新颖的技术，旨在为机器学习系统增加解释性，作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法，以证明如何以连续的方式开发医疗系统。

本文介绍了一种使用旨在解决现实世界应用中CDSS的低适用性和可扩展性问题的数据驱动的预测模型来构建一致和适用的临床决策支持系统（CDSS）的方法。该方法基于域特定和数据驱动的支持程序的三种特定于域和数据驱动的支持程序，该程序将被纳入临床业务流程，具有更高的信任和预测结果和建议的解释性。在考虑的三个阶段，监管策略，数据驱动模式和解释程序被集成，以实现与决策者的自然域特定的互动，具有智能决策支持焦点的连续缩小。该提出的方法能够实现更高水平的自动化，可扩展性和CDSS的语义解释性。该方法是在软件解决方案中实现的，并在T2DM预测中进行了测试，使我们能够改善已知的临床尺度（例如FindRisk），同时保持与现有应用程序类似的特定问题的推理界面。这种继承与三分阶段的方法一起提供了更高的解决方案兼容性，并导致数据驱动的解决方案在现实案件中的信任，有效和解释应用。

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

计算病理（CPATH）是一种具有关于组织病理研究的新兴领域，通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积，以预测诊断域，预测，治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据，CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中，我们讨论了CPATH限制和相关挑战，使读者能够区分HIPE的希望，并为未来的研究提供指示，以克服这个崭露头角领域的一些主要挑战，以使其发射到两个轨道上。

已经开发出各种工具和实践来支持从业者识别，评估和减轻AI系统造成的公平相关危害。然而，现有研究突出了这些工具和实践的预期设计与特定背景下的使用之间的差距，包括由组织因素在塑造公平工作中发挥的作用引起的差距。在本文中，我们研究了一个这样的实践的这些差距：AI系统的分类评估，旨在揭示人口统计组之间的表现差异。通过在三个技术公司的十支队伍中进行半结构化访谈和三十三名艾尔从业人员，我们在设计分列的评估时，我们识别从业者的流程，挑战，并对支持的需求。我们发现从业者在选择绩效指标时面临挑战，识别最相关的直接利益相关者和在其上进行重点的人口统计集团，并收集其进行分类评估的数据集。更一般地说，我们识别对公平工作的影响，这些工作缺乏与直接利益相关者的订婚，优先考虑通过边缘化群体的客户，以及以规模部署AI系统的驱动器。

抗微生物抗性（AMR）是日益增长的公共卫生威胁，估计每年造成超过1000万人死亡，在现状预测下，到2050年，全球经济损失了100万亿美元。这些损失主要是由于治疗失败的发病率和死亡率增加，医疗程序中的AMR感染以及归因于AMR的生活质量损失所致。已经提出了许多干预措施来控制AMR的发展并减轻其传播带来的风险。本文回顾了细菌AMR管理和控制的关键方面，这些方面可以利用人工智能，机器学习以及数学和统计建模等数据技术，这些领域在本世纪已经快速发展。尽管数据技术已成为生物医学研究的组成部分，但它们对AMR管理的影响仍然很小。我们概述了使用数据技术来打击AMR，详细介绍了四个互补类别的最新进展：监视，预防，诊断和治疗。我们在生物医学研究，临床实践和“一个健康”背景下使用数据技术提供了有关当前AMR控制方法的概述。我们讨论了数据技术的潜在影响和挑战在高收入和中等收入国家中面临的实施，并建议将这些技术更容易地整合到医疗保健和公共卫生中所需的具体行动，并建议使用具体的行动部门。