通过比较算法性能，公共攀爬的攀岩可以大大加速ML研究。但是，它需要与任务相关的指标。对于涉及寄生虫负荷的疾病，例如疟疾和被忽视的热带疾病（NTDS），例如血吸虫病，目前在ML论文中报道的指标（例如AUC，F1分数）不适合临床任务。结果，爬山系统并没有使解决这些严重疾病的解决方案取得进展。本文借鉴了疟疾和NTD的示例，在当前的ML实践中强调了两个差距，并提出了改进的方法：（i）我们描述了ML开发的方面，尤其是性能指标，需要将其牢固地基于临床用途案例。 ，我们提供获取此领域知识的方法。 （ii）我们详细描述了绩效指标，以指导涉及寄生虫负荷的疾病的ML模型的开发。我们强调了患者级别的观点，室内变异性，假阳性率，检测限制和不同类型的错误的重要性。我们还讨论了在这种情况下常用的ROC曲线和AUC的问题。

疟疾是一种威胁生命的疾病，影响了数百万。基于显微镜的薄膜评估是（i）确定疟疾物种和（ii）定量高寄生虫感染的标准方法。通过机器学习（ML）对疟疾显微镜的完全自动化是一项具有挑战性的任务，因为预先准备的滑动在质量和表现方面差异很大，并且伪像通常超过相对较少的寄生虫。在这项工作中，我们描述了一个用于薄膜疟疾分析的完整，完全自动化的框架，该框架应用了ML方法，包括卷积神经网（CNN），该方法在大型且多样化的田间预先准备的薄膜数据集中进行了训练。定量和物种鉴定结果几乎足够准确地满足了耐药性监测和临床用例的混凝土需求。我们将方法和性能指标集中在现场用例要求上。我们讨论了将ML方法应用于疟疾显微镜的关键问题和重要指标。

尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。

自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是，当前的度量使用通常是不明智的，并且不能反映基本的域名。在这里，我们提出了一个全面的框架，该框架指导研究人员以问题意识的方式选择绩效指标。具体而言，我们专注于生物医学图像分析问题，这些问题可以解释为图像，对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ，数据集和算法与输出问题相关的属性的属性与问题指纹相关，同时还将其映射到适当的问题类别，即图像级分类，语义分段，实例，实例细分或对象检测。然后，它指导用户选择和应用一组适当的验证指标的过程，同时使他们意识到与个人选择相关的潜在陷阱。在本文中，我们描述了指标重新加载推荐框架的当前状态，目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的，将在社区驱动的优化之后公开作为用户友好的工具包提供。

机器预测算法（例如，二进制分类器）通常是基于使用经典指标（例如敏感性和预测价值）所声称的性能来采用的。但是，分类器的性能在很大程度上取决于分类器在其中运行的上下文（工作流）。除非达到某些隐式假设，否则经典指标不能反映预测变量的实用性，并且在许多常见的临床情况下无法实现这些假设。这通常会导致次优的实现，并在没有实现预期结果时感到失望。当可以对同一事件做出多个预测时，出现经典指标的一种常见故障模式，尤其是当冗余的真实积极预测几乎没有额外的价值时。这描述了许多临床警报系统。我们解释了为什么经典指标无法在这种情况下正确地表示预测指标的性能，并使用实用程序功能引入改进的性能评估技术，以根据其在特定工作流程中的效用进行预测。由此产生的公用事业指标（U-Metrics）明确解释了时间关系对预测实用程序的影响。与传统措施相比，U-Metrics更准确地反映了在现场临床背景下运行的预测因子的现实成本和收益。改进可能很重要。我们还描述了一种正式的打sn饮方法，这是一种缓解策略，其中一些预测被抑制以通过在保留事件捕获的同时降低假阳性来改善预测性绩效。 Snoozing对于产生干扰性警报的预测因素特别有用。 U-Metrics正确测量并预测了Snooing的性能优势，而传统指标则没有。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

Receiver operating characteristics (ROC) graphs are useful for organizing classifiers and visualizing their performance. ROC graphs are commonly used in medical decision making, and in recent years have been used increasingly in machine learning and data mining research. Although ROC graphs are apparently simple, there are some common misconceptions and pitfalls when using them in practice. The purpose of this article is to serve as an introduction to ROC graphs and as a guide for using them in research.

计算病理（CPATH）是一种具有关于组织病理研究的新兴领域，通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积，以预测诊断域，预测，治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据，CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中，我们讨论了CPATH限制和相关挑战，使读者能够区分HIPE的希望，并为未来的研究提供指示，以克服这个崭露头角领域的一些主要挑战，以使其发射到两个轨道上。

小型太阳能光伏（PV）阵列中电网的有效集成计划需要访问高质量的数据：单个太阳能PV阵列的位置和功率容量。不幸的是，不存在小型太阳能光伏的国家数据库。那些确实有限的空间分辨率，通常汇总到州或国家一级。尽管已经发布了几种有希望的太阳能光伏检测方法，但根据研究，研究这些模型的性能通常是高度异质的。这些方法对能源评估的实际应用的比较变得具有挑战性，可能意味着报告的绩效评估过于乐观。异质性有多种形式，我们在这项工作中探讨了每种形式：空间聚集的水平，地面真理的验证，培训和验证数据集的不一致以及培训的位置和传感器的多样性程度和验证数据始发。对于每个人，我们都会讨论文献中的新兴实践，以解决它们或暗示未来研究的方向。作为调查的一部分，我们评估了两个大区域的太阳PV识别性能。我们的发现表明，由于验证过程中的共同局限性，从卫星图像对太阳PV自动识别的传统绩效评估可能是乐观的。这项工作的收获旨在为能源研究人员和专业人员提供自动太阳能光伏评估技术的大规模实用应用。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

已经重新强调，使用AI用于临床决策可以放大健康差异。机器学习模型可以拾取患者的种族特性和临床结果之间的不希望的相关性。这种相关性通常存在于用于模型开发的（历史）数据中。疾病检测模型中报告偏差有所增加。除了来自所营业的人群的数据的稀缺之外，还讨论了如何编码这些偏差以及如何减少甚至去除不同性能的少数人。担心算法可以识别患者特征，例如生物学性别或种族身份，然后在进行预测时直接或间接地使用这些信息。但它仍然尚不清楚我们如何建立这些信息是否实际使用。本文旨在通过探索这些问题，探索这些问题，探讨了对机器学习模型的内部工作进行了直观的基于图像的疾病的疾病的方法。我们还调查如何解决性能差异并找到自动阈值选择，以实现有效且有问题的技术，导致模型具有跨子组的具有可比真实和误频率的模型。我们的调查结果要求进一步研究，以更好地了解性能差异的根本原因。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

机器学习（ML）是人工智能（AI）的子场，其放射学中的应用正在以不断加速的速度增长。研究最多的ML应用程序是图像的自动解释。但是，可以将自然语言处理（NLP）与文本解释任务组合的ML结合使用，在放射学中也具有许多潜在的应用。一种这样的应用是放射学原始胶体的自动化，涉及解释临床放射学转介并选择适当的成像技术。这是一项必不可少的任务，可确保执行正确的成像。但是，放射科医生必须将专门用于原始胶片的时间进行报告，与推荐人或教学进行报告，交流。迄今为止，很少有使用临床文本自动选择协议选择的ML模型的出版物。本文回顾了该领域的现有文献。参考机器学习公约建议的最佳实践对已发布模型进行系统评估。讨论了在临床环境中实施自动质胶的进展。

败血症是一种威胁生命的患有器官功能障碍的疾病，是全球死亡和重症疾病的主要原因。急诊科分类过程中败血症的准确检测将允许尽早开始实验室分析，抗生素给药和其他败血症治疗方案。这项研究的目的是确定是否可以将EHR数据与最新的机器学习算法（Kate Sepsis）和临床自然语言处理一起提取和合成，以产生准确的脓毒症模型，并将Kate Sepsis与现有的败血症筛查方案进行比较爵士和QSOFA。使用来自16家参与医院的分类数据的患者遇到的患者遭遇开发了机器学习模型（Kate Sepsis）。凯特败血症，SIRS，标准筛查（具有感染源的SIRS）和QSOFA在三个设置中进行了测试。队列A是对单个站点1的医疗记录的回顾性分析。同类B是对位点1的前瞻性分析1.同伴C是对站点1的回顾性分析，并有15个地点。在所有队列中，凯特败血症的AUC为0.94-0.963，TPR为73-74.87％和3.76-7.17％FPR。标准筛选显示AUC为0.682-0.726，TPR为39.39-51.19％和2.9-6.02％FPR。 QSOFA协议的AUC为0.544-0.56，TPR为10.52-13.18％和1.22-1.68％FPR。对于严重的败血症，在所有队列中，凯特败血症的AUC为0.935-0.972，TPR为70-82.26％和4.64-8.62％FPR。对于败血性休克，在所有队列中，凯特败血症的AUC为0.96-0.981，TPR为85.71-89.66％和4.85-8.8％FPR。 SIRS，标准筛选和QSOFA表现出严重败血症和败血性休克检测的低AUC和TPR。凯特败血症在分类中提供的败血症检测性能比常用的筛查方案更好。

分配转移或培训数据和部署数据之间的不匹配是在高风险工业应用中使用机器学习的重要障碍，例如自动驾驶和医学。这需要能够评估ML模型的推广以及其不确定性估计的质量。标准ML基线数据集不允许评估这些属性，因为培训，验证和测试数据通常相同分布。最近，已经出现了一系列专用基准测试，其中包括分布匹配和转移的数据。在这些基准测试中，数据集在任务的多样性以及其功能的数据模式方面脱颖而出。虽然大多数基准测试由2D图像分类任务主导，但Shifts包含表格天气预测，机器翻译和车辆运动预测任务。这使得可以评估模型的鲁棒性属性，并可以得出多种工业规模的任务以及通用或直接适用的特定任务结论。在本文中，我们扩展了偏移数据集，其中两个数据集来自具有高社会重要性的工业高风险应用程序。具体而言，我们考虑了3D磁共振脑图像中白质多发性硬化病变的分割任务以及海洋货物容器中功耗的估计。两项任务均具有无处不在的分配变化和由于错误成本而构成严格的安全要求。这些新数据集将使研究人员能够进一步探索新情况下的强大概括和不确定性估计。在这项工作中，我们提供了两个任务的数据集和基线结果的描述。

眼睛的临床诊断是对多种数据模式进行的，包括标量临床标签，矢量化生物标志物，二维底面图像和三维光学相干性层析成像（OCT）扫描。临床从业者使用所有可用的数据模式来诊断和治疗糖尿病性视网膜病（DR）或糖尿病黄斑水肿（DME）等眼部疾病。在眼科医学领域启用机器学习算法的使用需要研究治疗期内所有相关数据之间的关系和相互作用。现有的数据集受到限制，因为它们既不提供数据，也没有考虑数据模式之间的显式关系建模。在本文中，我们介绍了用于研究以上限制的视觉眼睛语义（橄榄）数据集的眼科标签。这是第一个OCT和近IIR眼底数据集，其中包括临床标签，生物标记标签，疾病标签和时间序列的患者治疗信息，来自相关临床试验。该数据集由1268个近红外图像组成，每个图像至少具有49个10月扫描和16个生物标志物，以及4个临床标签和DR或DME的疾病诊断。总共有96张眼睛的数据在至少两年的时间内平均，每只眼睛平均治疗66周和7次注射。我们在医学图像分析中为橄榄数据集进行了橄榄数据集的实用性，并为核心和新兴机器学习范式提供了基准和具体研究方向。

随着天文学中检测到的瞬变数量的迅速增加，基于机器学习的分类方法正在越来越多地使用。他们的目标通常是要获得瞬态的确定分类，并且出于良好的性能，他们通常需要存在大量观察。但是，精心设计，有针对性的模型可以通过更少的计算资源来达到其分类目标。本文介绍了Snguess，该模型旨在找到高纯度附近的年轻外乳旋转瞬变。 Snguess可以使用一组功能，这些功能可以从天文警报数据中有效计算。其中一些功能是静态的，并且与警报元数据相关联，而其他功能必须根据警报中包含的光度观测值计算。大多数功能都足够简单，可以在其检测后的瞬态生命周期的早期阶段获得或计算。我们为从Zwicky Transient设施（ZTF）的一组标记的公共警报数据计算了这些功能。 Snguess的核心模型由一组决策树组成，这些集合是通过梯度提升训练的。 SNGUESS建议的候选人中约有88％的ZTF从2020年4月至2021年8月的一组警报中被发现是真正的相关超新星（SNE）。对于具有明亮检测的警报，此数字在92％至98％之间。自2020年4月以来，Snguess确定为ZTF Alert流中潜在SNE的瞬变已发布到AMPEL_ZTF_NEW组标识符下的瞬态名称服务器（TNS）。可以通过Web服务访问ZTF观察到的任何暂时性的SNGUESS分数。 Snguess的源代码可公开使用。

根据研究人员在歧视和校准性能方面采用的标准评估实践，这项工作旨在了解阶级不平衡对胸部X射线分类器的性能的影响。首先，我们进行了一项文献研究，分析了普通科学实践并确认：（1）即使在处理高度不平衡的数据集时，社区也倾向于使用由大多数阶级主导的指标; （2）包括包括胸部X射线分类器的校准研究仍然罕见，尽管其在医疗保健的背景下的重要性。其次，我们对两个主要胸部X射线数据集进行了系统实验，探讨了不同类别比率下的几种性能指标的行为，并显示了广泛采用的指标可以隐藏少数阶级中的性能。最后，我们提出了通过两个替代度量，精密召回曲线和平衡的Brier得分，这更好地反映了系统在这种情况下的性能。我们的研究结果表明，胸部X射线分类器研究界采用的当前评估实践可能无法反映真实临床情景中计算机辅助诊断系统的性能，并建议改善这种情况的替代方案。

Tuberculosis (TB), an infectious bacterial disease, is a significant cause of death, especially in low-income countries, with an estimated ten million new cases reported globally in $2020$. While TB is treatable, non-adherence to the medication regimen is a significant cause of morbidity and mortality. Thus, proactively identifying patients at risk of dropping off their medication regimen enables corrective measures to mitigate adverse outcomes. Using a proxy measure of extreme non-adherence and a dataset of nearly $700,000$ patients from four states in India, we formulate and solve the machine learning (ML) problem of early prediction of non-adherence based on a custom rank-based metric. We train ML models and evaluate against baselines, achieving a $\sim 100\%$ lift over rule-based baselines and $\sim 214\%$ over a random classifier, taking into account country-wide large-scale future deployment. We deal with various issues in the process, including data quality, high-cardinality categorical data, low target prevalence, distribution shift, variation across cohorts, algorithmic fairness, and the need for robustness and explainability. Our findings indicate that risk stratification of non-adherent patients is a viable, deployable-at-scale ML solution.

自2020年2月以来，世界一直在与Covid-19疾病进行激烈的斗争，随着疾病变成大流行，卫生系统受到悲惨的压力。这项研究的目的是使用对LogNNET储层神经网络的向后特征消除算法获得COVID-19的诊断和预后中最有效的常规血值（RBV）。该研究中的第一个数据集由5296例患者组成，具有相同数量的阴性和阳性COVID-19。 Lognnet模型在疾病诊断中的准确率为99.5％，其特征的精度为99.17％，只有平均红细胞血红蛋白浓度，平均性肌张力性血红蛋白和激活的部分凝血酶蛋白时间。第二个数据集由总共3899例COVID-19诊断为医院接受治疗的患者，其中203名患者是严重的患者，3696例患者是温和的患者。该模型以48个特征确定疾病预后的准确率达到94.4％，而仅红细胞沉降率，中性粒细胞计数和C反应性蛋白质特征，精度为82.7％。我们的方法将减少卫生部门的负压力，并帮助医生使用关键特征来了解Covid-19的发病机理。该方法有望在物联网中创建移动健康监控系统。