通过将微分方程（DES）和强化学习（RL）与域知识相结合，我们模拟阿尔茨海默病的疾病（AD）进展。 DES提供与广告相关的一些但不是全部因素之间的关系。我们假设缺失的关系必须满足关于大脑的工作的一般标准，例如，最大限度地提高认知，同时最小化支持认知的成本。这允许我们通过使用RL来优化捕获捕获上述标准的目标（奖励）函数来提取缺失的关系。我们使用由DES（作为模拟器）和训练的RL代理组成的模型，以预测合成和实际数据的基线（第0年）特征的个性化10年的广告进展。该模型可比较或更好地预测10年的认知轨迹，而不是最先进的基于学习的模型。我们的可解释模型展示，并提供了缓解广告效果的“恢复/补偿”过程的见解，即使这些过程在模型中未明确编码。我们的框架将DES与RL结合起来，以进行广告进展，并具有广泛适用性，以了解其他神经系统疾病。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

机器学习方法利用多参数生物标志物，特别是基于神经影像动物，具有改善痴呆早期诊断的巨大潜力，并预测哪些个体存在发展痴呆的风险。对于机器学习领域的基准算法和痴呆症中的神经影像症，并评估他们在临床实践中使用的潜力和临床试验，七年的大挑战已经在过去十年中组织：Miriad，Alzheimer的疾病大数据梦，Caddementia，机器学习挑战，MCI神经影像动物，蝌蚪和预测分析竞争。基于两个挑战评估框架，我们分析了这些大挑战如何互相补充研究问题，数据集，验证方法，结果和影响。七个大挑战解决了与（临床前）痴呆症（临床）痴呆症的筛查，诊断，预测和监测有关的问题。临床问题，任务和性能指标几乎没有重叠。然而，这具有提供对广泛问题的洞察力的优势，它也会限制对挑战的结果的验证。通常，获胜算法执行严格的数据预处理并组合了广泛的输入特征。尽管最先进的表演，但临床上没有挑战评估的大部分方法。为了增加影响，未来的挑战可以更加关注统计分析，对其与高于阿尔茨海默病的临床问题，以及使用超越阿尔茨海默病神经影像疾病的临床问题，以及超越阿尔茨海默病的临床问题。鉴于过去十年中汲取的潜力和经验教训，我们在未来十年及其超越的机器学习和神经影像中的大挑战前景兴奋。

Robust forecasting of the future anatomical changes inflicted by an ongoing disease is an extremely challenging task that is out of grasp even for experienced healthcare professionals. Such a capability, however, is of great importance since it can improve patient management by providing information on the speed of disease progression already at the admission stage, or it can enrich the clinical trials with fast progressors and avoid the need for control arms by the means of digital twins. In this work, we develop a deep learning method that models the evolution of age-related disease by processing a single medical scan and providing a segmentation of the target anatomy at a requested future point in time. Our method represents a time-invariant physical process and solves a large-scale problem of modeling temporal pixel-level changes utilizing NeuralODEs. In addition, we demonstrate the approaches to incorporate the prior domain-specific constraints into our method and define temporal Dice loss for learning temporal objectives. To evaluate the applicability of our approach across different age-related diseases and imaging modalities, we developed and tested the proposed method on the datasets with 967 retinal OCT volumes of 100 patients with Geographic Atrophy, and 2823 brain MRI volumes of 633 patients with Alzheimer's Disease. For Geographic Atrophy, the proposed method outperformed the related baseline models in the atrophy growth prediction. For Alzheimer's Disease, the proposed method demonstrated remarkable performance in predicting the brain ventricle changes induced by the disease, achieving the state-of-the-art result on TADPOLE challenge.

机器学习技术通常应用于痴呆症预测缺乏其能力，共同学习多个任务，处理时间相关的异构数据和缺失值。在本文中，我们建议使用最近呈现的SShiba模型提出了一个框架，用于在缺失值的纵向数据上联合学习不同的任务。该方法使用贝叶斯变分推理来赋予缺失值并组合多个视图的信息。这样，我们可以将不同的数据视图与共同的潜在空间中的不同时间点相结合，并在同时建模和预测若干输出变量的同时学习每个时间点之间的关系。我们应用此模型以预测痴呆症中的诊断，心室体积和临床评分。结果表明，SSHIBA能够学习缺失值的良好归因，同时预测三个不同任务的同时表现出基线。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

生物制药制造业是一个快速增长的行业，几乎对所有药品分支机构产生了影响。在具有许多相互依赖因素的复杂生物过程动力学的情况下，生物制造过程需要密切监测和控制，并且由于实验的高成本以及个性化的生物毒品的新颖性，因此数据非常有限。我们开发了一种新型的基于模型的增强学习框架，该框架可以在低数据表环境中实现人级控制。该模型使用动态的贝叶斯网络来捕获因素之间的因果关系，并预测不同输入的影响如何通过生物处理机制的途径传播。这使得在模型风险上既可以解释又有坚固的过程控制策略的设计。我们提出了一种计算有效的，可证明的收敛随机梯度方法，用于优化此类策略。验证是在具有多维，连续状态变量的现实应用程序上进行的。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。

COVID-19的大流行提出了对多个领域决策者的流行预测的重要性，从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测，但是它具有一些关键的差异，并且仍然是一项非平凡的任务。疾病的传播受到人类行为，病原体动态，天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议，捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作，这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步，并介绍了一个概念框架来导航它们。首先，我们列举了与流行病预测相关的大量流行病学数据集和新的数据流，捕获了各种因素，例如有症状的在线调查，零售和商业，流动性，基因组学数据等。接下来，我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式，以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战，包括预测信息。最后，我们重点介绍了整个预测管道中发现的一些挑战和开放问题。

Over the years, Machine Learning models have been successfully employed on neuroimaging data for accurately predicting brain age. Deviations from the healthy brain aging pattern are associated to the accelerated brain aging and brain abnormalities. Hence, efficient and accurate diagnosis techniques are required for eliciting accurate brain age estimations. Several contributions have been reported in the past for this purpose, resorting to different data-driven modeling methods. Recently, deep neural networks (also referred to as deep learning) have become prevalent in manifold neuroimaging studies, including brain age estimation. In this review, we offer a comprehensive analysis of the literature related to the adoption of deep learning for brain age estimation with neuroimaging data. We detail and analyze different deep learning architectures used for this application, pausing at research works published to date quantitatively exploring their application. We also examine different brain age estimation frameworks, comparatively exposing their advantages and weaknesses. Finally, the review concludes with an outlook towards future directions that should be followed by prospective studies. The ultimate goal of this paper is to establish a common and informed reference for newcomers and experienced researchers willing to approach brain age estimation by using deep learning models

Purpose: Hard-to-interpret Black-box Machine Learning (ML) were often used for early Alzheimer's Disease (AD) detection. Methods: To interpret eXtreme Gradient Boosting (XGBoost), Random Forest (RF), and Support Vector Machine (SVM) black-box models a workflow based on Shapley values was developed. All models were trained on the Alzheimer's Disease Neuroimaging Initiative (ADNI) dataset and evaluated for an independent ADNI test set, as well as the external Australian Imaging and Lifestyle flagship study of Ageing (AIBL), and Open Access Series of Imaging Studies (OASIS) datasets. Shapley values were compared to intuitively interpretable Decision Trees (DTs), and Logistic Regression (LR), as well as natural and permutation feature importances. To avoid the reduction of the explanation validity caused by correlated features, forward selection and aspect consolidation were implemented. Results: Some black-box models outperformed DTs and LR. The forward-selected features correspond to brain areas previously associated with AD. Shapley values identified biologically plausible associations with moderate to strong correlations with feature importances. The most important RF features to predict AD conversion were the volume of the amygdalae, and a cognitive test score. Good cognitive test performances and large brain volumes decreased the AD risk. The models trained using cognitive test scores significantly outperformed brain volumetric models ($p<0.05$). Cognitive Normal (CN) vs. AD models were successfully transferred to external datasets. Conclusion: In comparison to previous work, improved performances for ADNI and AIBL were achieved for CN vs. Mild Cognitive Impairment (MCI) classification using brain volumes. The Shapley values and the feature importances showed moderate to strong correlations.

本文通过组合有限的交通量和车辆轨迹数据来解决估计道路网络中链接流的问题。虽然循环检测器的流量量数据是链路流估计的常见数据源，但检测器仅涵盖链接的子集。如今，还合并了从车辆跟踪传感器收集的车辆轨迹数据。然而，轨迹数据通常很少，因为观察到的轨迹仅代表整个种群的一小部分，其中确切的采样率未知，并且可能在时空和时间上有所不同。这项研究提出了一个新颖的生成建模框架，在其中我们使用马尔可夫决策过程框架制定了车辆的链接到连接运动作为顺序决策问题，并训练代理商做出顺序决策以生成逼真的合成车辆轨迹。我们使用加强学习（RL）的方法来找到代理的最佳行为，基于哪些合成人口车辆轨迹可以生成以估算整个网络中的连接流。为了确保生成的人口车辆轨迹与观察到的交通量和轨迹数据一致，提出了两种基于逆强化学习和约束强化学习的方法。通过解决真实的道路网络中的链路流估计问题，通过这些基于RL的方法中的任何一个求解的提出的生成建模框架都可以验证。此外，我们执行全面的实验，以将性能与两种现有方法进行比较。结果表明，在现实情况下，提出的框架具有较高的估计准确性和鲁棒性，在现实情况下，未满足有关驾驶员的某些行为假设或轨迹数据的网络覆盖范围和渗透率较低。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

Strategic test allocation plays a major role in the control of both emerging and existing pandemics (e.g., COVID-19, HIV). Widespread testing supports effective epidemic control by (1) reducing transmission via identifying cases, and (2) tracking outbreak dynamics to inform targeted interventions. However, infectious disease surveillance presents unique statistical challenges. For instance, the true outcome of interest - one's positive infectious status, is often a latent variable. In addition, presence of both network and temporal dependence reduces the data to a single observation. As testing entire populations regularly is neither efficient nor feasible, standard approaches to testing recommend simple rule-based testing strategies (e.g., symptom based, contact tracing), without taking into account individual risk. In this work, we study an adaptive sequential design involving n individuals over a period of {\tau} time-steps, which allows for unspecified dependence among individuals and across time. Our causal target parameter is the mean latent outcome we would have obtained after one time-step, if, starting at time t given the observed past, we had carried out a stochastic intervention that maximizes the outcome under a resource constraint. We propose an Online Super Learner for adaptive sequential surveillance that learns the optimal choice of tests strategies over time while adapting to the current state of the outbreak. Relying on a series of working models, the proposed method learns across samples, through time, or both: based on the underlying (unknown) structure in the data. We present an identification result for the latent outcome in terms of the observed data, and demonstrate the superior performance of the proposed strategy in a simulation modeling a residential university environment during the COVID-19 pandemic.

背景：虽然卷积神经网络（CNN）实现了检测基于磁共振成像（MRI）扫描的阿尔茨海默病（AD）痴呆的高诊断准确性，但它们尚未应用于临床常规。这是一个重要原因是缺乏模型可理解性。最近开发的用于导出CNN相关性图的可视化方法可能有助于填补这种差距。我们调查了具有更高准确性的模型还依赖于先前知识预定义的判别脑区域。方法：我们培训了CNN，用于检测痴呆症和Amnestic认知障碍（MCI）患者的N = 663 T1加权MRI扫描的AD，并通过交叉验证和三个独立样本验证模型的准确性= 1655例。我们评估了相关评分和海马体积的关联，以验证这种方法的临床效用。为了提高模型可理解性，我们实现了3D CNN相关性图的交互式可视化。结果：跨三个独立数据集，组分离表现出广告痴呆症与控制的高精度（AUC $ \ GEQUQ $ 0.92）和MCI与控制的中等精度（AUC $ \约0.75美元）。相关性图表明海马萎缩被认为是广告检测的最具信息性因素，其其他皮质和皮质区域中的萎缩额外贡献。海马内的相关评分与海马体积高度相关（Pearson的r $ \大约$ -0.86，p <0.001）。结论：相关性地图突出了我们假设先验的地区的萎缩。这加强了CNN模型的可理解性，这些模型基于扫描和诊断标签以纯粹的数据驱动方式培训。

我们介绍了一个新型的多层加权网络模型，该模型除了本地信号外，还考虑了全局噪声。该模型类似于多层随机块模型（SBM），但关键区别在于，跨层之间的块之间的相互作用在整个系统中是常见的，我们称之为环境噪声。单个块还以这些固定的环境参数为特征，以表示不属于其他任何地方的成员。这种方法允许将块同时聚类和类型化到信号或噪声中，以便更好地理解其在整个系统中的作用，而现有块模型未考虑。我们采用了分层变异推断的新颖应用来共同检测和区分块类型。我们称此模型为多层加权网络称为随机块（具有）环境噪声模型（SBANM），并开发了相关的社区检测算法。我们将此方法应用于费城神经发育队列中的受试者，以发现与精神病有关的具有共同心理病理学的受试者社区。

我们为身体和生存期的个体老化轨迹建立了一个计算模型，其中包含物理，功能和生物变量，并在人口统计学，生活方式和医学背景信息上进行调节。我们将现代机器学习技术与可解释的交互网络相结合，其中健康变量通过随机动力系统内的显式配对交互来耦合。我们的动态联合可解释网络（DJIN）模型可扩展到大型纵向数据集，是从基线健康状态的个体高维氏体健康轨迹和生存的预测性，并且在卫生变量之间的可解释网络的可解释网络。该网络识别健康变量之间的合理生理连接以及强烈连接的健康变量的集群。我们使用对老化（ELSA）数据的英语纵向研究培训我们的模型，并表明它比多个专用线性模型更好地进行健康结果和生存。我们将模型与灵活的低维潜空间模型进行比较，探讨准确模拟老化健康结果所需的维度。我们的Djin模型可用于生成易于历史的合成人员，以赋予缺失数据，并模拟未来的老化结果给出任意初始健康状态。