Homodyned K (HK) distribution has been widely used to describe the scattering phenomena arising in various research fields, such as ultrasound imaging or optics. In this work, we propose a machine learning based approach to the estimation of the HK distribution parameters. We develop neural networks that can estimate the HK distribution parameters based on the signal-to-noise ratio, skewness and kurtosis calculated using fractional-order moments. Compared to the previous approaches, we consider the orders of the moments as trainable variables that can be optimized along with the network weights using the back-propagation algorithm. Networks are trained based on samples generated from the HK distribution. Obtained results demonstrate that the proposed method can be used to accurately estimate the HK distribution parameters.

定量超声（QUS）提供了有关组织特性的重要信息。可以通过将包络数据分为小重叠贴片并计算不同的斑点统计信息，例如中Nakagami的参数和knody k-Distribution（HK-Distribution）来形成QUS参数图像。计算出的QUS参数图像可能是错误的，因为补丁中只有几个独立的样本可用。另一个挑战是，假定斑块内的包膜样品来自相同的分布，这一假设通常会违反，因为该组织通常不是同质的。在本文中，我们提出了一种基于卷积神经网络（CNN）的方法，以估算QUS参数图像而无需修补。我们构建一个从HK分布中采样的大数据集，具有随机形状和QUS参数值的区域。然后，我们使用众所周知的网络以多任务学习方式估算QUS参数。我们的结果证实，所提出的方法能够减少错误并改善QUS参数图像中的边界定义。

Tomographic SAR technique has attracted remarkable interest for its ability of three-dimensional resolving along the elevation direction via a stack of SAR images collected from different cross-track angles. The emerged compressed sensing (CS)-based algorithms have been introduced into TomoSAR considering its super-resolution ability with limited samples. However, the conventional CS-based methods suffer from several drawbacks, including weak noise resistance, high computational complexity, and complex parameter fine-tuning. Aiming at efficient TomoSAR imaging, this paper proposes a novel efficient sparse unfolding network based on the analytic learned iterative shrinkage thresholding algorithm (ALISTA) architecture with adaptive threshold, named Adaptive Threshold ALISTA-based Sparse Imaging Network (ATASI-Net). The weight matrix in each layer of ATASI-Net is pre-computed as the solution of an off-line optimization problem, leaving only two scalar parameters to be learned from data, which significantly simplifies the training stage. In addition, adaptive threshold is introduced for each azimuth-range pixel, enabling the threshold shrinkage to be not only layer-varied but also element-wise. Moreover, the final learned thresholds can be visualized and combined with the SAR image semantics for mutual feedback. Finally, extensive experiments on simulated and real data are carried out to demonstrate the effectiveness and efficiency of the proposed method.

生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。

无线传感器网络（WSN）是一项有前途的技术，几乎在各行各业中都有巨大的应用。 WSN的关键应用之一是边境地区和国防机构的入侵检测和监视。边界区域以数百到数千英里的范围延伸，因此不可能在整个边界地区巡逻。结果，敌人可以从任何缺乏监视的地方进入，并导致丧生或摧毁军事机构。 WSN可以是边境地区入侵检测和监视问题的可行解决方案。在边境地区和附近的关键区域（例如军事宪法）发现敌人是一项时间敏感的任务，因为延迟几秒钟可能会带来灾难性的后果。因此，必须设计能够在部署系统范围内识别和检测敌人的系统。在本文中，我们提出了一个基于完全连接的馈送人工神经网络（ANN）的深度学习体系结构，以准确预测K行数以进行快速入侵检测和预防。我们已经使用四个潜在特征，即圆形区域，传感器的传感范围，传感器的传感器范围以及高斯和均匀传感器分布的传感器数量训练和评估了馈电ANN模型。这些特征是通过蒙特卡洛模拟提取的。在此过程中，我们发现该模型可以准确预测具有相关系数（r = 0.78）和均方根误差（RMSE = 41.15）的高斯和均匀传感器分布的K驱动器数量，r = 0.79和r = 0.79和RMSE = 48.36。此外，提出的方法在准确性和计算时间复杂性方面优于其他基准算法。

在所需的环境保护系统中，可能不排除地下水。除了过度开发的问题外，与可持续发展的概念完全分歧外，另一个不容易忽略的问题涉及地下水的污染。主要是由于强化农业活动或工业化地区。在文献中，有几篇论文处理了运输问题，尤其是在确定发布历史记录或源位置的反问题上。本文的创新目的是开发一个数据驱动的模型，该模型能够分析多种情况，甚至强烈非线性，以解决前进和反向运输问题，从而保留结果的可靠性并降低不确定性。此外，该工具具有提供极快响应的特征，对于立即确定补救策略至关重要。将模型产生的优点与文献研究进行了比较。在这方面，经过训练以处理不同情况的馈电馈线人工神经网络代表数据驱动的模型。首先，在研究区域的特定观察点上确定污染物的浓度（正向问题）；其次，要处理识别已知源位置的发布历史记录的反问题；然后，在一个污染物来源的情况下，确定了释放历史记录，同时识别源在研究区域的特定子域中的位置。最后，研究并估计了观察误差。结果令人满意地实现了结果，突出了ANN通过近似非线性函数来处理多种情况的能力，而无需物理观点来描述该现象，从而提供可靠的结果，并具有非常低的计算负担和不确定性。

受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。

深度神经网络通过解决了许多以前被视为更高人类智能的任务解锁了广泛的新应用。实现这一成功的一个发展之一是由专用硬件提供的计算能力提升，例如图形或张量处理单元。但是，这些不利用神经网络等并行性和模拟状态变量的基本特征。相反，它们模拟了依赖于二元计算的神经网络，这导致不可持续的能量消耗和相对低的速度。完全平行和模拟硬件承诺克服这些挑战，但模拟神经元噪声的影响及其传播，即积累，威胁到威胁这些方法无能为力。在这里，我们首次确定噪声在训练的完全连接层中包含噪声非线性神经元的深神经网络中的噪声传播。我们研究了添加剂和乘法以及相关和不相关的噪声，以及开发预测因对称深神经网络的任何层中的噪声水平的分析方法，或者在训练中培训的对称深神经网络或深神经网络。我们发现噪声累积通常绑定，并且添加附加网络层不会使信号与超出限制的信噪比恶化。最重要的是，当神经元激活函数具有小于单位的斜率时，可以完全抑制噪声累积。因此，我们开发了在模拟系统中实现的完全连接的深神经网络中的噪声框架，并识别允许工程师设计噪声弹性新型神经网络硬件的标准。

深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。

我们提出了一种利用分布人工神经网络的概率电价预测（EPF）的新方法。EPF的新型网络结构基于包含概率层的正则分布多层感知器（DMLP）。使用TensorFlow概率框架，神经网络的输出被定义为一个分布，是正常或可能偏斜且重尾的Johnson的SU（JSU）。在预测研究中，将该方法与最新基准进行了比较。该研究包括预测，涉及德国市场的日常电价。结果显示了对电价建模时较高时刻的重要性的证据。

密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。

机器学习技术越来越多地用于预测科学应用中的材料行为，并比常规数值方法具有显着优势。在这项工作中，将人工神经网络（ANN）模型用于有限元公式中，以定义金属材料的流量定律是塑性应变，塑性应变速率和温度的函数。首先，我们介绍了神经网络的一般结构，其运作和关注网络在没有事先学习的情况下推导的能力，即相对于模型输入的流量定律的衍生物。为了验证所提出模型的鲁棒性和准确性，我们就42CRMO4钢的Johnson-Cook行为定律的分析公式进行了比较和分析几个网络体系结构的性能。在第二部分中，在选择了带有$ 2 $隐藏层的人工神经网络体系结构之后，我们以Vuhard Subroutine的形式在Abaqus显式计算代码中介绍了该模型的实现。然后在两个测试用例的数值模拟过程中证明了所提出模型的预测能力：圆形条的颈部和泰勒冲击试验。获得的结果表明，ANN具有很高的能力，可以在有限的元素代码中替换约翰逊 - 库克行为定律的分析公式，同时与经典方法相比，在数值模拟时间方面保持竞争力。

光电子因子（PEF）是区分不同类型的储层岩石的重要良好记录工具，因为PEF测量对高原子数的元素敏感。此外，可以通过将PEF日志与其他井对数结合来确定岩石矿物的比率。但是，在某些情况下，PEF日志可能会缺少，例如在旧的井木和井中钻孔的井。因此，在这种情况下，开发用于估计缺失PEF日志的模型至关重要。在这项工作中，我们开发了各种机器学习模型，以使用以下井日志作为输入来预测PEF值：散装密度（RHOB），中子孔隙率（NPHI），伽马射线（GR），压缩和剪切速度。使用自适应网络模糊推理系统（ANFI）和人工神经网络（ANN）模型的PEF值的预测分别在测试数据集中的误差分别为16％和14％的平均绝对百分比误差（AAPE）。因此，提出了一种基于自动化机器学习概念的不同方法。它通过自动搜索最佳模型类型并优化了正在研究的数据集的超参数来工作。该方法选择了高斯过程回归（GPR）模型以准确估计PEF值。开发的GPR模型将测试数据集中预测的PEF值的AAPE降低到约10％AAPE。通过使用GPR模型对测量中的潜在噪声进行建模，可以进一步降低到约2％。

现代时间域的光度测验收集了许多天文学对象的观察结果，大规模调查的即将到来的时代将提供更多信息。大多数对象从未接受过光谱随访，这对于瞬态尤其至关重要。超新星。在这种情况下，观察到的光曲线可以提供负担得起的替代方案。时间序列被积极用于光度分类和表征，例如峰值和光度下降估计。但是，收集的时间序列是多维的，不规则地采样，包含异常值，并且没有明确定义的系统不确定性。机器学习方法有助于以最有效的方式从可用数据中提取有用的信息。我们考虑了基于神经网络的几种光曲线近似方法：多层感知，贝叶斯神经网络以及使流量正常化，以近似单光曲线观察。使用模拟的Parperc和Real Zwicky瞬态设施数据样本的测试表明，即使很少有观察值足以拟合网络并获得比其他最新方法更好的近似质量。我们表明，这项工作中描述的方法具有比高斯流程更快的计算复杂性和更快的工作速度。我们分析了旨在填补光曲线观察中空白的近似技术的性能，并表明使用适当的技术会提高峰值发现和超新星分类的准确性。此外，研究结果是在GitHub上可用的Fulu Python库中组织的，该库可以很容易地由社区使用。

在对肺癌患者的放疗治疗期间，需要最小化肿瘤周围健康组织的辐射，这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中，我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后，我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点，并通过使用实时重复学习（RTRL）和梯度剪辑训练的复发神经网络（RNN）预测其位置。呼吸数据非常规规律，在约2.5Hz时采样，并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后，我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差，最大误差和抖动小于使用线性预测和最小平方（LMS）获得的相同性能度量。特别是，与RNN相关的最大预测误差等于1.51mm，比与线性预测和LMS相关的最大误差低16.1％和5.0％。 RTRL的平均预测时间等于119ms，小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的，这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。

到2021年底，全球电力容量的可再生能源份额达到38.3％，新设施以风能和太阳能为主，分别显示全球增长12.7％和18.5％。但是，风能和光伏能源都是高度挥发性的，使得对网格操作员的计划很难，因此对相应天气变量的准确预测对于可靠的电力预测至关重要。天气预测中最先进的方法是合奏方法，它为概率预测打开了大门。尽管合奏预测通常不足，并且会遭受系统的偏见。因此，它们需要某种形式的统计后处理，其中参数模型提供了手头天气变量的完整预测分布。我们提出了一种基于两步机的一般学习方法，用于校准集合天气预报，在第一步中，生成了改进点的预测，然后将其与各种合奏统计数据一起作为神经网络的输入特征，估计估计的参数。预测分布。在两个案例研究中，基于100m风速和全球水平辐照度预测匈牙利气象服务的操作集合词典系统，将这种新颖方法的预测性能与原始合奏的预测技能进行了比较ART参数方法。两种案例研究都证实，至少高达48H统计后处理可实质上改善了所有被考虑的预测范围的原始合奏的预测性能。所提出的两步方法的研究变体在其竞争对手方面优于技能，建议的新方法非常适用于不同的天气数量和广泛的预测分布。

Deep learning (DL) is gaining popularity as a parameter estimation method for quantitative MRI. A range of competing implementations have been proposed, relying on either supervised or self-supervised learning. Self-supervised approaches, sometimes referred to as unsupervised, have been loosely based on auto-encoders, whereas supervised methods have, to date, been trained on groundtruth labels. These two learning paradigms have been shown to have distinct strengths. Notably, self-supervised approaches have offered lower-bias parameter estimates than their supervised alternatives. This result is counterintuitive - incorporating prior knowledge with supervised labels should, in theory, lead to improved accuracy. In this work, we show that this apparent limitation of supervised approaches stems from the naive choice of groundtruth training labels. By training on labels which are deliberately not groundtruth, we show that the low-bias parameter estimation previously associated with self-supervised methods can be replicated - and improved on - within a supervised learning framework. This approach sets the stage for a single, unifying, deep learning parameter estimation framework, based on supervised learning, where trade-offs between bias and variance are made by careful adjustment of training label.

使用人工智能算法对连续，非侵入性，无齿状血压（BP）测量进行了广泛的研究。这种方法涉及从ECG，PPG，ICG，BCG等生理信号中提取某些特征作为独立变量，并从动脉血压（ABP）信号中提取特征作为依赖变量，然后使用机器学习算法来开发血压估计基于这些数据的模型。该领域的最大挑战是估计模型的准确性不足。本文提出了一种具有聚类步骤的新型血压估计方法，用于精度改善。所提出的方法涉及从心电图（ECG）和光电读数（PPG）信号中提取脉冲传输时间（PPG），PPG强度比（PIR）和心率（HR）特征作为聚类和回归的输入，提取收缩压（ SBP）和舒张压（DBP）来自ABP信号的特征作为依赖变量，最后通过应用梯度升压回归（GBR），随机森林回归（RFR）和每个群集的多层的Perceptron回归（MLP）开发回归模型。使用MIMICII数据集来实现该方法，其中用于确定最佳数量的簇的轮廓标准。结果表明，由于采用群集算法，然后在每个簇上开发回归模型，并且最终加权平均可以显着提高，因此可以显着改善精度。结果基于每个群集的错误。当用5个集群和GBR实施时，该方法产生了2.56的MAE，对于SBP估计，2.23对于DBP估计，这显着优于没有聚类的最佳结果（DBP：6.27，SBP：6.36）。

Accurate uncertainty quantification is necessary to enhance the reliability of deep learning models in real-world applications. In the case of regression tasks, prediction intervals (PIs) should be provided along with the deterministic predictions of deep learning models. Such PIs are useful or "high-quality'' as long as they are sufficiently narrow and capture most of the probability density. In this paper, we present a method to learn prediction intervals for regression-based neural networks automatically in addition to the conventional target predictions. In particular, we train two companion neural networks: one that uses one output, the target estimate, and another that uses two outputs, the upper and lower bounds of the corresponding PI. Our main contribution is the design of a loss function for the PI-generation network that takes into account the output of the target-estimation network and has two optimization objectives: minimizing the mean prediction interval width and ensuring the PI integrity using constraints that maximize the prediction interval probability coverage implicitly. Both objectives are balanced within the loss function using a self-adaptive coefficient. Furthermore, we apply a Monte Carlo-based approach that evaluates the model uncertainty in the learned PIs. Experiments using a synthetic dataset, six benchmark datasets, and a real-world crop yield prediction dataset showed that our method was able to maintain a nominal probability coverage and produce narrower PIs without detriment to its target estimation accuracy when compared to those PIs generated by three state-of-the-art neural-network-based methods.

本文介绍了基于机器学习的集合条件均值滤波器（ML-ACMF） - 基于先前在文献中引入的条件均值滤波器（CMF）的过滤方法。 CMF的更新平均值匹配后部的平均值，通过在过滤器的预测分布上应用贝叶斯的规则获得。此外，我们表明CMF的更新协方差与预期的条件协方差相吻合。实施ENCMF需要计算条件平均值（CM）。基于可能性的估计器容易出现小合奏尺寸的重大错误，从而导致滤波器发散。我们开发了一种系统的方法论，可以根据CM的正交投影属性将机器学习整合到ENCMF中。首先，我们使用基于集合Kalman滤波器（ENKF）获得的人工神经网络（ANN）和线性函数的组合，以近似CM，使ML-ANCMF能够继承ENKF的优势。其次，我们在估计损失函数时应用合适的差异技术来减少统计误差。最后，我们提出了一个模型选择过程，用于在每个更新步骤中选择应用过滤器，即ENKF或ML-ACMF。我们使用Lorenz-63和Lorenz-96系统演示了ML-ACMF性能，并表明ML-ACMF优于ENKF和基于可能性的ENCMF。