深度学习的最新进展导致了可逆隐写术中的范式转变。可逆隐写术的基本支柱是可通过深神经网络实现的预测建模。然而，关于一些分发和嘈杂数据的推断存在非琐碎错误。鉴于此问题，我们建议根据贝叶斯深度学习理论框架考虑预测模型的不确定性。贝叶斯神经网络可以被视为自我意识的机器;也就是说，知道自己限制的机器。为了量化不确定性，我们通过随机向前通过Monte Carlo采样近似后预测分布。我们进一步表明，预测性不确定性可以解开炼热和认知的不确定性，并且这些数量可以以无人监督的方式学习。实验结果表明，贝叶斯的不确定性分析对书签容量变形性能的改善。

There are two major types of uncertainty one can model. Aleatoric uncertainty captures noise inherent in the observations. On the other hand, epistemic uncertainty accounts for uncertainty in the model -uncertainty which can be explained away given enough data. Traditionally it has been difficult to model epistemic uncertainty in computer vision, but with new Bayesian deep learning tools this is now possible. We study the benefits of modeling epistemic vs. aleatoric uncertainty in Bayesian deep learning models for vision tasks. For this we present a Bayesian deep learning framework combining input-dependent aleatoric uncertainty together with epistemic uncertainty. We study models under the framework with per-pixel semantic segmentation and depth regression tasks. Further, our explicit uncertainty formulation leads to new loss functions for these tasks, which can be interpreted as learned attenuation. This makes the loss more robust to noisy data, also giving new state-of-the-art results on segmentation and depth regression benchmarks.

深入学习被认为是可逆隐写术的有希望的解决方案。最近的最终学习的发展使得可以通过一对编码器和解码器神经网络绕过隐写操作的多个中间阶段。然而，这一框架是无法保证完美的可逆性，因为这种单片机械难以以黑匣子的形式来学习可逆计算的复杂逻辑。开发基于学习的可逆书签方案的更可靠的方法是通过分裂和征服范例。预测误差调制是一种建立的模块化框架，包括分析模块和编码模块。前者服务于分析像素相关性并预测像素强度，而后者专注于可逆编码机制。鉴于可逆性由编码模块独立管理，我们将专注于将神经网络纳入分析模块。本研究的目的是评估不同培训配置对预测神经网络的影响，并提供实用的见解。背景感知像素强度预测在可逆的隐写术中具有核心作用，并且可以被认为是低级计算机视觉任务。因此，我们可以采用最初为这种计算机视觉任务设计的神经网络模型来执行强度预测。此外，我们严格研究强度初始化对预测性能的影响以及双层预测的分布变换的影响。实验结果表明，通过先进的神经网络模型可以实现最先进的书签性能。

深度展开是一种基于深度学习的图像重建方法，它弥合了基于模型和纯粹的基于深度学习的图像重建方法之间的差距。尽管深层展开的方法实现了成像问题的最新性能，并允许将观察模型纳入重建过程，但它们没有提供有关重建图像的任何不确定性信息，这严重限制了他们在实践中的使用，尤其是用于安全 - 关键成像应用。在本文中，我们提出了一个基于学习的图像重建框架，该框架将观察模型纳入重建任务中，并能够基于深层展开和贝叶斯神经网络来量化认知和核心不确定性。我们证明了所提出的框架在磁共振成像和计算机断层扫描重建问题上的不确定性表征能力。我们研究了拟议框架提供的认知和态度不确定性信息的特征，以激发未来的研究利用不确定性信息来开发更准确，健壮，可信赖，不确定性，基于学习的图像重建和成像问题的分析方法。我们表明，所提出的框架可以提供不确定性信息，同时与最新的深层展开方法实现可比的重建性能。

不确定性量化（UQ）有助于基于收集的观察和不确定域知识来制定值得信赖的预测。随着各种应用中深度学习的增加，需要使深层模型更加可靠的高效UQ方法的需求。在可以从有效处理不确定性中受益的应用中，是基于深度学习的微分方程（DE）求解器。我们适应了几种最先进的UQ方法，以获得DE解决方案的预测性不确定性，并显示出四种不同类型的结果。

Physics-Informed Neural Networks (PINNs) are gaining popularity as a method for solving differential equations. While being more feasible in some contexts than the classical numerical techniques, PINNs still lack credibility. A remedy for that can be found in Uncertainty Quantification (UQ) which is just beginning to emerge in the context of PINNs. Assessing how well the trained PINN complies with imposed differential equation is the key to tackling uncertainty, yet there is lack of comprehensive methodology for this task. We propose a framework for UQ in Bayesian PINNs (B-PINNs) that incorporates the discrepancy between the B-PINN solution and the unknown true solution. We exploit recent results on error bounds for PINNs on linear dynamical systems and demonstrate the predictive uncertainty on a class of linear ODEs.

不确定性量化对于机器人感知至关重要，因为过度自信或点估计人员可以导致环境和机器人侵犯和损害。在本文中，我们评估了单视图监督深度学习中的不确定量化的可扩展方法，特别是MC辍学和深度集成。特别是对于MC辍学，我们探讨了阵列在架构中不同级别的效果。我们表明，在编码器的所有层中添加丢失会带来比文献中的其他变化更好的结果。此配置类似地执行与Deep Ensembles具有更低的内存占用，这是相关的简单。最后，我们探讨了伪RGBD ICP的深度不确定性，并展示其估计具有实际规模的准确的双视图相对运动的可能性。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

基于深度学习的图像重建方法在许多成像方式中表现出令人印象深刻的经验表现。这些方法通常需要大量的高质量配对训练数据，这在医学成像中通常不可用。为了解决这个问题，我们为贝叶斯框架内的学习重建提供了一种新颖的无监督知识转移范式。提出的方法分为两个阶段学习重建网络。第一阶段训练一个重建网络，其中包括一组有序对，包括椭圆的地面真相图像和相应的模拟测量数据。第二阶段微调在没有监督的情况下将经过验证的网络用于更现实的测量数据。通过构造，该框架能够通过重建图像传递预测性不确定性信息。我们在低剂量和稀疏视图计算机断层扫描上提出了广泛的实验结果，表明该方法与几种最先进的监督和无监督的重建技术具有竞争力。此外，对于与培训数据不同的测试数据，与仅在合成数据集中训练的学习方法相比，所提出的框架不仅在视觉上可以显着提高重建质量，而且在PSNR和SSIM方面也可以显着提高重建质量。

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

在这项工作中，我们使用变分推论来量化无线电星系分类的深度学习模型预测的不确定性程度。我们表明，当标记无线电星系时，个体测试样本的模型后差水平与人类不确定性相关。我们探讨了各种不同重量前沿的模型性能和不确定性校准，并表明稀疏事先产生更良好的校准不确定性估计。使用单个重量的后部分布，我们表明我们可以通过从最低信噪比（SNR）中除去权重来修剪30％的完全连接的层权重，而无需显着损失性能。我们证明，可以使用基于Fisher信息的排名来实现更大程度的修剪，但我们注意到两种修剪方法都会影响Failaroff-Riley I型和II型无线电星系的不确定性校准。最后，我们表明，与此领域的其他工作相比，我们经历了冷的后效，因此后部必须缩小后加权以实现良好的预测性能。我们检查是否调整成本函数以适应模型拼盘可以弥补此效果，但发现它不会产生显着差异。我们还研究了原则数据增强的效果，并发现这改善了基线，而且还没有弥补观察到的效果。我们将其解释为寒冷的后效，因为我们的培训样本过于有效的策划导致可能性拼盘，并将其提高到未来无线电银行分类的潜在问题。

There is a significant need for principled uncertainty reasoning in machine learning systems as they are increasingly deployed in safety-critical domains. A new approach with uncertainty-aware regression-based neural networks (NNs), based on learning evidential distributions for aleatoric and epistemic uncertainties, shows promise over traditional deterministic methods and typical Bayesian NNs, notably with the capabilities to disentangle aleatoric and epistemic uncertainties. Despite some empirical success of Deep Evidential Regression (DER), there are important gaps in the mathematical foundation that raise the question of why the proposed technique seemingly works. We detail the theoretical shortcomings and analyze the performance on synthetic and real-world data sets, showing that Deep Evidential Regression is a heuristic rather than an exact uncertainty quantification. We go on to propose corrections and redefinitions of how aleatoric and epistemic uncertainties should be extracted from NNs.

尽管基于卷积神经网络（CNN）的组织病理学图像的分类模型，但量化其不确定性是不可行的。此外，当数据偏置时，CNN可以遭受过度装备。我们展示贝叶斯-CNN可以通过自动规范并通过量化不确定性来克服这些限制。我们开发了一种新颖的技术，利用贝叶斯-CNN提供的不确定性，这显着提高了大部分测试数据的性能（约为77％的测试数据的准确性提高了约6％）。此外，我们通过非线性维度降低技术将数据投射到低尺寸空间来提供对不确定性的新颖解释。该维度降低能够通过可视化解释测试数据，并在低维特征空间中揭示数据的结构。我们表明，贝叶斯-CNN可以通过分别将假阴性和假阳性降低11％和7.7％的最先进的转移学习CNN（TL-CNN）来表现出远得更好。它具有仅为186万个参数的这种性能，而TL-CNN的参数仅为134.33亿。此外，我们通过引入随机自适应激活功能来修改贝叶斯-CNN。修改后的贝叶斯-CNN在所有性能指标上的贝叶斯-CNN略胜一筹，并显着降低了误报和误报的数量（两者减少了3％）。我们还表明，通过执行McNemar的统计显着性测试，这些结果具有统计学意义。这项工作显示了贝叶斯-CNN对现有技术的优势，解释并利用组织病理学图像的不确定性。它应该在各种医学图像分类中找到应用程序。

量化监督学习模型的不确定性在制定更可靠的预测方面发挥着重要作用。认知不确定性，通常是由于对模型的知识不足，可以通过收集更多数据或精炼学习模型来减少。在过去的几年里，学者提出了许多认识的不确定性处理技术，这些技术可以大致分为两类，即贝叶斯和集合。本文对过去五年来提供了对监督学习的认识性不确定性学习技术的全面综述。因此，我们首先，将认知不确定性分解为偏见和方差术语。然后，介绍了认知不确定性学习技术以及其代表模型的分层分类。此外，提出了几种应用，例如计算机视觉（CV）和自然语言处理（NLP），然后讨论研究差距和可能的未来研究方向。

贝叶斯神经网络在许多应用程序问题（包括不确定性量化）中成功设计和优化了强大的神经网络模型。但是，随着最近的成功，对贝叶斯神经网络的信息理论理解仍处于早期阶段。相互信息是贝叶斯神经网络中一种不确定性度量的示例，以量化认知不确定性。尽管如此，尚无分析公式来描述它，这是了解贝叶斯深度学习框架的基本信息指标之一。在本文中，我们通过利用点过程熵的概念来得出模型参数和预测输出之间相互信息的分析公式。然后，作为应用程序，我们通过证明我们的分析公式可以在实践中进一步提高主动学习的性能，从而讨论DIRICHLET分布的参数估计，并显示其在主动学习不确定性度量中的实际应用。

不确定性是时间序列预测任务的重要考虑因素。在这项工作中，我们专门致力于量化流量预测的不确定性。为了实现这一目标，我们开发了深层时空的不确定性定量（DeepStuq），可以估计核心和认知不确定性。我们首先利用时空模型来对流量数据的复杂时空相关性进行建模。随后，开发了两个独立的次神经网络，以最大化异质对数可能性，以估计不确定性。为了估计认知不确定性，我们通过整合蒙特卡洛辍学和平均自适应重量的重新训练方法来结合变异推理和深层结合的优点。最后，我们提出了基于温度缩放的后处理校准方法，从而提高了模型的概括能力估计不确定性。在四个公共数据集上进行了广泛的实验，经验结果表明，就点预测和不确定性量化而言，所提出的方法优于最先进的方法。

巨大的开放在线课程（MooCs）已成为电子学习的热门选择，因为他们的灵活性很大。但是，由于大量的学习者及其多样化的背景，它征税，以提供实时支持。学习者可能会在各自的MooC论坛上发布他们的混乱和斗争，但随着MooC教师的大量员额和高工作量，教师不太可能识别所有需要干预的学习者。由于数据的不平衡和任务的复杂性，已被研究是一种自然语言处理（NLP）问题的研究，并且已知是具有挑战性的。在本文中，我们探讨了贝叶斯的第一次对学习者的文本帖子进行了两种方法：蒙特卡罗辍学和变分推论，作为评估学习者帖子的教师干预需求的新解决方案。我们基于在类似情况下基于概率模型的基于概率模型的概率模型进行比较模型，对于应用预测的不同情况。结果表明，贝叶斯深度学习提供了传统神经网络未提供的批判性不确定性措施。这增加了对AI的说明，信任和稳健性，这在基于教育的应用中至关重要。另外，与非概率神经网络相比，它可以实现类似或更好的性能，以及较低的方差。

区分和量化两种重要类型的不确定性，通常被称为炼狂和认识的想法，在过去几年里，在机器学习研究中受到了越来越关注。在本文中，我们考虑基于合并的不确定量化方法。区分不同类型的不确定感知学习算法，我们专注于基于所谓的信件集的贝叶斯方法和方法，这自然而然地从集合学习的角度来看。对于这两种方法，我们解决了如何量化炼体和认识性不确定性的问题。评估了相应措施的有效性，并在对拒绝选项进行分类的实证研究中进行了比较。

许多应用包括具有事件发生时间的事件数据序列。预测发生时间的模型在社交网络，金融交易，医疗保健和人类流动等各种应用程序中起着重要作用。最近的作品引入了基于神经网络的基于点的点过程，用于建模事件时间，并显示在预测事件时提供最先进的性能。然而，在量化预测性不确定性并且倾向于在外推期间产生过度自信预测的神经网络。适当的不确定性量化对于许多实际应用至关重要。因此，我们提出了一种新型点过程模型，贝叶斯神经鹰过程，利用贝叶斯模型的不确定性建模能力和神经网络的泛化能力。该模型能够通过事件发生时间预测认识性不确定性，并且在模拟和现实世界数据集上对其有效性进行了证明。

贝叶斯神经网络（BNNS）通过考虑为每个输入的权重和采样不同模型的分布，提供了一种工具来估计神经网络的不确定性。在本文中，我们提出了一种称为变异神经网络的神经网络中不确定性估计的方法，该方法通过使用可学习的子层转换其输入来生成层的输出分布的参数，而是为层的输出分布生成参数。在不确定性质量估计实验中，我们表明VNN与通过反向传播方法相比，VNN比Monte Carlo辍学或贝叶斯获得更好的不确定性质量。