PAC-Bayes has recently re-emerged as an effective theory with which one can derive principled learning algorithms with tight performance guarantees. However, applications of PAC-Bayes to bandit problems are relatively rare, which is a great misfortune. Many decision-making problems in healthcare, finance and natural sciences can be modelled as bandit problems. In many of these applications, principled algorithms with strong performance guarantees would be very much appreciated. This survey provides an overview of PAC-Bayes performance bounds for bandit problems and an experimental comparison of these bounds. Our experimental comparison has revealed that available PAC-Bayes upper bounds on the cumulative regret are loose, whereas available PAC-Bayes lower bounds on the expected reward can be surprisingly tight. We found that an offline contextual bandit algorithm that learns a policy by optimising a PAC-Bayes bound was able to learn randomised neural network polices with competitive expected reward and non-vacuous performance guarantees.

高斯过程状态空间模型通过在转换功能上放置高斯过程来以原则方式捕获复杂的时间依赖性。这些模型具有自然的解释，作为离散的随机微分方程，但困难的长期序列的推断是困难的。快速过渡需要紧密离散化，而慢速转换需要在长副图层上备份梯度。我们提出了一种由多个组件组成的新型高斯过程状态空间架构，每个组件都培训不同的分辨率，以对不同时间尺度进行模拟效果。组合模型允许在自适应刻度上进行时间进行时间，为具有复杂动态的任意长序列提供有效推断。我们在半合成数据和发动机建模任务上基准我们的新方法。在这两个实验中，我们的方法对其最先进的替代品仅比单一时间级运行的最先进的替代品。

神经随机微分方程（NSDES）模拟随机过程作为神经网络的漂移和扩散函数。尽管已知NSDE可以进行准确的预测，但到目前为止，其不确定性定量属性仍未探索。我们报告了经验发现，即从NSDE获得良好的不确定性估计是计算上的过度估计。作为一种补救措施，我们开发了一种计算负担得起的确定性方案，该方案在动力学受NSD管辖时准确地近似过渡内核。我们的方法引入了匹配算法的二维力矩：沿着神经净层和沿时间方向水平的垂直力，这受益于有效近似的原始组合。我们对过渡内核的确定性近似适用于培训和预测。我们在多个实验中观察到，我们方法的不确定性校准质量只有在引入高计算成本后才通过蒙特卡洛采样来匹配。由于确定性培训的数值稳定性，我们的方法还提高了预测准确性。

Over the past decade, there has been a significant increase in the use of Unmanned Aerial Vehicles (UAVs) to support a wide variety of missions, such as remote surveillance, vehicle tracking, and object detection. For problems involving processing of areas larger than a single image, the mosaicking of UAV imagery is a necessary step. Real-time image mosaicking is used for missions that requires fast response like search and rescue missions. It typically requires information from additional sensors, such as Global Position System (GPS) and Inertial Measurement Unit (IMU), to facilitate direct orientation, or 3D reconstruction approaches to recover the camera poses. This paper proposes a UAV-based system for real-time creation of incremental mosaics which does not require either direct or indirect camera parameters such as orientation information. Inspired by previous approaches, in the mosaicking process, feature extraction from images, matching of similar key points between images, finding homography matrix to warp and align images, and blending images to obtain mosaics better looking, plays important roles in the achievement of the high quality result. Edge detection is used in the blending step as a novel approach. Experimental results show that real-time incremental image mosaicking process can be completed satisfactorily and without need for any additional camera parameters.

我们旨在通过引入全面的分布式深度学习（DDL）探索器来解决此问题，该研究人员可以确定DDL在公共云上运行时遭受的各种执行“失速”。我们已经通过扩展先前的工作来估算两种类型的通信失速 - 互连和网络摊位来实现剖面。我们使用Profiler培训流行的DNN模型来表征各种AWS GPU实例，并列出了用户做出明智决定的优势和缺点。我们观察到，较昂贵的GPU实例可能不是所有DNN型号的性能最多，并且AWS可能会在次优的硬件互连资源分配次优。具体而言，与单个实例的培训相比，机内互连可以引入高达90％的DNN培训时间和网络连接的实例的通信开销，而与网络连接的实例可能会遭受高达5倍的速度。此外，我们对DNN宏观特征的影响进行建模，例如层的数量和通信摊位上的梯度数量。最后，我们为用户提出了一个基于衡量的建议模型，以降低DDL的公共云货币成本。

科学家越来越依靠Python工具使用丰富的，类似于Numpy的表达式执行可扩展的分布式内存阵列操作。但是，这些工具中的许多工具都依赖于针对抽象任务图进行了优化的动态调度程序，这些调度图通常遇到内存和网络带宽相关的瓶颈，这是由于亚最佳数据和操作员的放置决策。在消息传递接口（MPI）（例如Scalapack和Slate）上构建的工具具有更好的缩放属性，但是这些解决方案需要使用专门的知识。在这项工作中，我们提出了NUMS，这是一个数组编程库，可在基于任务的分布式系统上优化类似Numpy的表达式。这是通过称为负载模拟层次调度（LSHS）的新型调度程序来实现的。 LSHS是一种本地搜索方法，可通过最大程度地减少分布式系统中任何给定节点上的最大内存和网络加载来优化操作员放置。再加上用于负载平衡数据布局的启发式，我们的方法能够在某些常见的数值操作上达到通信下限，我们的经验研究表明，LSHS通过减少2倍的降低2倍来增强RAR上的性能，需要减少4倍的内存， ，在逻辑回归问题上减少10倍的执行时间。在Terabyte尺度数据上，NUMS在DGEMM上实现了竞争性能，与Dask ML和Spark的Mllib相比，在键盘分解的密钥操作中，DASK高达20倍的速度以及logistic回归的2倍加速。

尽管图表神经网络（GNNS）的最近成功，但大图上的培训GNN仍然具有挑战性。现有服务器的有限资源容量，图中节点之间的依赖关系以及由于集中存储和模型学习导致的隐私问题刺激了用于GNN训练的有效分布式算法的需要。然而，现有的分布式GNN训练方法强加过度的通信成本或妨碍其可扩展性的大存储器开销。为了克服这些问题，我们提出了一种名为$ \ text {{locally，正确的全球}} $（llcg）的通信有效的分布式GNN培训技术。为了减少通信和内存开销，LLCG中的每个本地计算机首先通过忽略不同机器之间的节点之间的依赖性在其本地数据上列出GNN，然后将本地训练的模型发送到服务器以获取周期性模型平均。但是，忽略节点依赖性可能导致显着的性能下降。要解决性能下降，我们建议在服务器上应用$ \ text {{{global server校正}} $以优化本地学习的模型。我们严格地分析了具有用于训练GNN的周期性模型的分布式方法的收敛性，并且显示了天真地应用周期模型平均但忽略节点之间的依赖性将受到不可缩小的残余错误。然而，通过利用所提出的全局校正来避免收敛速度，可以消除这种剩余误差。对现实世界数据集的广泛实验表明，LLCG可以显着提高效率而不会伤害性能。