监测原位浮游生物的种群对于保留水生生态系统至关重要。浮游生物微生物实际上易受较小的环境扰动的影响，可以反映出随之而来的形态学和动力学修饰。如今，高级自动或半自动采集系统的可用性已允许生产越来越多的浮游生物图像数据。由于大量获得的数据和浮游生物的数字，因此，采用机器学习算法来对此类数据进行分类。为了应对这些挑战，我们提出了有效的无监督学习管道，以提供浮游生物微生物的准确分类。我们构建一组图像描述符，利用两步过程。首先，对预先训练的神经网络提取的功能进行了跨自动编码器（VAE）的培训。然后，我们将学习的潜在空间用作聚类的图像描述符。我们将方法与最新的无监督方法进行了比较，其中一组预定义的手工特征用于浮游生物图像的聚类。所提出的管道优于我们分析中包含的所有浮游生物数据集的基准算法，提供了更好的图像嵌入属性。

由于几个原因，很难聚集艺术品。一方面，识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面，将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题，在本文中，我们提出了Delius：一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能，然后将这些功能馈送到深层嵌入聚类模型中，在此，将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务，以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用，特别是在绘画数据集中发现的视觉链接检索和历史知识发现。

The latent space of autoencoders has been improved for clustering image data by jointly learning a t-distributed embedding with a clustering algorithm inspired by the neighborhood embedding concept proposed for data visualization. However, multivariate tabular data pose different challenges in representation learning than image data, where traditional machine learning is often superior to deep tabular data learning. In this paper, we address the challenges of learning tabular data in contrast to image data and present a novel Gaussian Cluster Embedding in Autoencoder Latent Space (G-CEALS) algorithm by replacing t-distributions with multivariate Gaussian clusters. Unlike current methods, the proposed approach independently defines the Gaussian embedding and the target cluster distribution to accommodate any clustering algorithm in representation learning. A trained G-CEALS model extracts a quality embedding for unseen test data. Based on the embedding clustering accuracy, the average rank of the proposed G-CEALS method is 1.4 (0.7), which is superior to all eight baseline clustering and cluster embedding methods on seven tabular data sets. This paper shows one of the first algorithms to jointly learn embedding and clustering to improve multivariate tabular data representation in downstream clustering.

在医学中，精心策划的图像数据集经常采用离散标签来描述所谓的健康状况与病理状况的连续光谱，例如阿尔茨海默氏病连续体或图像在诊断中起关键点的其他领域。我们提出了一个基于条件变异自动编码器的图像分层的体系结构。我们的框架VAESIM利用连续的潜在空间来表示疾病的连续体并在训练过程中找到簇，然后可以将其用于图像/患者分层。该方法的核心学习一组原型向量，每个向量与群集关联。首先，我们将每个数据样本的软分配给群集。然后，我们根据样品嵌入和簇的原型向量之间的相似性度量重建样品。为了更新原型嵌入，我们使用批处理大小中实际原型和样品之间最相似表示的指数移动平均值。我们在MNIST手写数字数据集和名为Pneumoniamnist的医疗基准数据集上测试了我们的方法。我们证明，我们的方法在两个数据集中针对标准VAE的分类任务（性能提高了15％）的KNN准确性优于基准，并且还以完全监督的方式培训的分类模型同等。我们还展示了我们的模型如何优于无监督分层的当前，端到端模型。

重建和分类误差的关节优化是一个难题的问题，尤其是当使用非线性映射时。为了克服这一障碍，提出了一种新颖的优化策略，其中将降低维度的卷积自动编码器和由完全连接的网络组成的分类器组合在一起，以同时产生监督的维度降低和预测。事实证明，这种方法也可以极大地有益于深度学习体系结构的解释性。此外，可以利用针对分类任务进行优化的最终潜在空间来改善传统的，可解释的分类算法。实验结果表明，所提出的方法对最先进的深度学习方法实现了竞争结果，同时在参数计数方面更有效。最后，从经验上证明，所提出的方法论介绍了关于通过产生的潜在空间的数据结构，还涉及分类行为的高级解释性。

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

深度学习体系结构的令人印象深刻的性能与模型复杂性的大量增加有关。需要对数百万个参数进行调整，并相应地进行训练和推理时间扩展。但是需要进行大规模的微调吗？在本文中，专注于图像分类，我们考虑了一种简单的转移学习方法利用预卷积特征作为快速内核方法的输入。我们将这种方法称为最佳调整，因为只有内核分类器经过培训。通过执行2500多个培训过程，我们表明这种最佳调整方法提供了可比的精度W.R.T.进行微调，训练时间较小在一个和两个数量级之间。这些结果表明，顶级调整为中小型数据集中的微调提供了有用的替代方法，尤其是在训练效率至关重要的情况下。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

神经发展是在训练期间可以用于学习最佳架构的方法之一。它使用进化算法来产生人工神经网络（ANN）的拓扑及其参数。在这项工作中，提出了一种改进的神经发展技术，其包含多级优化。本方法采用了基于装袋技术的演化策略，采用遗传算子优化单一异常检测模型，减少训练数据集以加速搜索过程并执行非梯度微调。多元异常检测作为无监督的学习任务是测试所呈现的方法的案例研究。单一模型优化基于突变，交叉运算符，并专注于查找最佳窗口尺寸，层数，层深度，超参数等，以提高新的和已知模型的异常检测分数。拟议的框架及其协议表明，可以在合理的时间内找到架构，这可以提高所有众所周知的多元异常检测深度学习架构。该工作集中在改善异常检测的多级神经发展方法。主要修改是混合组和单一模型演化，非梯度微调和投票机制的方法。呈现的框架可以用作可以使用AutoEncoder架构的任何不同无监督任务的高效学习网络架构方法。测试在SWAT和WADI数据集上运行，并呈现了在其他深度学习模型中获得最佳分数的进化架构。

International initiatives such as METABRIC (Molecular Taxonomy of Breast Cancer International Consortium) have collected several multigenomic and clinical data sets to identify the undergoing molecular processes taking place throughout the evolution of various cancers. Numerous Machine Learning and statistical models have been designed and trained to analyze these types of data independently, however, the integration of such differently shaped and sourced information streams has not been extensively studied. To better integrate these data sets and generate meaningful representations that can ultimately be leveraged for cancer detection tasks could lead to giving well-suited treatments to patients. Hence, we propose a novel learning pipeline comprising three steps - the integration of cancer data modalities as graphs, followed by the application of Graph Neural Networks in an unsupervised setting to generate lower-dimensional embeddings from the combined data, and finally feeding the new representations on a cancer sub-type classification model for evaluation. The graph construction algorithms are described in-depth as METABRIC does not store relationships between the patient modalities, with a discussion of their influence over the quality of the generated embeddings. We also present the models used to generate the lower-latent space representations: Graph Neural Networks, Variational Graph Autoencoders and Deep Graph Infomax. In parallel, the pipeline is tested on a synthetic dataset to demonstrate that the characteristics of the underlying data, such as homophily levels, greatly influence the performance of the pipeline, which ranges between 51\% to 98\% accuracy on artificial data, and 13\% and 80\% on METABRIC. This project has the potential to improve cancer data understanding and encourages the transition of regular data sets to graph-shaped data.

嵌入大而冗余的数据，例如图像或文本，在较低维空间的层次结构中是表示方法的关键特征之一，如今，这些特征是一旦相信困难或不可能的问题，这些方法就可以为问题提供最新的解决方案解决。在这项工作中，在具有强大元回味的情节扭转中，我们展示了受过训练的深层模型与它们优化的数据一样多余，因此如何使用深度学习模型来嵌入深度学习模型。特别是，我们表明可以使用表示形式学习来学习经过训练的深层模型的固定大小，低维的嵌入空间，并且可以通过插值或优化来探索此类空间，以实现现成的模型。我们发现，可以学习相同体系结构和多个体系结构的多个实例的嵌入空间。我们解决了信号的图像分类和神经表示，表明如何学习我们的嵌入空间，以分别捕获性能和3D形状的概念。在多架结构的环境中，我们还展示了仅在架构子集中训练的嵌入方式如何才能学会生成已经训练的架构实例，从未在培训时看到实例化。

在印刷电路板（PCB）的组装过程中，大多数误差是由表面安装装置（SMD）中的焊点引起的。在文献中，传统的特征提取基于方法需要设计手工制作的特征，并依赖于分层的RGB照明来检测焊接接头误差，而基于监督的卷积神经网络（CNN）的方法需要大量标记的异常样本（有缺陷的焊点）实现高精度。为了解决无限制环境中的光学检查问题，没有特殊的照明，没有无差错的参考板，我们提出了一种用于异常检测的新的Beta变化AutoEncoders（Beta-VAE）架构，可以在IC上工作和非IC组件。我们表明，拟议的模型学会了Disondled的数据表示，导致更独立的功能和改进的潜在空间表示。我们比较用于表征异常的激活和基于梯度的表示;并观察不同Beta参数对精度的影响，并在β-VAE中的特征表示中的影响。最后，我们表明，可以通过在没有指定的硬件或特征工程的直接正常样品上培训的模型来检测焊点上的异常。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

本文介绍了视觉表示（GEOCLR）的地理化对比度学习，以有效地训练深度学习卷积神经网络（CNN）。该方法通过使用附近位置拍摄的图像生成相似的图像对来利用地理网络信息，并将这些图像与相距遥远的图像对进行对比。基本的假设是，在近距离内收集的图像更可能具有相似的视觉外观，在海底机器人成像应用中可以合理地满足图像，在这些应用中，图像足迹仅限于几米的边缘长度，并将其重叠以使其重叠沿着车辆的轨迹，而海底底物和栖息地的斑块大小要大得多。这种方法的一个关键优点是它是自我监督的，并且不需要任何人类的CNN培训投入。该方法在计算上是有效的，可以使用在大多数海洋现场试验中可以访问的计算资源在多天AUV任务中之间的潜水之间产生结果。我们将GEOCLR应用于数据集上的栖息地分类，该数据集由使用自动水下车辆（AUV）收集的〜86K图像组成。我们演示了GEOCLR产生的潜在表示如何有效地指导人类注释工作，而与使用相同的CNN和同一CNN和最先进的SIMCLR相比，半监督框架平均将分类精度提高了10.2％。等效的人类注释培训。

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

这项工作提出了基于差异自动编码器卷积编码器产生的特征的概率分类器的内核选择方法。特别是，开发的方法允许选择最相关的潜在变量子集。在拟议的实现中，每个潜在变量都是从与最后一个编码器的卷积层的单个内核相关的分布中取样的，因为为每个内核创建了个体分布。因此，在采样的潜在变量上选择相关功能使得可以执行内核选择，从而过滤非信息性特征和内核。这样的导致模型参数数量减少。评估包装器和过滤器方法以进行特征选择。第二个特别相关，因为它仅基于内核的分布。通过测量所有分布之间的kullback-leibler差异来评估，假设其分布更相似的内核可以被丢弃。该假设得到了证实，因为观察到最相似的内核不会传达相关信息，并且可以去除。结果，所提出的方法适用于开发用于资源约束设备的应用程序。

自动图像分类是食品科学中监督机器学习的常见任务。一个例子是基于图像的水果外部质量或成熟度的分类。为此，通常使用深层卷积神经网络（CNN）。这些模型通常需要大量标记的培训样本和增强的计算资源。尽管商业水果分类线很容易满足这些要求，但这些先决条件可能会阻碍机器学习方法的使用，尤其是对于发展中国家的小农户。我们提出了一种基于预先训练的视觉变压器（VIT）的替代方法，该方法特别适用于数据可用性较低和计算资源有限的域。可以在标准设备上使用有限的资源来轻松实施，这可以使这些模型在发展中国家的基于智能手机的图像分类中民主化。我们通过用良好的CNN方法基准对香蕉和苹果水果的域数据集进行两项不同的分类任务来证明我们方法的竞争力。我们的方法在3745张图像的训练数据集上，分类精度低于表现最佳的CNN（0.950 vs. 0.958）的分类精度。同时，当只有少量标记的训练样本可用时，我们的方法是优越的。与CNN相比，它需要少三倍才能达到0.90的精度。此外，低维特征嵌入的可视化表明，我们的研究中使用的模型从看不见的数据中提取了出色的特征，而无需分配标签。