内核分割旨在将数据序列划分为可能具有非线性和复杂结构的几个非重叠段。通常，它被称为组合约束的离散优化问题。最佳解决此问题的流行算法是动态编程（DP），它具有二次计算和内存要求。鉴于实践中的序列太长，这种算法不是一种实际方法。尽管已经提出了许多启发式算法来近似最佳分割，但他们无法保证其解决方案的质量。在本文中，我们采取了一种可区分的方法来减轻上述问题。首先，我们引入了一种新型的基于Sigmoid的正则化，以平稳近似组合约束。将其与平衡内核聚类的目标相结合，我们制定了一种用基于Sigmoid的正则化（KCSR）称为内核聚类的可区分模型，可以利用基于梯度的算法来获得最佳分段。其次，我们开发了提出模型的随机变体。通过使用具有较低时间和空间复杂性的随机梯度下降算法以进行优化，第二个模型可以对横长的数据序列进行分割。最后，为了同时分割多个数据序列，我们稍微修改了基于Sigmoid的正则化，以进一步引入所提出模型的扩展变体。通过对我们模型的各种数据序列性能进行的广泛实验，并将其与现有方法的表演进行了比较。实验结果验证了所提出的模型的优势。我们的MATLAB源代码可在GitHub上获得。

多视图聚类（MVC）最佳地集成了来自不同视图的互补信息，以提高聚类性能。尽管在各种应用中证明了有希望的性能，但大多数现有方法都直接融合了多个预先指定的相似性，以学习聚类的最佳相似性矩阵，这可能会导致过度复杂的优化和密集的计算成本。在本文中，我们通过对齐方式最大化提出了晚期Fusion MVC，以解决这些问题。为此，我们首先揭示了现有K-均值聚类的理论联系以及基本分区和共识之一之间的对齐。基于此观察结果，我们提出了一种简单但有效的多视算法，称为LF-MVC-GAM。它可以从每个单独的视图中最佳地将多个源信息融合到分区级别，并最大程度地将共识分区与这些加权基础分区保持一致。这种对齐方式有助于整合分区级别信息，并通过充分简化优化过程来大大降低计算复杂性。然后，我们设计了另一个变体LF-MVC-LAM，以通过在多个分区空间之间保留局部内在结构来进一步提高聚类性能。之后，我们开发了两种三步迭代算法，以通过理论上保证的收敛来解决最终的优化问题。此外，我们提供了所提出算法的概括误差约束分析。对十八个多视图基准数据集进行了广泛的实验，证明了拟议的LF-MVC-GAM和LF-MVC-LAM的有效性和效率，范围从小到大型数据项不等。拟议算法的代码可在https://github.com/wangsiwei2010/latefusionalignment上公开获得。

光谱型子空间聚类算法成功的关键点是寻求重建系数矩阵，这些矩阵可以忠实地揭示数据集的子空间结构。理想的重建系数矩阵应该具有两个属性：1）它是块对角线，每个块指示一个子空间； 2）每个块完全连接。尽管已经提出了各种光谱类型子空间聚类算法，但这些算法构建的重建系数矩阵中仍然存在一些缺陷。我们发现，归一化成员矩阵自然满足上述两个条件。因此，在本文中，我们设计了一种基本表示（IDR）算法来追求近似归一化成员矩阵的重建系数矩阵。 IDR设计了重建系数矩阵的新的IDEMTOTENT约束。通过将双随机约束结合在一起，可以直接实现与归一化构件矩阵封闭的系数矩阵。我们提出了用于解决IDR问题的优化算法，并分析其计算负担和收敛性。 IDR和相关算法之间的比较显示IDR的优势。对合成和现实世界数据集进行的大量实验证明，IDR是一种有效而有效的子空间聚类算法。

由于其数值益处增加及其坚实的数学背景，光谱聚类方法的非线性重构近来的关注。我们在$ p $ -norm中提出了一种新的直接多道谱聚类算法，以$ p \ in（1,2] $。计算图表的多个特征向量的问题$ p $ -laplacian，标准的非线性概括Graph Laplacian，被重用作为Grassmann歧管的无约束最小化问题。$ P $的价值以伪连续的方式减少，促进对应于最佳图形的稀疏解决方案载体作为$ P $接近。监测单调减少平衡图削减了我们从$ P $ -Levels获得的最佳可用解决方案的保证。我们展示了我们算法在各种人工测试案件中的算法的有效性和准确性。我们的数值和比较结果具有各种状态-Art聚类方法表明，所提出的方法在均衡的图形剪切度量和标签分配的准确性方面取得高质量的集群。此外，我们进行S面部图像和手写字符分类的束缚，以展示现实数据集中的适用性。

子空间聚类方法拥抱一个自表现模型，表示每个数据点作为数据集中的其他数据点的线性组合是强大的无监督学习技术。然而，在处理大规模数据集时，通过参考作为字典的所有数据点来表示每个数据点的表示患有高计算复杂度。为了缓解这个问题，我们通过梳理多个子集，引入并行的基于多子集的自表现模型（PMS），该模型表示每个数据点，每个数据点仅包括小百分比样本。子空间聚类中的PMS采用（PMSSC）导致计算优势，因为分解到每个子集中的每个优化问题很小，并且可以并行地求解。此外，PMSSC能够组合从子集获得的多个自我表达系数矢量，这有助于改善自表现。对合成数据和现实世界数据集的广泛实验表明了我们对竞争方法的方法的效率和有效性。

多视图聚类已进行了广泛的研究，以利用多源信息来提高聚类性能。通常，大多数现有作品通常通过某些相似性/距离指标（例如欧几里得距离）或学习的表示形式来计算N * n亲和力图，并探索跨视图的成对相关性。但是不幸的是，通常需要二次甚至立方复杂性，这使得在聚集largescale数据集方面遇到了困难。最近，通过选择具有K-均值的视图锚表演或通过对原始观测值进行直接矩阵分解来捕获多个视图中的数据分布。尽管取得了巨大的成功，但很少有人考虑了视图不足问题，因此隐含地认为，每个单独的观点都足以恢复群集结构。此外，无法同时发现潜在积分空间以及来自多个视图的共享群集结构。鉴于这一点，我们为快速多视图聚类（AIMC）提出了一个具有几乎线性复杂性的快速多视图聚类（AIMC）。具体而言，视图生成模型旨在重建来自潜在积分空间的视图观测值，并具有不同的适应性贡献。同时，具有正交性约束和群集分区的质心表示无缝构造以近似潜在的积分空间。开发了一种替代最小化算法来解决优化问题，事实证明，该问题具有线性时间复杂性W.R.T.样本量。与最新方法相比，在几个Realworld数据集上进行的广泛实验证实了所提出的AIMC方法的优越性。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

由于需要经济的储存和二元法规的效率，因此无监督的哈希对二元表示学习引起了很多关注。它旨在编码锤子空间中的高维特征，并在实例之间保持相似性。但是，大多数现有方法在基于多种的方法中学习哈希功能。这些方法捕获了数据的局部几何结构（即成对关系），并且在处理具有不同语义信息的实际特征（例如颜色和形状）的真实情况时缺乏令人满意的性能。为了应对这一挑战，在这项工作中，我们提出了一种有效的无监督方法，即共同个性化的稀疏哈希（JPSH），以进行二进制表示学习。具体来说，首先，我们提出了一个新颖的个性化哈希模块，即个性化的稀疏哈希（PSH）。构建了不同的个性化子空间，以反映不同群集的特定类别属性，同一群集中的自适应映射实例与同一锤子空间。此外，我们为不同的个性化子空间部署稀疏约束来选择重要功能。我们还收集了其他群集的优势，以避免过度拟合，以构建PSH模块。然后，为了在JPSH中同时保留语义和成对的相似性，我们将基于PSH和歧管的哈希学习纳入无缝配方中。因此，JPSH不仅将这些实例与不同的集群区分开，而且还保留了集群中的本地邻里结构。最后，采用了交替优化算法，用于迭代捕获JPSH模型的分析解决方案。在四个基准数据集上进行的大量实验验证了JPSH是否在相似性搜索任务上优于几个哈希算法。

张量分解是学习多通道结构和来自高维数据的异质特征的有效工具，例如多视图图像和多通道脑电图（EEG）信号，通常由张量表示。但是，大多数张量分解方法是线性特征提取技术，它们无法在高维数据中揭示非线性结构。为了解决此类问题，已经提出了许多算法，以同时执行线性和非线性特征提取。代表性算法是用于图像群集的图形正则非负矩阵分解（GNMF）。但是，正常的2阶图只能模拟对象的成对相似性，该对象无法充分利用样品的复杂结构。因此，我们提出了一种新型方法，称为HyperGraph Narodarized非负张量分解（HyperNTF），该方法利用超图来编码样品之间的复杂连接，并采用了与最终的典型多形（CP）分解模式相对应的因子矩阵，为低维度表示。关于合成歧管，现实世界图像数据集和脑电图信号的广泛实验，表明HyperNTF在降低，聚类和分类方面优于最先进的方法。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

子空间聚类是将大约位于几个低维子空间的数据样本集合集合的经典问题。此问题的当前最新方法基于自我表达模型，该模型表示样品是其他样品的线性组合。但是，这些方法需要足够广泛的样品才能准确表示，这在许多应用中可能不一定是可以访问的。在本文中，我们阐明了这个常见的问题，并认为每个子空间中的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决此问题的解决方案是由数据扩展在深神经网络的概括力中的核心作用引起的。我们为无监督和半监督的设置提出了两个子空间聚类框架，这些框架使用增强样品作为扩大词典来提高自我表达表示的质量。我们提出了一种使用一些标记的样品进行半监督问题的自动增强策略，该问题取决于数据样本位于多个线性子空间的联合以下事实。实验结果证实了数据增强的有效性，因为它显着提高了一般自我表达模型的性能。

我们的工作针对自动分析，以量化细菌细菌群体的生长动力学。我们提出了一种创新的方法，通过自动化新的，特定的成本功能的自动化最小化对可变形细胞运动的框架跟踪。这种最小化由专用的玻尔兹曼机器（随机复发神经网络）实现。通过连续的两个成本函数的最小化，对细胞分裂的自动检测进行了类似的处理，从而交替地识别儿童对和父母的识别。我们使用（i）记录模拟细胞菌落的记录来验证提出的自动细胞跟踪算法，这些算法与微流体陷阱和（ii）真实数据密切模仿大肠杆菌的生长动力学。在一批1100个模拟图像框架上，每帧的单元格登记精度范围从94.5％到100％，平均水平很高。我们使用大肠杆菌菌落的实验图像序列（即实际数据）进行的初始测试也产生令人信服的结果，注册精度范围从90％到100％。

本文解决了对象识别的问题，给出了一组图像作为输入（例如，多个相机源和视频帧）。基于卷积神经网络（CNN）的框架不会有效地利用这些集合，处理如观察到的模式，而不是捕获基础特征分布，因为它不考虑集合中的图像的方差。为了解决这个问题，我们提出了基于基于CNNS的CNNS作为分类器的NN层，作为分类器的NN层，可以更有效地处理图像，并且可以以端到端的方式训练。图像集由低维输入子空间表示;并且此输入子空间与参考子空间匹配，通过其规范角度的相似性，可解释和易于计算度量。 G-LMSM的关键思想是参考子空间被学习为基层歧管的点，用黎曼随机梯度下降而优化。这种学习是稳定，高效，理论上的接地。我们展示了我们提出的方法在手工形状识别，面部识别和面部情感识别方面的有效性。

Multi-view unsupervised feature selection has been proven to be efficient in reducing the dimensionality of multi-view unlabeled data with high dimensions. The previous methods assume all of the views are complete. However, in real applications, the multi-view data are often incomplete, i.e., some views of instances are missing, which will result in the failure of these methods. Besides, while the data arrive in form of streams, these existing methods will suffer the issues of high storage cost and expensive computation time. To address these issues, we propose an Incremental Incomplete Multi-view Unsupervised Feature Selection method (I$^2$MUFS) on incomplete multi-view streaming data. By jointly considering the consistent and complementary information across different views, I$^2$MUFS embeds the unsupervised feature selection into an extended weighted non-negative matrix factorization model, which can learn a consensus clustering indicator matrix and fuse different latent feature matrices with adaptive view weights. Furthermore, we introduce the incremental leaning mechanisms to develop an alternative iterative algorithm, where the feature selection matrix is incrementally updated, rather than recomputing on the entire updated data from scratch. A series of experiments are conducted to verify the effectiveness of the proposed method by comparing with several state-of-the-art methods. The experimental results demonstrate the effectiveness and efficiency of the proposed method in terms of the clustering metrics and the computational cost.

降低降低技术旨在代表低维空间中的高维数据，以提取隐藏和有用的信息，或者促进对数据的视觉理解和解释。但是，很少有人考虑高维数据中隐含的潜在群集信息。在本文中，我们提出了基于T-SNE的新的图形非线性降低方法Laptsne，这是将高维数据视为2D散点图的最佳技术之一。具体而言，Laptsne在学习保留从高维空间到低维空间的局部和全球结构时，利用图形laplacian的特征值信息缩小了低维嵌入中的潜在簇。解决提出的模型是不平凡的，因为归一化对称拉普拉斯的特征值是决策变量的函数。我们提供了一种具有收敛保证的大型最小化算法，以解决LAPTSNE的优化问题，并显示如何分析梯度，当考虑使用Laplacian兼容的目标进行优化时，这可能引起人们的广泛关注。我们通过与最先进的方法进行正式比较，在视觉和既定的定量测量中评估我们的方法。结果证明了我们方法比T-SNE和UMAP等基线的优越性。我们还将方法扩展到光谱聚类并建立一种准确且无参数的聚类算法，该算法为我们提供了实际应用中的高可靠性和便利性。

时间动作细分任务段视频暂时，并预测所有帧的动作标签。充分监督这种细分模型需要密集的框架动作注释，这些注释既昂贵又乏味。这项工作是第一个提出一个组成动作发现（CAD）框架的工作，该框架仅需要视频高级复杂活动标签作为时间动作分割的监督。提出的方法会自动使用活动分类任务发现组成视频动作。具体而言，我们定义了有限数量的潜在作用原型来构建视频级别的双重表示，通过活动分类培训共同学习了这些原型。这种设置赋予我们的方法，可以在多个复杂活动中发现潜在的共享动作。由于缺乏行动水平的监督，我们采用匈牙利匹配算法将潜在的动作原型与地面真理语义类别进行评估联系起来。我们表明，通过高级监督，匈牙利的匹配可以从现有的视频和活动级别扩展到全球水平。全球级别的匹配允许跨活动进行行动共享，这在文献中从未考虑过。广泛的实验表明，我们发现的动作可以帮助执行时间动作细分和活动识别任务。

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

通过内核矩阵或图形laplacian矩阵代表数据点的光谱方法已成为无监督数据分析的主要工具。在许多应用程序场景中，可以通过神经网络嵌入的光谱嵌入可以在数据样本上进行训练，这为实现自动样本外扩展以及计算可扩展性提供了一种有希望的方法。在Spectralnet的原始论文中采用了这种方法（Shaham等人，2018年），我们称之为Specnet1。当前的论文引入了一种名为SpecNet2的新神经网络方法，以计算光谱嵌入，该方法优化了特征问题的等效目标，并删除了SpecNet1中的正交层。 SpecNet2还允许通过通过梯度公式跟踪每个数据点的邻居来分离图形亲和力矩阵的行采样和列。从理论上讲，我们证明了新的无正交物质目标的任何局部最小化均显示出领先的特征向量。此外，证明了使用基于批处理的梯度下降法的这种新的无正交目标的全局收敛。数值实验证明了在模拟数据和图像数据集上Specnet2的性能和计算效率的提高。

我们为深度残留网络（RESNETS）提出了一种全球收敛的多级训练方法。设计的方法可以看作是递归多级信任区域（RMTR）方法的新型变体，该方法通过在训练过程中自适应调节迷你批量，在混合（随机确定性）设置中运行。多级层次结构和传输运算符是通过利用动力学系统的观点来构建的，该观点通过重新连接来解释远期传播作为对初始值问题的正向Euler离散化。与传统的培训方法相反，我们的新型RMTR方法还通过有限的内存SR1方法结合了有关多级层次结构各个级别的曲率信息。使用分类和回归领域的示例，对我们的多级训练方法的总体性能和收敛属性进行了数值研究。