幼稚的贝叶斯在许多应用中广泛使用，因为它具有简单性和处理数值数据和分类数据的能力。但是，缺乏特征之间的相关性建模会限制其性能。此外，现实世界数据集中的噪声和离群值也大大降低了分类性能。在本文中，我们提出了一种功能增强方法，该方法采用堆栈自动编码器来减少数据中的噪声并增强幼稚贝叶斯的判别能力。提出的堆栈自动编码器由两个用于不同目的的自动编码器组成。第一个编码器缩小了初始特征，以得出紧凑的特征表示，以消除噪声和冗余信息。第二个编码器通过将功能扩展到更高维度的空间中来增强特征的判别能力，从而使不同类别的样品在较高维度的空间中可以更好地分离。通过将提出的功能增强方法与正规化的幼稚贝叶斯集成，该模型的歧视能力得到了极大的增强。在一组机器学习基准数据集上评估所提出的方法。实验结果表明，所提出的方法显着且始终如一地优于最先进的天真贝叶斯分类器。

最近，许多改进的天真贝叶斯方法已经开发出具有增强的辨别能力。其中，正规化的朴素贝叶斯（RNB）通过平衡辨别力和泛化能力来产生出色的性能。数据离散化在天真贝叶斯中很重要。通过将类似的值分组成一个间隔，可以更好地估计数据分布。但是，包括RNB的现有方法通常将数据离散到太少的间隔中，这可能导致显着的信息丢失。为了解决这个问题，我们提出了一个用于天真贝叶斯的半监督自适应判别离散化框架，这可以通过利用伪标签技术利用标记的数据和未标记的数据来更好地估计数据分布。通过利用自适应鉴别的离散化方案，所提出的方法也显着降低了离散化期间的信息损失，因此大大提高了分类器的歧视力。在各种机器学习数据集上系统地评估所提出的RNB +，即正规化的天真贝叶斯。它显着且始终如一地优于最先进的NB分类器。

在许多分类模型中，数据被离散化以更好地估计其分布。现有的离散方法通常是针对最大化离散数据的判别能力的，同时忽略了分类中数据离散化的主要目标是改善概括性能。结果，数据往往会超出许多小型垃圾箱，因为数据没有离散化保留了最大判别信息。因此，我们提出了一个最大依赖性最差（MDMD）标准，该标准可最大程度地提高离散数据的判别信息和概括能力。更具体地说，最大依赖性标准可最大化离散数据和分类变量之间的统计依赖性，而最小差异标准则明确最大程度地减少了给定离散方案的训练数据与验证数据之间的JS差异。拟议的MDMD标准在技术上很有吸引力，但是很难可靠地估计属性的高阶联合分布和分类变量。因此，我们进一步提出了一个更实用的解决方案，最大值 - 差异 - 差异（MRMD）离散方案，其中每个属性通过同时最大化判别信息和离散数据的概括能力分别离散化。将提出的MRMD与45个机器学习基准数据集的Naive Bayes分类框架下的最新离散算法进行了比较。它大大优于大多数数据集上所有比较的方法。

少量分类旨在通过一些培训样本来调整小型课程的分类器。然而，训练数据的不足可能导致某个类中的特征分布偏差估计。为了缓解这个问题，我们通过探索新颖和基类之间的类别相关性，作为先前知识来展示一个简单而有效的功能整流方法。我们通过将特征映射到潜在的向量中明确地捕获这种相关性，其中匹配基类的数量的维度，将其视为在基类上的特征的对数概率。基于该潜伏向量，整流特征由解码器直接构建，我们预计在去除其他随机因素的同时保持与类别相关的信息，因此更接近其类心。此外，通过改变SoftMax中的温度值，我们可以重新平衡特征整流和重建以获得更好的性能。我们的方法是通用的，灵活的，不可知的任何特征提取器和分类器，容易嵌入到现有的FSL方法中。实验验证了我们的方法能够整流偏置功能，尤其是当特征远离班级质心时。拟议的方法一直在三种广泛使用的基准上获得相当大的性能收益，用不同的骨干和分类器评估。该代码将公开。

在处理小型数据集上的临床文本分类时，最近的研究证实，经过调整的多层感知器的表现优于其他生成分类器，包括深度学习。为了提高神经网络分类器的性能，可以有效地使用学习表示的功能选择。但是，大多数特征选择方法仅估计变量之间的线性依赖性程度，并根据单变量统计测试选择最佳特征。此外，学习表示所涉及的特征空间的稀疏性被忽略了。目标：因此，我们的目标是通过压缩临床代表性空间来访问一种替代方法来解决稀疏性，在这种情况下，法国临床笔记也可以有效地处理有限的法国临床笔记。方法：本研究提出了一种自动编码器学习算法来利用临床注释表示的稀疏性。动机是通过降低临床音符表示特征空间的维度来确定如何压缩稀疏的高维数据。然后在受过训练和压缩的特征空间中评估分类器的分类性能。结果：建议的方法为每种评估提供了高达3％的总体绩效增长。最后，分类器在检测患者病情时达到了92％的准确性，91％的召回，91％的精度和91％的F1得分。此外，通过应用理论信息瓶颈框架来证明压缩工作机制和自动编码器预测过程。

特征选择是机器学习的重要过程。它通过选择对预测目标贡献最大的功能来构建一个可解释且健壮的模型。但是，大多数成熟的特征选择算法，包括受监督和半监督，无法完全利用特征之间的复杂潜在结构。我们认为，这些结构对于特征选择过程非常重要，尤其是在缺乏标签并且数据嘈杂的情况下。为此，我们创新地向特征选择问题（即基于批量注意的自我划分特征选择（A-SFS））进行了创新的深入的自我监督机制。首先，多任务自我监督的自动编码器旨在在两个借口任务的支持下揭示功能之间的隐藏结构。在来自多自制的学习模型的集成信息的指导下，批处理注意机制旨在根据基于批处理的特征选择模式产生特征权重，以减轻少数嘈杂数据引入的影响。将此方法与14个主要强大基准进行了比较，包括LightGBM和XGBoost。实验结果表明，A-SFS在大多数数据集中达到了最高的精度。此外，这种设计大大降低了对标签的依赖，仅需1/10个标记的数据即可达到与那些先进的基线相同的性能。结果表明，A-SFS对于嘈杂和缺少数据也是最强大的。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

情感计算在人与机器之间的关系中非常重要。在本文中，提出了一种基于语音信号的语音情感识别（SER）的系统，其利用不同处理阶段的新技术。该系统由三个阶段组成：功能提取，功能选择，最终要素分类。在第一阶段，使用新的和多样性特征（如韵律，光谱和频谱）特征，从语音信号和光泽 - 波形信号中提取复杂的长期统计特征。 SER系统的挑战之一是区分相关情绪。这些特征是言语情绪的好鉴别者，并提高Ser识别类似和不同情绪的能力。此特征向量具有大量维度自然具有冗余。在第二阶段，使用经典特征选择技术以及用于减少特征向量维度的新量子启发技术，减少了特征向量尺寸的数量。在第三阶段，优化的特征向量由加权深稀疏的极端学习机（ELM）分类器分类。分类器以三个步骤执行分类：稀疏随机特征学习，使用奇异值分解（SVD）技术的正交随机投影，以及使用广义Tikhonov正规技术的最后一步中的鉴别分类。此外，许多现有的情绪数据集遭受数据不平衡分布的问题，这反过来增加了分类误差并降低了系统性能。在本文中，还提出了一种新的加权方法来处理类别不平衡，比现有的加权方法更有效。所提出的方法是在三个标准情绪数据库上进行评估。

癌症存活预测对于开发个性化治疗和诱导疾病的机制很重要。多词数据的数据整合吸引了人们对癌症研究的广泛兴趣，以提供了解多个遗传水平的癌症进展的信息。然而，由于多派数据的高维和异质性，许多作品受到限制。在本文中，我们提出了一种新的方法，以整合癌症生存预测的多摩学数据，称为堆叠自动编码器的生存预测神经网络（SAESURV-NET）。在TCGA病例的癌症存活预测中，SaesURV-NET通过两阶段的降低策略来解决维数的诅咒，并使用堆叠的自动编码器模型处理多摩斯的异质性。两阶段的降低策略在计算复杂性和信息开发之间取得了平衡。堆叠的自动编码器模型删除了大多数异质性，例如第一组自动编码器中的数据类型和大小，并将多个OMICS数据集成在第二个自动编码器中。该实验表明，SAESURV-NET优于基于单一类型数据以及其他最先进方法的模型。

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

无监督的异常检测旨在通过在正常数据上训练来建立模型以有效地检测看不见的异常。尽管以前的基于重建的方法取得了富有成效的进展，但由于两个危急挑战，他们的泛化能力受到限制。首先，训练数据集仅包含正常模式，这限制了模型泛化能力。其次，现有模型学到的特征表示通常缺乏代表性，妨碍了保持正常模式的多样性的能力。在本文中，我们提出了一种称为自适应存储器网络的新方法，具有自我监督的学习（AMSL）来解决这些挑战，并提高无监督异常检测中的泛化能力。基于卷积的AutoEncoder结构，AMSL包含一个自我监督的学习模块，以学习一般正常模式和自适应内存融合模块来学习丰富的特征表示。四个公共多变量时间序列数据集的实验表明，与其他最先进的方法相比，AMSL显着提高了性能。具体而言，在具有9亿个样本的最大帽睡眠阶段检测数据集上，AMSL以精度和F1分数\ TextBF {4} \％+优于第二个最佳基线。除了增强的泛化能力之外，AMSL还针对输入噪声更加强大。

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

近年来，多视图学习迅速发展。尽管许多先前的研究都认为每个实例都出现在所有视图中，但在现实世界应用程序中很常见，从某些视图中丢失实例，从而导致多视图数据不完整。为了解决这个问题，我们提出了一个新型潜在的异质图网络（LHGN），以实现不完整的多视图学习，该学习旨在以灵活的方式尽可能充分地使用多个不完整的视图。通过学习统一的潜在代表，隐含地实现了不同观点之间一致性和互补性之间的权衡。为了探索样本与潜在表示之间的复杂关系，首次提出了邻域约束和视图约束，以构建异质图。最后，为了避免训练和测试阶段之间的任何不一致之处，基于图形学习的分类任务应用了转导学习技术。对现实世界数据集的广泛实验结果证明了我们模型对现有最新方法的有效性。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

深度聚类最近引起了极大的关注。尽管取得了显着的进展，但以前的大多数深度聚类作品仍有两个局限性。首先，其中许多集中在某些基于分布的聚类损失上，缺乏通过对比度学习来利用样本（或增强）关系的能力。其次，他们经常忽略了间接样本结构信息，从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点，本文提出了一种新的深聚类方法，称为图像聚类，其中包括对比度学习和多尺度图卷积网络（IcicleGCN），该网络（ICICELGCN）也弥合了卷积神经网络（CNN）和图形卷积网络（GCN）之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成，即基于CNN的主链，实例相似性模块（ISM），关节群集结构学习和实例重建模块（JC-SLIM）和多尺度GCN模块（M -GCN）。具体而言，在每个图像上执行了两个随机增强，使用两个重量共享视图的骨干网络用于学习增强样品的表示形式，然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外，为了实施多尺度的邻域结构学习，通过（i）通过（i）层次融合的层相互作用和（ii）共同自适应学习确保他们的最后一层，同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。

可以通过对手动预定义目标的监督（例如，一hot或Hadamard代码）进行深入的表示学习来解决细粒度的视觉分类。这种目标编码方案对于模型间相关性的灵活性较小，并且对稀疏和不平衡的数据分布也很敏感。鉴于此，本文介绍了一种新颖的目标编码方案 - 动态目标关系图（DTRG），作为辅助特征正则化，是一个自生成的结构输出，可根据输入图像映射。具体而言，类级特征中心的在线计算旨在在表示空间中生成跨类别距离，因此可以通过非参数方式通过动态图来描绘。明确最大程度地减少锚定在这些级别中心的阶层内特征变化可以鼓励学习判别特征。此外，由于利用了类间的依赖性，提出的目标图可以减轻代表学习中的数据稀疏性和不稳定。受混合风格数据增强的最新成功的启发，本文将随机性引入了动态目标关系图的软结构，以进一步探索目标类别的关系多样性。实验结果可以证明我们方法对多个视觉分类任务的许多不同基准的有效性，尤其是在流行的细粒对象基准上实现最先进的性能以及针对稀疏和不平衡数据的出色鲁棒性。源代码可在https://github.com/akonlau/dtrg上公开提供。

Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.

由于其通过深层神经网络的共同表示学习和聚类的能力，近年来，深层聚类引起了人们的关注。在其最新发展中，对比度学习已成为一种有效的技术，可实质性地提高深度聚类的性能。但是，现有的基于学习的基于对比的深层聚类算法主要集中于一些精心设计的增强（通常具有有限的转换以保留结构），被称为薄弱的增强，但不能超越弱化的增强，以探索更多的机会（随着更具侵略性的转变甚至严重的扭曲）。在本文中，我们提出了一种被称为强烈增强的对比聚类（SACC）的端到端深群集方法，该方法将传统的两夸大视图范式扩展到多种视图，并共同利用强大而弱的增强，以增强深层聚类。特别是，我们利用具有三重共享权重的骨干网络，在该网络中，强烈的增强视图和两个弱化的视图均融合在一起。基于主链产生的表示，弱进行弱化的视图对和强力视图对同时被利用用于实例级的对比度学习（通过实例投影仪）和群集级的对比度学习（通过群集投影仪），与主链一起可以以纯监督的方式共同优化。五个具有挑战性的图像数据集的实验结果表明，我们的SACC方法优于最先进的方法。该代码可在https://github.com/dengxiaozhi/sacc上找到。