异质的大数据在机器学习中构成了许多挑战。它的巨大规模，高维度和固有的不确定性使机器学习的几乎每个方面都变得困难，从提供足够的处理能力到保持模型准确性到保护隐私。但是，也许最引人注目的问题是，大数据通常散布在敏感的个人数据中。因此，我们提出了一个保护隐私的层次模糊神经网络（PP-HFNN），以应对这些技术挑战，同时也减轻了隐私问题。通过两阶段优化算法对网络进行训练，并且基于众所周知的交替方向方法，通过方案学习了层次级别低级别的参数，该方案不会向其他代理揭示本地数据。高级层次结构的协调通过交替优化方法来处理，该方法的收敛很快。整个训练过程是可扩展的，快速的，并且不会遭受基于后传播的方法等梯度消失的问题。对回归和分类任务进行的综合模拟证明了所提出的模型的有效性。

最近，分布式的半监督学习（DSSL）算法表明，它们在利用未标记的样本优于互连网络方面的有效性，在这些网络上，代理无法彼此共享其原始数据，并且只能与邻居传达非敏感信息。但是，现有的DSSL算法无法应对数据不确定性，并且可能会遭受高度计算和通信开销问题的困扰。为了解决这些问题，我们提出了一个分布式的半监督模糊回归（DSFR）模型，该模型具有模糊的规则和插值一致性正则化（ICR）。 ICR最近是针对半监督问题的，可以迫使决策边界通过稀疏的数据区域，从而增加模型的鲁棒性。但是，尚未考虑其在分布式方案中的应用。在这项工作中，我们提出了分布式模糊C均值（DFCM）方法和分布式插值一致性正则化（DICR）（DICR）构建在众所周知的乘数交替方向方法上，以分别定位DSFR的先行和结果组件中的参数。值得注意的是，DSFR模型的收敛非常快，因为它不涉及后传播过程，并且可扩展到从DFCM和DICR的利用率中受益的大规模数据集。人工和现实世界数据集的实验结果表明，就损失价值和计算成本而言，提出的DSFR模型可以比最新的DSSL算法获得更好的性能。

癫痫发作是最重要的神经障碍之一，其早期诊断将有助于临床医生为患者提供准确的治疗方法。脑电图（EEG）信号广泛用于癫痫癫痫发作检测，其提供了关于大脑功能的实质性信息的专家。本文介绍了采用模糊理论和深层学习技术的新型诊断程序。所提出的方法在Bonn大学数据集上进行了评估，具有六个分类组合以及弗赖堡数据集。可以使用可调谐Q小波变换（TQWT）来将EEG信号分解为不同的子带。在特征提取步骤中，从TQWT的不同子带计算了13个不同的模糊熵，并且计算它们的计算复杂性以帮助研究人员选择各种任务的最佳集合。在下文中，采用具有六层的AutoEncoder（AE）用于减少维数。最后，标准自适应神经模糊推理系统（ANFIS）以及其具有蚱蜢优化算法（ANFIS-GOA），粒子群优化（ANFIS-PSO）和育种群优化（ANFIS-BS）方法的变体分类。使用我们所提出的方法，ANFIS-BS方法在弗赖堡数据集上分为两类分为两类和准确度，在两类分类中获得99.46％的准确性，以及弗赖堡数据集的99.28％，达到最先进的两个人的表演。

In the era of big data, it is desired to develop efficient machine learning algorithms to tackle massive data challenges such as storage bottleneck, algorithmic scalability, and interpretability. In this paper, we develop a novel efficient classification algorithm, called fast polynomial kernel classification (FPC), to conquer the scalability and storage challenges. Our main tools are a suitable selected feature mapping based on polynomial kernels and an alternating direction method of multipliers (ADMM) algorithm for a related non-smooth convex optimization problem. Fast learning rates as well as feasibility verifications including the efficiency of an ADMM solver with convergence guarantees and the selection of center points are established to justify theoretical behaviors of FPC. Our theoretical assertions are verified by a series of simulations and real data applications. Numerical results demonstrate that FPC significantly reduces the computational burden and storage memory of existing learning schemes such as support vector machines, Nystr\"{o}m and random feature methods, without sacrificing their generalization abilities much.

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

为了满足下一代无线通信网络的极其异构要求，研究界越来越依赖于使用机器学习解决方案进行实时决策和无线电资源管理。传统的机器学习采用完全集中的架构，其中整个培训数据在一个节点上收集，即云服务器，显着提高了通信开销，并提高了严重的隐私问题。迄今为止，最近提出了作为联合学习（FL）称为联合学习的分布式机器学习范式。在FL中，每个参与边缘设备通过使用自己的培训数据列举其本地模型。然后，通过无线信道，本地训练模型的权重或参数被发送到中央ps，聚合它们并更新全局模型。一方面，FL对优化无线通信网络的资源起着重要作用，另一方面，无线通信对于FL至关重要。因此，FL和无线通信之间存在“双向”关系。虽然FL是一个新兴的概念，但许多出版物已经在FL的领域发表了发布及其对下一代无线网络的应用。尽管如此，我们注意到没有任何作品突出了FL和无线通信之间的双向关系。因此，本调查纸的目的是通过提供关于FL和无线通信之间的相互依存性的及时和全面的讨论来弥合文学中的这种差距。

模糊或神经模糊系统的主要限制是他们无法处理高维数据集的故障。这主要是由于使用T-Norm，特别是产品或最小（或其更软的版本）。因此，几乎没有任何处理与尺寸超过一百个以上的数据集。在这里，我们提出了一种神经模糊框架，可以处理尺寸甚至超过7000的数据集！在这种情况下，我们提出了一种自适应软培蛋白（ADA-Softmin），其有效地克服了在处理高维问题的同时为现有的模糊系统产生的“数字下溢”和“假最小最小值”的缺点。我们称之为Adaptive Takagi-Sugeno-kang（Adatsk）模糊系统。然后，我们用综合方式装备ADATSK系统以执行特征选择和规则提取。在这种情况下，仅在随后的零件中引入并嵌入了一种新颖的栅极功能，其可以在学习的两个连续阶段中确定有用的特征和规则。与传统的模糊规则基础不同，我们设计增强的模糊规则基础（EN-FRB），该基础（EN-FRB）保持了足够的规则，但不会以模糊神经网络的尺寸呈指数呈指数规则的数量。集成特征选择和规则提取ADATSK（FSRE-ADATSK）系统由三个连续阶段组成：（i）特征选择，（ii）规则提取，和（iii）微调。 FSRE-Adatsk的有效性在19个数据集上展示了五个，其中五个是2000多个维度，包括两个大于7000的尺寸。这可能是第一次模糊系统实现涉及超过7000个输入功能的分类。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

基于模糊规则的系统（FRBS）是一个基于规则的系统，它使用语言模糊变量作为前身，因此代表人类可理解的知识。它们已应用于整个文献的各种应用和领域。但是，FRBS遭受了许多缺点，例如不确定性表示，大量规则，解释性损失，学习时间高的计算时间等，以克服FRBS的这些问题，存在许多范围的FRBS。在本文中，我们介绍了模糊系统（FRBS）的各种类型和突出领域的概述和文献综述，即遗传模糊系统（GFS），层次结构模糊系统（HFS），Neuro Fuzzy System（NFS），不断发展的模糊系统（EFS）（EFS）（EFS） ），在2010 - 2021年期间，用于大数据的FRBS，用于数据不平衡数据的FRBS，用于不平衡数据的FRBS，用于使用集群质心作为模糊规则的FRB和FRBS。 GFS使用遗传/进化方法来提高FRBS的学习能力，HFS解决了FRBS的尺寸诅咒，NFS在EFS中考虑使用神经网络和动态系统来提高FRBS的近似能力，并且在EFS中考虑了动态系统。 FRBs被视为大数据和不平衡数据的好解决方案，近年来，由于高维度和大数据和规则，使用集群质心来限制FRBS中的规则数量，因此FRBS的可解释性已受欢迎。本文还强调了该领域的重要贡献，出版统计和当前趋势。该论文还涉及几个需要从FRBS研究社区进一步关注的开放研究领域。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

在医疗保健系统中，需要患者使用可穿戴设备进行远程数据收集和对健康数据的实时监控以及健康状况的状态。可穿戴设备的这种采用导致收集和传输的数据量显着增加。由于设备由较小的电池电源运行，因此由于设备的高处理要求以进行数据收集和传输，因此可以快速减少它们。鉴于医疗数据的重要性，必须所有传输数据遵守严格的完整性和可用性要求。减少医疗保健数据的量和传输频率将通过使用推理算法改善设备电池寿命。有一个以准确性和效率改善传输指标的问题，彼此之间的权衡，例如提高准确性会降低效率。本文表明，机器学习可用于分析复杂的健康数据指标，例如数据传输的准确性和效率，以使用Levenberg-Marquardt算法来克服权衡问题，从而增强这两个指标，从而通过少较少的样本来传输，同时保持维护准确性。使用标准心率数据集测试该算法以比较指标。结果表明，LMA最好以3.33倍的效率进行样本数据尺寸和79.17％的精度，在7种不同的采样案例中具有相似的准确性，用于测试，但表明效率提高。与具有高效率的现有方法相比，这些提出的方法使用机器学习可以显着改善两个指标，而无需牺牲其他指标。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，需要有效的频谱共享（SS）解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题，需要保护机制是自适应，可靠和可扩展的。基于机器学习（ML）的方法经常提议解决这些问题。在本文中，我们对最近的基于ML的SS方法，最关键的安全问题和相应的防御机制提供了全面的调查。特别是，我们详细说明了用于提高SS通信系统的性能的最先进的方法，包括基于ML基于ML的基于的数据库辅助SS网络，ML基于基于的数据库辅助SS网络，包括基于ML的数据库辅助的SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题，包括主要用户仿真（PUE）攻击，频谱感测数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题，提供基础和促进未来的研究。

双支持向量机（TWSVM）和双支持向量回归（TSVR）是新兴有效的机器学习技术，可分别为分类和回归挑战提供了有希望的解决方案。 TWSVM基于该想法来识别两个非平行超平面，将数据指向其各自的类分类。它需要解决两个小型大小的二次编程问题（QPPS）代替求解单个大尺寸QPP在支持向量机（SVM），而TSVR配制在TWSVM的线上，并要求解决两个SVM类问题。虽然这些技术已经有很好的研究进展;关于TSVR的不同变体的比较有限的文献。因此，本综述对TWSVM和TSVR的最近研究同时提到了它们的局限性和优势，对最近的研究提供了严格的分析。首先，首先介绍支持向量机，TWSVM的基本理论，然后专注于TWSVM的各种改进和应用，然后介绍TSVR及其各种增强功能。最后，我们建议未来的研发前景。

深度学习（DL）技术被回归问题所接受。最近在该领域发表的论文数量越来越多，包括调查和评论，表明，由于效率和具有高维数据的系统的良好精度，深层回归引起了社区的关注。但是，许多DL方法具有复杂的结构，这些结构对人类用户不易透明。访问这些模型的可解释性是解决敏感领域问题（例如网络安全系统，医疗，金融监视和工业过程）的重要因素。模糊逻辑系统（FLS）是可解释的模型，在文献中众所周知，能够通过具有成员资格学位的语言术语对复杂系统使用非线性表示，模仿了人类的思想。在可解释的人工智能的气氛中，有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在调查结合DL和FL的现有方法的最新方法，即深度模糊系统，以解决回归问题，配置当前在文献中尚不充分探索的主题，因此应进行全面调查。

工作记忆（WM）表示在脑海中存储的信息，是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图（EEG）已被广泛用于测量WM的水平。但是，关键的挑战之一是个体差异可能会导致无效的结果，尤其是当既定模型符合陌生主题时。在这项工作中，我们提出了一个具有空间注意力（CS-DASA）的跨主题深层适应模型，以概括跨科目的工作负载分类。首先，我们将EEG时间序列转换为包含空间，光谱和时间信息的多帧EEG图像。首先，CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据，并学习了共同的特征表示。然后，在特定于主题的模块中，实现了最大平均差异，以测量重现的内核希尔伯特空间中的域分布差异，这可以为域适应增加有效的罚款损失。此外，采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明，所提出的模型能够达到比现有最新方法更好的性能。