The current optical communication systems minimize bit or symbol errors without considering the semantic meaning behind digital bits, thus transmitting a lot of unnecessary information. We propose and experimentally demonstrate a semantic optical fiber communication (SOFC) system. Instead of encoding information into bits for transmission, semantic information is extracted from the source using deep learning. The generated semantic symbols are then directly transmitted through an optical fiber. Compared with the bit-based structure, the SOFC system achieved higher information compression and a more stable performance, especially in the low received optical power regime, and enhanced the robustness against optical link impairments. This work introduces an intelligent optical communication system at the human analytical thinking level, which is a significant step toward a breakthrough in the current optical communication architecture.
translated by 谷歌翻译
Configurable software systems are employed in many important application domains. Understanding the performance of the systems under all configurations is critical to prevent potential performance issues caused by misconfiguration. However, as the number of configurations can be prohibitively large, it is not possible to measure the system performance under all configurations. Thus, a common approach is to build a prediction model from a limited measurement data to predict the performance of all configurations as scalar values. However, it has been pointed out that there are different sources of uncertainty coming from the data collection or the modeling process, which can make the scalar predictions not certainly accurate. To address this problem, we propose a Bayesian deep learning based method, namely BDLPerf, that can incorporate uncertainty into the prediction model. BDLPerf can provide both scalar predictions for configurations' performance and the corresponding confidence intervals of these scalar predictions. We also develop a novel uncertainty calibration technique to ensure the reliability of the confidence intervals generated by a Bayesian prediction model. Finally, we suggest an efficient hyperparameter tuning technique so as to train the prediction model within a reasonable amount of time whilst achieving high accuracy. Our experimental results on 10 real-world systems show that BDLPerf achieves higher accuracy than existing approaches, in both scalar performance prediction and confidence interval estimation.
translated by 谷歌翻译
A critical step in sharing semantic content online is to map the structural data source to a public domain ontology. This problem is denoted as the Relational-To-Ontology Mapping Problem (Rel2Onto). A huge effort and expertise are required for manually modeling the semantics of data. Therefore, an automatic approach for learning the semantics of a data source is desirable. Most of the existing work studies the semantic annotation of source attributes. However, although critical, the research for automatically inferring the relationships between attributes is very limited. In this paper, we propose a novel method for semantically annotating structured data sources using machine learning, graph matching and modified frequent subgraph mining to amend the candidate model. In our work, Knowledge graph is used as prior knowledge. Our evaluation shows that our approach outperforms two state-of-the-art solutions in tricky cases where only a few semantic models are known.
translated by 谷歌翻译
公平测试旨在减轻数据驱动的AI系统决策过程中的意外歧视。当AI模型为仅根据受保护属性(例如年龄和种族)区分的两个不同的个体做出不同的决定时,可能会发生个人歧视。这样的实例揭示了偏见的AI行为,被称为个人歧视实例(IDI)。在本文中,我们提出了一种选择初始种子以生成IDI进行公平测试的方法。先前的研究主要使用随机的初始种子来实现这一目标。但是,这个阶段至关重要,因为这些种子是后续IDIS生成的基础。我们称我们提出的种子选择方法I&D。它产生了大量的初始IDI,表现出极大的多样性,旨在提高公平测试的整体性能。我们的实证研究表明,I&D能够就四种最先进的种子生成方法产生更多的IDI,平均产生1.68倍的IDI。此外,我们比较I&D在训练机器学习模型中的使用,并发现与最先进的ART相比,使用I&D将剩余IDI的数量减少了29%,因此表明I&D有效地改善了模型公平性
translated by 谷歌翻译
日志分析是工程师用来解决大规模软件系统故障的主要技术之一。在过去的几十年中,已经提出了许多日志分析方法来检测日志反映的系统异常。他们通常将日志事件计数或顺序日志事件作为输入,并利用机器学习算法,包括深度学习模型来检测系统异常。这些异常通常被确定为对数序列中对数事件的定量关系模式或顺序模式的违反。但是,现有方法无法利用日志事件之间的空间结构关系,从而导致潜在的错误警报和不稳定的性能。在这项研究中,我们提出了一种新型的基于图的对数异常检测方法loggd,以通过将日志序列转换为图来有效解决问题。我们利用了图形变压器神经网络的强大功能,该网络结合了图结构和基于日志异常检测的节点语义。我们在四个广泛使用的公共日志数据集上评估了建议的方法。实验结果表明,Loggd可以胜过最先进的基于定量和基于序列的方法,并在不同的窗口大小设置下实现稳定的性能。结果证实LOGGD在基于对数的异常检测中有效。
translated by 谷歌翻译
尽管在许多应用中取得了巨大的成功,但深度神经网络在实践中并不总是强大的。例如,用于分类任务的卷积神经元网络(CNN)模型通常在对某些特定类别的对象分类时表现不佳。在这项工作中,我们关注的是修补CNN模型的弱部分,而不是通过整个模型的昂贵重新培训来改进它。受到软件工程中模块化和组成的基本概念的启发,我们提出了一种压缩模块化方法CNNSplitter,该方法将$ N $ class分类的强CNN模型分解为$ n $ n $ n $ n $ smill CNN模块。每个模块都是一个子模型,其中包含强模型的卷积内核的一部分。为了修补对目标类(TC)进行不满意的弱CNN模型,我们将弱的CNN模型与从强CNN模型获得的相应模块组成。因此,弱CNN模型识别TC的能力可以通过修补来提高。此外,识别非TCS的能力也得到了提高,因为将样品错误分类为TC可以正确分类为非TCS。在三个广泛使用的数据集上使用两个代表性CNN的实验结果表明,在精度和召回方面,TC的平均改进分别为12.54%和2.14%。此外,修补程序将非TCS的准确性提高了1.18%。结果表明,CNNSplitter可以通过模块化和组成来修补弱的CNN模型,从而为开发可靠的CNN模型提供了新的解决方案。
translated by 谷歌翻译
预训练模型已在许多代码智能任务中有效。这些模型在大规模未标记的语料库中进行了预训练,然后在下游任务中进行了微调。但是,由于预训练和下游任务的输入是不同的形式,因此很难充分探索预训练模型的知识。此外,微调的性能强烈依赖于下游数据的量,而实际上,具有稀缺数据的场景很常见。自然语言处理(NLP)领域的最新研究表明,迅速调整,一种调整的新范式,减轻上述问题并在各种NLP任务中实现了有希望的结果。在迅速调整中,在调整过程中插入的提示提供了特定于任务的知识,这对于具有相对较少数据的任务特别有益。在本文中,我们凭经验评估了代码智能任务中迅速调整的用法和效果。我们对流行的预训练模型Codebert和codet5进行及时调整,并尝试三个代码智能任务,包括缺陷预测,代码摘要和代码翻译。我们的实验结果表明,在所有三个任务中,迅速调整始终优于微调。此外,及时调整在低资源场景中显示出很大的潜力,例如,对于代码摘要,平均将微调的BLEU分数提高了26%以上。我们的结果表明,我们可以调整代码智能任务的迅速调整,以实现更好的性能,尤其是在缺乏特定于任务的数据时,我们可以调整及时调整。
translated by 谷歌翻译
轨迹预测和行为决策是自动驾驶汽车的两项重要任务,他们需要对环境环境有良好的了解;通过参考轨迹预测的输出,可以更好地做出行为决策。但是,大多数当前解决方案分别执行这两个任务。因此,提出了结合多个线索的联合神经网络,并将其命名为整体变压器,以预测轨迹并同时做出行为决策。为了更好地探索线索之间的内在关系,网络使用现有知识并采用三种注意力机制:稀疏的多头类型用于减少噪声影响,特征选择稀疏类型,可最佳地使用部分先验知识,并与Sigmoid多头激活类型,用于最佳使用后验知识。与其他轨迹预测模型相比,所提出的模型具有更好的综合性能和良好的解释性。感知噪声稳健性实验表明,所提出的模型具有良好的噪声稳健性。因此,结合多个提示的同时轨迹预测和行为决策可以降低计算成本并增强场景与代理之间的语义关系。
translated by 谷歌翻译
随着对比学习的兴起,无人监督的图形表示学习最近一直蓬勃发展,甚至超过了一些机器学习任务中的监督对应物。图表表示的大多数对比模型学习侧重于最大化本地和全局嵌入之间的互信息,或主要取决于节点级别的对比嵌入。然而,它们仍然不足以全面探索网络拓扑的本地和全球视图。虽然前者认为本地全球关系,但其粗略的全球信息导致本地和全球观点之间的思考。后者注重节点级别对齐,以便全局视图的作用出现不起眼。为避免落入这两个极端情况,我们通过对比群集分配来提出一种新颖的无监督图形表示模型,称为GCCA。通过组合聚类算法和对比学习,它有动力综合利用本地和全球信息。这不仅促进了对比效果,而且还提供了更高质量的图形信息。同时,GCCA进一步挖掘群集级信息,这使得它能够了解除了图形拓扑之外的节点之间的难以捉摸的关联。具体地,我们首先使用不同的图形增强策略生成两个增强的图形,然后使用聚类算法分别获取其群集分配和原型。所提出的GCCA进一步强制不同增强图中的相同节点来通过最小化交叉熵损失来互相识别它们的群集分配。为了展示其有效性,我们将在三个不同的下游任务中与最先进的模型进行比较。实验结果表明,GCCA在大多数任务中具有强大的竞争力。
translated by 谷歌翻译
联合学习(FL)使一组客户能够在集中式服务器的帮助下共同列车机器学习模型。客户端不需要在培训期间向服务器提交本地数据,因此保护客户的本地培训数据受到保护。在FL中,分布式客户端独立收集其本地数据,因此每个客户端的数据集可以自然地形成不同的源域。在实践中,在多个源域培训的模型可能对看不见的目标域具有较差的泛化性能。为了解决这个问题,我们提出了FedAdg以用域泛化能力装备联合学习。 FedAdg采用联合的对冲学习方法来测量并对准不同源域之间的分布,并通过将每个分发与参考分布匹配。协同分布被自适应地生成(通过容纳所有源极域)以最小化对齐期间的域移位距离。在FEDADG中,对准是细粒度,因为每个类独立对齐。以这种方式,学习的特征表示应该是普遍的,因此它可以在看不见的域中概括很好。关于各种数据集的广泛实验表明,即使它们具有允许集中数据访问的额外优势,FedAdg也具有比主要的大多数解决方案更好的性能。为了支持研究重现性,项目代码可在https://github.com/wzml/fedadg中获得
translated by 谷歌翻译