这项研究介绍了我们对越南语言和语音处理任务(VLSP)挑战2021的文本处理任务的医疗保健领域的自动越南图像字幕的方法作为编码器的体系结构和长期的短期内存(LSTM)作为解码器生成句子。这些模型在不同的数据集中表现出色。我们提出的模型还具有编码器和一个解码器,但是我们在编码器中使用了SWIN变压器,LSTM与解码器中的注意模块结合在一起。该研究介绍了我们在比赛期间使用的培训实验和技术。我们的模型在vietcap4h数据集上达到了0.293的BLEU4分数,并且该分数在私人排行榜上排名3 $^{rd} $。我们的代码可以在\ url {https://git.io/jddjm}上找到。
translated by 谷歌翻译
大规模复杂动力系统的实时精确解决方案非常需要控制,优化,不确定性量化以及实践工程和科学应用中的决策。本文朝着这个方向做出了贡献,模型限制了切线流形学习(MCTANGENT)方法。 McTangent的核心是几种理想策略的协同作用:i)切线的学术学习,以利用神经网络速度和线条方法的准确性; ii)一种模型限制的方法,将神经网络切线与基础管理方程式进行编码; iii)促进长时间稳定性和准确性的顺序学习策略;和iv)数据随机方法,以隐式强制执行神经网络切线的平滑度及其对真相切线的可能性,以进一步提高麦克氏解决方案的稳定性和准确性。提供了半启发式和严格的论点,以分析和证明拟议的方法是合理的。提供了几个用于传输方程,粘性汉堡方程和Navier Stokes方程的数值结果,以研究和证明所提出的MCTANGENT学习方法的能力。
translated by 谷歌翻译
本文介绍了一位深钢筋学习代理(AI),它使用声音作为IEEE COG 2022的DareFightingings竞赛中Darefightingings平台上的输入。尽管最新的AI主要依赖于其环境提供的视觉或结构化观察结果,但学会从Sound玩游戏仍然是新的,因此具有挑战性。我们建议使用不同的方法来处理音频数据,并为盲人AI使用近端策略优化算法。我们还建议利用盲人AI评估提交竞争的声音设计,并为此任务定义两个指标。实验结果不仅显示了我们的盲人AI,而且还提出了两个指标的有效性。
translated by 谷歌翻译
我们考虑了最小化客观功能的优化问题,该问题允许变异形式,并根据\ textIt {约束域}上的概率分布定义,这对理论分析和算法设计构成了挑战。受镜下降算法的启发,我们提出了一种迭代和基于粒子的算法,称为镜像变异传输(\ textbf {mirriryvt})。对于每次迭代,\ textbf {mirrirvt}将粒子映射到由镜像映射引起的无约束的双空间,然后大约在通过推动粒子来定义的分布的歧管上大致执行wasserstein梯度下降。在迭代结束时,将粒子映射回原始的约束空间。通过模拟实验,我们证明了\ textbf {mirrirvt}的有效性,可以最大程度地限制函数,而不是单纯形和欧几里得球受到的域上的概率分布。我们还分析了其理论特性,并将其融合到目标功能的全局最小值。
translated by 谷歌翻译
基于硬件的加速度是促进许多计算密集型数学操作的广泛尝试。本文提出了一个基于FPGA的体系结构来加速卷积操作 - 在许多卷积神经网络模型中出现的复杂且昂贵的计算步骤。我们将设计定为标准卷积操作,打算以边缘-AI解决方案启动产品。该项目的目的是产生一个可以一次处理卷积层的FPGA IP核心。系统开发人员可以使用Verilog HDL作为体系结构的主要设计语言来部署IP核心。实验结果表明,我们在简单的边缘计算FPGA板上合成的单个计算核心可以提供0.224 GOPS。当董事会充分利用时,可以实现4.48 GOP。
translated by 谷歌翻译
本文旨在研究入侵攻击,然后为区块链网络开发新的网络攻击检测框架。具体来说,我们首先在实验室设计和实施区块链网络。该区块链网络将实现两个目的,即为我们的学习模型生成真实的流量数据(包括正常数据和攻击数据),并实施实时实验,以评估我们建议的入侵检测框架的性能。据我们所知,这是第一个在区块链网络中用于网络攻击的实验室中合成的数据集。然后,我们提出了一个新颖的协作学习模型,该模型允许区块链网络中的有效部署来检测攻击。提出的学习模型的主要思想是使区块链节点能够积极收集数据,从其数据中分享知识,然后与网络中的其他区块链节点交换知识。这样,我们不仅可以利用网络中所有节点的知识,而且还不需要收集所有原始数据进行培训,以便在常规的集中学习解决方案等集中式节点上进行培训。这样的框架还可以避免暴露本地数据的隐私以及过多的网络开销/拥堵的风险。密集模拟和实时实验都清楚地表明,我们提出的基于协作的入侵检测框架可以在检测攻击方面达到高达97.7%的准确性。
translated by 谷歌翻译
建筑聊天禁令的最大挑战是培训数据。所需的数据必须逼真,足以训练聊天禁止。我们创建一个工具,用于从Facebook页面的Facebook Messenger获取实际培训数据。在文本预处理步骤之后,新获得的数据集生成FVNC和示例数据集。我们使用返回越南(Phobert)的伯特来提取文本数据的功能。 K-means和DBSCAN聚类算法用于基于Phobert $ _ {Base} $的输出嵌入式群集任务。我们应用V测量分数和轮廓分数来评估聚类算法的性能。我们还展示了Phobert的效率与样本数据集和Wiki DataSet上的特征提取中的其他模型相比。还提出了一种结合聚类评估的GridSearch算法来找到最佳参数。由于群集如此多的对话,我们节省了大量的时间和精力来构建培训Chatbot的数据和故事情节。
translated by 谷歌翻译
面部识别(FI)无处不在,并推动了法律执法的许多高股权决定。最先进的FI方法通过在其图像嵌入之间取余弦相似性比较两个图像。然而,这种方法遭受了差的分发(OOD)概括到新类型的图像(例如,当查询面被屏蔽,裁剪或旋转时)不包括在训练集或图库中时。在这里,我们提出了一种重新排名方法,该方法将两面使用地球移动器的距离与图像贴片的深度,空间特征的距离进行比较。我们的额外比较阶段明确地检查了细粒度(例如,眼睛的眼睛)的图像相似性,并且比传统的FI扰动和闭塞更强大。有趣的是,没有FineTuning特征提取器,我们的方法一致地提高所有测试的OOD查询的准确性:掩蔽,裁剪,旋转和对抗,同时获得类似结果的分布图像。
translated by 谷歌翻译
深度学习(DL),尤其是深神经网络(DNN),默认情况下纯粹是数据驱动的,通常不需要物理。这是DL的优势,但在应用于科学和工程问题时,它的主要局限性之一就是必不可少的物理特性和所需的准确性。其原始形式的DL方法也无法尊重基本的数学模型或即使在大数据制度中也可以达到所需的准确性。但是,许多数据驱动的科学和工程问题(例如反问题)通常具有有限的实验或观察数据,而在这种情况下,DL会过分拟合数据。我们认为,利用基础数学模型中编码的信息,不仅可以补偿低数据制度中缺少的信息,而且还提供了将DL方法与基础物理学配备的机会,从而促进了更好的概括。本文开发了一种模型受限的深度学习方法及其变体TNET,该方法能够学习隐藏在培训数据和基础数学模型中的信息,以解决由部分微分方程控制的反问题。我们为提出的方法提供了构造和一些理论结果。我们表明,数据随机化可以增强网络的平滑度及其概括。全面的数值结果不仅确认了理论发现,而且还表明,即使仅20个训练数据样本,一维卷积的训练数据样本,50次反向2D热电导率问题,100和50对于时间依赖的2D汉堡方程和逆初始条件和50 2D Navier-Stokes方程。 TNET溶液可以像Tikhonov溶液一样准确,同时几个数量级。由于模型受限项,复制和随机化,这可能是可能的。
translated by 谷歌翻译
跨语言嵌入(CLWE)已被证明在许多跨语性任务中有用。但是,大多数现有的学习Clwe的方法,包括具有上下文嵌入的方法是无知的。在这项工作中,我们提出了一个新颖的框架,以通过仅利用双语词典的跨语性信号来使上下文嵌入在感觉层面上。我们通过首先提出一种新颖的感知感知的跨熵损失来明确地提出一种新颖的感知跨熵损失来实现我们的框架。通过感知感知的跨熵损失预算的单语Elmo和BERT模型显示出对单词感官歧义任务的显着改善。然后,我们提出了一个感官对齐目标,除了跨语义模型预训练的感知感知跨熵损失以及几种语言对的跨语义模型(英语对德语/西班牙语/日本/中文)。与最佳的基线结果相比,我们的跨语言模型分别在零摄影,情感分类和XNLI任务上达到0.52%,2.09%和1.29%的平均绩效提高。
translated by 谷歌翻译