当与分支和界限结合使用时,结合的传播方法是正式验证深神经网络(例如正确性,鲁棒性和安全性)的最有效方法之一。但是,现有作品无法处理在传统求解器中广泛接受的切割平面限制的一般形式,这对于通过凸出凸松弛的加强验证者至关重要。在本文中,我们概括了结合的传播程序,以允许添加任意切割平面的约束,包括涉及放宽整数变量的限制,这些变量未出现在现有的结合传播公式中。我们的广义结合传播方法GCP-crown为应用一般切割平面方法}开辟了一个机会进行神经网络验证,同时受益于结合传播方法的效率和GPU加速。作为案例研究,我们研究了由现成的混合整数编程(MIP)求解器生成的切割平面的使用。我们发现,MIP求解器可以生成高质量的切割平面,以使用我们的新配方来增强基于界限的验证者。由于以分支为重点的绑定传播程序和切削平面的MIP求解器可以使用不同类型的硬件(GPU和CPU)并行运行,因此它们的组合可以迅速探索大量具有强切割平面的分支,从而导致强大的分支验证性能。实验表明,与VNN-Comp 2021中最佳工具相比,我们的方法是第一个可以完全求解椭圆形的基准并验证椭圆21基准的两倍的验证者,并且在oval21基准测试中的最佳工具也明显超过了最先进的验证器。广泛的基准。 GCP-Crown是$ \ alpha $,$ \ beta $ -Crown验证者,VNN-COMP 2022获奖者的一部分。代码可在http://papercode.cc/gcp-crown上获得
translated by 谷歌翻译
如今,提出了几种深度学习方法来应对癫痫发作预测的挑战。但是,由于其大型硬件和相应的高功率消耗,这些方法仍然无法作为可植入或有效的可穿戴设备的一部分实现。他们通常需要复杂的功能提取过程,用于存储高精度参数的大存储器和复杂的算术计算,从而大大增加了所需的硬件资源。此外,可用的预测性能差,因为它们直接从图像识别应用程序中采用网络体系结构无法准确考虑EEG信号的特征。我们在本文中提出了一个适合二进制卷积神经网络(BSDCNN)的硬件友好网络,用于癫痫发作预测。 BSDCNN利用1D卷积内核来提高预测性能。除了第一层外,所有参数均已二进制以减少所需的计算和存储。在美国癫痫社会癫痫发作预测挑战(AES)数据集和CHB-MIT方面,曲线,灵敏度和虚假预测率的总面积达到0.915、89.26%,0.117/h和0.970,94.69%,0.095/h。所提出的体系结构的表现优于最新作品,同时提供了7.2和25.5倍的参数和计算大小。
translated by 谷歌翻译
我们报告了张力层造影差异相位对比度显微镜(T2DPC),这是一种用于同时测量相和各向异性的无定量标签层析成像方法。T2DPC扩展了差异相位对比显微镜(一种定量相成像技术),以突出光的矢量性质。该方法求解了从配备有LED矩阵,圆极偏振器和偏振敏感摄像机的标准显微镜获得的强度测量的各向异性样品的介电常数张量。我们证明了各种验证样品的折射率,双折射和方向的准确体积重建,并证明生物标本的重建极化结构是病理学的预测。
translated by 谷歌翻译
在各种科学和临床环境中,快速无创探测空间变化的非相关事件(例如人类头骨下方的脑血流)是一项必不可少的任务。所使用的主要光学技术之一是弥漫性相关光谱(DC),其经典实现使用单个或几个单光子检测器,导致空间定位精度较差,时间分辨率相对较低。 Here, we propose a technique termed Classifying Rapid decorrelation Events via Parallelized single photon dEtection (CREPE)}, a new form of DCS that can probe and classify different decorrelating movements hidden underneath turbid volume with high sensitivity using parallelized speckle detection from a $32\times32 $像素SPAD阵列。我们通过对隐藏在5mm组织样的幻影下的不同时空 - 偏置模式进行分类来评估我们的设置,该模式由快速反相关的动态散射介质制成。十二个多模式纤维用于从组织幻影表面的不同位置收集散射光。为了验证我们的设置,我们通过在Multi-Kilo-Hertz速率下调制的数字微龙器设备(DMD)以及含有流动流体的容器幻影。除了具有胜过经典无监督学习方法的深层对比学习算法外,我们证明我们的方法可以准确地检测和分类浊度散射介质下的不同瞬态去相关事件(发生在0.1-0.4s中),而无需任何数据标记。这有可能应用于非侵入性的深层组织运动模式,例如在紧凑和静态检测探针内以多赫兹速率识别正常或异常的脑血流事件。
translated by 谷歌翻译
在本文中,我们介绍了基于大型预训练的语言模型(PLM)pangu-alpha(Zeng等,2021)的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同,我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型,并以相对较少的数据和计算成本构建强大的对话模型。为此,我们训练大型PLM Pangu-Alpha的Pangu-bot,该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面,包括响应质量,知识和安全性。我们表明,Pangu-Bot优于最先进的中国对话系统(CDIALGPT(Wang等,2020),Eva(Zhou等,2021),EVA2.0(Gu等,2022)) W.R.T.以上三个方面。我们还证明,可以轻松地部署pangu-bot,以在没有进一步训练的情况下产生情感反应。在整个经验分析中,我们还指出,Pangu-bot响应质量,知识正确性和安全性仍然远非完美,进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。
translated by 谷歌翻译
随着深度学习技术的快速发展和计算能力的提高,深度学习已广泛应用于高光谱图像(HSI)分类领域。通常,深度学习模型通常包含许多可训练参数,并且需要大量标记的样品来实现最佳性能。然而,关于HSI分类,由于手动标记的难度和耗时的性质,大量标记的样本通常难以获取。因此,许多研究工作侧重于建立一个少数标记样本的HSI分类的深层学习模型。在本文中,我们专注于这一主题,并对相关文献提供系统审查。具体而言,本文的贡献是双重的。首先,相关方法的研究进展根据学习范式分类,包括转移学习,积极学习和少量学习。其次,已经进行了许多具有各种最先进的方法的实验,总结了结果以揭示潜在的研究方向。更重要的是,虽然深度学习模型(通常需要足够的标记样本)和具有少量标记样本的HSI场景之间存在巨大差距,但是通过深度学习融合,可以很好地表征小样本集的问题方法和相关技术,如转移学习和轻量级模型。为了再现性,可以在HTTPS://github.com/shuguoj/hsi-classification中找到纸张中评估的方法的源代码.git。
translated by 谷歌翻译
通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用,但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射,但也良好的是,散射的相干光的时间相关性通过组织像光强度一样扩散。然而,迄今为止,很少有作品旨在通过实验测量和处理这种时间相关数据,以证明去相关动力学的深度组织视频重建。在这项工作中,我们利用单光子雪崩二极管(SPAD)阵列摄像机同时监视单photon水平的斑点波动的时间动力学,从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后,我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态(0.1-0.4s)动态事件的图像的能力,该动态事件发生在非相关的组织幻影下,并以毫米级分辨率进行重构,并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。
translated by 谷歌翻译
基于基于不完整的神经网络验证如冠的绑定传播非常有效,可以显着加速基于神经网络的分支和绑定(BAB)。然而,绑定的传播不能完全处理由昂贵的线性编程(LP)求解器的BAB常规引入的神经元分割限制,导致界限和损伤验证效率。在这项工作中,我们开发了一种基于$ \ beta $ -cra所做的,一种基于新的绑定传播方法,可以通过从原始或双空间构造的可优化参数$ \ beta $完全编码神经元分割。当在中间层中联合优化时,$ \ Beta $ -CROWN通常会产生比具有神经元分裂约束的典型LP验证更好的界限,同时像GPU上的皇冠一样高效且并行化。适用于完全稳健的验证基准,使用BAB的$ \ Beta $ -CROWN比基于LP的BAB方法快三个数量级,并且比所有现有方法更快,同时产生较低的超时率。通过早期终止BAB,我们的方法也可用于有效的不完整验证。与强大的不完整验证者相比,我们始终如一地在许多设置中获得更高的验证准确性,包括基于凸屏障破碎技术的验证技术。与最严重但非常昂贵的Semidefinite编程(SDP)的不完整验证者相比,我们获得了更高的验证精度,验证时间较少三个级。我们的算法授权$ \ alpha,\ \β$ -craft(Alpha-Beta-Crown)验证者,VNN-Comp 2021中的获胜工具。我们的代码可在http://papercode.cc/betacrown提供
translated by 谷歌翻译
Code generation models have achieved impressive performance. However, they tend to be brittle as slight edits to a prompt could lead to very different generations; these robustness properties, critical for user experience when deployed in real-life applications, are not well understood. Most existing works on robustness in text or code tasks have focused on classification, while robustness in generation tasks is an uncharted area and to date there is no comprehensive benchmark for robustness in code generation. In this paper, we propose ReCode, a comprehensive robustness evaluation benchmark for code generation models. We customize over 30 transformations specifically for code on docstrings, function and variable names, code syntax, and code format. They are carefully designed to be natural in real-life coding practice, preserve the original semantic meaning, and thus provide multifaceted assessments of a model's robustness performance. With human annotators, we verified that over 90% of the perturbed prompts do not alter the semantic meaning of the original prompt. In addition, we define robustness metrics for code generation models considering the worst-case behavior under each type of perturbation, taking advantage of the fact that executing the generated code can serve as objective evaluation. We demonstrate ReCode on SOTA models using HumanEval, MBPP, as well as function completion tasks derived from them. Interesting observations include: better robustness for CodeGen over InCoder and GPT-J; models are most sensitive to syntax perturbations; more challenging robustness evaluation on MBPP over HumanEval.
translated by 谷歌翻译
Federated learning (FL) is an effective technique to directly involve edge devices in machine learning training while preserving client privacy. However, the substantial communication overhead of FL makes training challenging when edge devices have limited network bandwidth. Existing work to optimize FL bandwidth overlooks downstream transmission and does not account for FL client sampling. In this paper we propose GlueFL, a framework that incorporates new client sampling and model compression algorithms to mitigate low download bandwidths of FL clients. GlueFL prioritizes recently used clients and bounds the number of changed positions in compression masks in each round. Across three popular FL datasets and three state-of-the-art strategies, GlueFL reduces downstream client bandwidth by 27% on average and reduces training time by 29% on average.
translated by 谷歌翻译