We present a stochastic, limited-memory Broyden Fletcher Gold-farb Shanno (LBFGS) algorithm that is suitable for handling very large amounts of data. A direct application of this algorithm is radio interferometric calibration of raw data at fine time and frequency resolution. Almost all existing radio interferometric calibration algorithms assume that it is possible to fit the dataset being calibrated into memory. Therefore, the raw data is averaged in time and frequency to reduce its size by many orders of magnitude before calibration is performed. However, this averaging is detrimental for the detection of some signals of interest that have narrow bandwidth and time duration such as fast radio bursts (FRBs). Using the proposed algorithm , it is possible to calibrate data at such a fine resolution that they cannot be entirely loaded into memory, thus preserving such signals. As an additional demonstration, we use the proposed algorithm for training deep neural networks and compare the performance against the mainstream first order optimization algorithms that are used in deep learning.
translated by 谷歌翻译
在本文中,我们表明,仿射,非刚性结构 - 运动问题可以通过秩1解决,因此退化,基础形状。它是Bregler等人的经典低秩方法的解剖学重构,其中假设可变形3D结构是由刚性基础形状的线性组合产生的。非刚性形状将被分解为平均形状和简并形状,由低阶分解的右奇异向量构成。右奇异向量被仿射回投影到3D空间中,仿射背投影也将作为因子分解的一部分。通过构造,对低秩分解的右奇异向量的直接解释也将如下:它们可以被视为主要成分,因此,我们的方法的第一个变体被称为Rank-1-PCA。被称为Rank-1-ICA的第二变体另外估计正交变换,其将变形模式映射到尽可能统计独立的模式。它具有精确定位与人脸上的唇部运动相关的统计依赖子空间的优点。而且,与先前的工作相反,没有强加子空间的预定义维度。对几个数据集的实验表明,该方法比现有技术获得了更好的结果,可以更快地计算,并且为变形模式提供了直观的解释。
translated by 谷歌翻译
作为自动驾驶系统的一部分,语义分割是获得对汽车环境的充分理解的必要组成部分。为此目的训练神经网络时出现的一个难点是训练数据的不平衡。因此,训练关于不平衡数据的神经网络结合最大后验分类可能会忽略在数据集中频率很少的类别。然而,这些类别通常是最受关注的。我们通过用先验类概率加权后验类概率来处理这种潜在的错误分类,在我们的例子中,先验类概率是训练数据集中相应类的逆频率。更准确地说,我们采用局部方法,通过像素方式计算先验,这样也可以在像素级分析影响。在我们的实验中,使用专有数据集从头开始润湿一个网络,该数据集包含从街道场景记录的20,000个注释的视频序列帧。在我们的测试集中评估显示,对于行人和信息标志的实例,平均召回率分别增加了25美元和2美元以及23.4美元/美元。此外,我们将同类的实例的非检测率显着降低$ 61 \%$和$ 38 \%$。
translated by 谷歌翻译
我们提出了一种通用的,先验自由的方法,用于未校准的非运动结构 - 运动问题,用于建模和分析非刚性物体,如人脸。 “一般”这个词指的是通过假设(1)非刚性形状由刚性3Dbasis形状的线性组合生成,(2)非刚性形状,从2D点对应恢复刚刚仿射结构和运动的方法。本质上是仿射的,即它们可以被建模为偏离平均值,刚性形状的偏差,(3)并且基本形状在统计上是独立的。与大多数现有作品相比,假设基础基础形状在统计上是独立的,则不假设结构和运动起动的先验信息。通过独立子空间分析(ISA)恢复独立的3D形状基础。同样,与大多数先前的方法相比,假设仿射相机没有校准信息;重建产生了全球仿射模糊性,使我们的方法变得简单有效。在实验中,我们用几个标准数据集评估了该方法,包括具有2D点对应和未知3D结构和运动的7200个面的真实面部表达数据集,为此我们获得了预测结果。
translated by 谷歌翻译
我们提出了一种方法,“meta”分类是否由语义分割神经网络预测的分段(对象)与groundtruth相交。为此,我们采用分散度量来预测像素级的概率分布,如分类熵,它产生输入场景大小的热图。我们以分段方式汇总这些离差度量,并得出与预测和基本事实的分段$ \ mathit {IoU} $良好相关的度量。在我们的测试中,我们使用两个公共可用的DeepLabv3 +网络(在Cityscapes数据集上预先训练)并分析不同指标和不同指标集的预测能力。为此,我们计算逻辑LASSO回归适合于对每个段分类$ \ mathit {IoU} = 0 $与$ \ mathit {IoU}> 0 $的任务,并获得高达$ 81.91 \%$和AUROC值的分类率高达$ 87.71 \%$,但没有采用蒙特卡洛辍学等先进技术。我们使用线性回归拟合这些测试以预测分段$ \ mathit {IoU} $并获得低至$ 0.130 $的预测标准偏差以及高达$ 81.48 \%$的$ R ^ 2 $值。我们表明,这些结果明显优于单指标基线方法。
translated by 谷歌翻译
我们研究了基于梯度度量的卷积神经网络(CNN)的不确定性量化。与经典的softmax熵不同,这样的度量收集来自CNN的所有层的信息。我们针对EMNISTdigits数据集显示,对于几个这样的度量,我们实现了相同的元分类准确性 - 即将预测分类为校正器而不知道实际标签的任务 - 如熵阈值化。我们将元分类应用于未知概念(out - 分布样本) - EMNIST / Omniglot字母,CIFAR10和噪声 - 并且证明当使用熵与几个基于梯度的度量作为元分类器的输入量时,可以增加未知概念的元分类率。仅对已知概念(即EMNIST数字)的不确定性度量进行训练的元分类器通常对于已知概念的表现不同。然而,如果我们允许元分类器针对一些分布式样本的不确定性度量进行训练,则远离EMNIST数字(然后称为已知未知数)的概念的元分类可以被显着改进。
translated by 谷歌翻译