光学相干断层扫描（OCT）是一种非侵入性成像模式，其广泛用于临床眼科学。 OCT图像能够可视化深层视网膜层，这对于视网膜病变的早期诊断至关重要。在本文中，我们描述了一个全面的开放存取数据库，包含500多个分类为不同病理状况的高分辨率图像。图像类别包括正常（NO），黄斑裂孔（MH），年龄相关性黄斑变性（AMD），中央浆液性视网膜病变和糖尿病性视网膜病变（DR）。这些图像是从光栅扫描协议获得的，扫描长度为2mm，分辨率为512×1024像素。我们还包括25个正常OCT图像及其相应的地面实况描绘，可用于准确评估OCT图像分割。
translated by 谷歌翻译
准确的环境深度图对于自主机器人和车辆的安全操作至关重要。目前，使用光检测和测距（LIDAR）或立体匹配算法来获取这种深度信息。然而，高分辨率激光雷达是昂贵的并且在大范围内产生稀疏深度图;立体匹配算法能够生成深度图，但通常不如LIDAR在远距离上准确。本文将这些方法结合在一起，生成高质量的密集深度图。与使用地面真实标记训练的先前方法不同，所提出的模型采用自监督训练过程。实验表明，所提出的方法能够生成高质量深度图并且即使在低分辨率输入下也能够稳健地执行。这显示了通过使用具有较低分辨率的LIDAR与立体声系统不同而降低成本的潜力，同时保持高分辨率。
translated by 谷歌翻译
我们提出了基于互补搜索技术和新颖架构设计的下一代移动网络.MobileNetV3通过硬件网络架构搜索（NAS）与NetAdapt算法的补充，然后通过小说进行改进，调整到移动电话CPU建筑进步。本文探讨了自动搜索算法和网络设计如何协同工作，以利用互补的方法来改进艺术的总体状态。通过这个过程，我们创建了两个新的MobileNet模型：MobileNetV3-Large和MobileNetV3-Small，适用于高资源低用量用例。然后对这些模型进行调整并应用于对象检测和语义分割的任务。对于语义分割（或任何密集像素预测）的任务，我们提出了一种新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling（LR-ASPP）。 Weachieve移动分类，检测和分割的最新技术成果。与MobileNetV2相比，MobileNetV3-Large在ImageNet分类上的准确度提高了3.2％，同时将延迟降低了15％.MobileNetV2-Small的准确度提高了4.6％，同时与MobileNetV2相比，延迟降低了5％。 MobileNetV3-大检测速度提高了25％，与COCO检测时的MobileNetV2大致相同。 MobileNetV3-Large LR-ASPP比MobileNetV2 R-ASPP快30％，与Cityscapes细分的准确度相似。
translated by 谷歌翻译
尽管近年来深度学习取得了惊人的成功，但在理解神经网络的基本力学方面存在差距。 Moreresearch专注于手工制作复杂和更大的网络，设计决策通常是临时的，基于直觉。最近的一些研究旨在通过尝试从第一原理构建理论来揭开神经网络中的学习动力的神秘面纱，例如表征专门\ textit {线性}深度神经网络（例如正交网络）的非线性动力学。在这项工作中，我们扩展并推导出一般多层线性神经网络所应用的学习动力学特性。虽然单层线性网络的过度参数化，但线性多层神经网络提供了有趣的见解，解释了学习动力如何在数据空间的小口袋中发挥作用。我们特别指出，线性网络中的多层以大致相同的速率生长，并且存在明显不同的层生长的学习阶段。然后，我们将线性化过程应用于一般的RelU神经网络，并展示非线性如何打破在线性神经网络中观察到的生长对称性。总的来说，我们的工作可以被视为构建理论的第一步，从第一原理理解层设计对学习动力学的影响。
translated by 谷歌翻译
我们研究了具有大量状态的无限期，折现成本，马尔可夫决策过程（MDP）的学习策略问题。我们计算一个政策的行动，该政策的行动几乎与由一个特定的混合物政策类别中的一个合适的政策选择的政策一样好，其特征在于已知基本政策的一组凸包。为了学习混合模型的系数，将问题作为MDP的近似线性规划（ALP）公式进行预测，其中特征向量对应于在状态 - 动作空间上定义的基础策略的占用度量。然后我们提出无投影随机原始 - 对偶方法，Bregman散度解析表征的ALP。此外，我们分析了所提出的随机算法的可能近似正确（PAC）样本复杂度，即实现接近最优目标值所需的查询数量。我们还使用针对平滑ALP的多面体约束采样来修改我们提出的算法，其中放宽了对降低边界近似的限制。此外，我们将提出的算法应用于排队问题，并将其性能与惩罚函数算法进行比较。数值结果表明，与thepenalty函数方法相比，原始对偶在不同试验中实现更高的效率和更低的方差。
translated by 谷歌翻译
哈密顿蒙特卡罗是一种强大的算法，用于从难以归一化的后验分布中进行采样。然而，当后部的几何形状不利时，可能需要对目标分布及其梯度进行许多昂贵的评估以收敛和混合。我们提出神经传输（NeuTra）HMC，这是一种学习使用逆自回归流（IAF）来校正这种不利几何的技术，这是一种强大的神经变分推理技术。 IAF经过训练以最小化从各向同性高斯到翘曲后向的KL发散，然后在翘曲空间中执行HMC采样。我们在各种合成和实际问题上对NeuTra HMC进行了评估，发现它在达到静止分布和渐近有效样本大小率的过程中显着优于vanilla HMC。
translated by 谷歌翻译
我们提出了一种神经混合模型，该模型由在由深度可逆变换（即，正常化流动）计算的特征的一组上定义的线性模型组成。我们模型的一个吸引人的特性是，p（特征），特征密度和p（目标|特征），预测分布，可以在单个前馈传递中精确计算。我们表明，尽管存在可逆性约束，我们的混合模型可以实现与纯预测模型的相似性。然而，尽管存在混合优化目标，生成组件仍然是输入特征的良好模型。这提供了额外的功能，例如检测分发外输入和启用半监督学习。精确关联密度p（目标，特征）的可用性也使我们可以很好地计算许多量，使我们的混合模型成为概率深度学习的下行应用的有用构建块。
translated by 谷歌翻译
处理神经网络的统计无效率的一种方法是依靠辅助损失来帮助建立有用的表示。但是，要知道辅助任务是否对主任务有用以及何时可能开始受到伤害并不总是微不足道的。我们建议使用任务梯度之间的余弦相似性作为自适应权重来检测辅助损失何时有助于主要损失。我们证明了我们的方法可以保证收敛到主要任务的关键点，并证明了所提算法在几个领域的实用性：ImageNet子集上的多任务监督学习，强化学习ongridworld，以及Atari游戏的强化学习。
translated by 谷歌翻译
转移学习是构建高性能计算机视觉模型的一种广泛使用的方法。在本文中，我们通过检查数据选择如何影响性能来研究转移学习的功效。我们发现更多的预训练数据并不总是有用，传输性能取决于对训练前数据的不正确选择。鉴于数据集规模的持续增长，这些发现非常重要。我们进一步提出域自适应传输学习，这是一种简单有效的预训练方法，使用基于目标数据集计算的重要性。我们计算重要性权重的方法遵循领域适应的思想，并且我们展示了一种新的转移学习应用。我们的方法在多细粒度分类数据集上实现了最先进的结果，非常适合在实践中使用。
translated by 谷歌翻译
我们描述了一种简单的低级方法，用于在深度学习生态系统中嵌入概率编程。特别是，我们将概率编程提炼为单一抽象 - 随机变量.TensorFlow中的轻量级实现支持多种应用：具有第二代张量处理单元（TPUv2）的amodel-parallel变速自动编码器（VAE）;具有TPUv2的数据并行自回归模型（ImageTransformer）;和多GPU无转弯采样器（NUTS）。对于64x64 ImageNet上的最先进的VAE和256x256CelebA-HQ上的Image Transformer，我们的方法实现了从1到256 TPUv2芯片的最佳线性加速。通过NUTS，我们看到Stan上的GPU加速100倍，比PyMC3加速37倍。
translated by 谷歌翻译