未经授权远程访问来自网络摄像机的流式视频的风险突显了对更强大的隐私保护的需求。为此,我们模拟了一个无镜头编码孔径(CA)相机作为外观编码器,即第一层隐私保护。我们的目标是从编码孔径视频中进行人类动作识别,其编码孔径掩模未知并且不需要重建。我们通过使用基于相位相关和对数极坐标变换的不可逆运动特征来插入第二层隐私保护。相位相关对转换进行编码,而对数极坐标变换对面内旋转和缩放进行编码。 Weshow翻译功能的关键属性是掩码不变的。该属性允许我们通过消除对特定掩模设计的依赖来简化分类器的训练。基于UCF和NTUdatasets子集的结果显示了我们系统的可行性。
translated by 谷歌翻译
图像对齐任务需要精确的像素对应,这通常通过匹配局部特征描述符来恢复。这些描述符是通过对具有地面实况对应的现有数据集的监督学习而得到的。但是,创建此类数据集的成本通常是禁止的。在本文中,我们提出了一种新的方法来对齐由未知的二维单应性相关的两个图像,其中从图像的划痕中学习局部描述符并同时估计单应性。我们的关键点是,可以联合训练暹罗卷积神经网络,同时通过优化单损失函数迭代地更新单应性参数。我们的方法目前受到弱监督,因为inputimages需要大致对齐。我们已经使用这种方法来对齐不同模态的图像,例如RGB和近红外(NIR),而不使用任何先前标记的数据。然后,通过我们的方法自动对齐的图像用于训练概括为新图像的描述符。我们还评估了RGB图像的方法。在HPPatches基准测试中,我们的方法实现了与在受监督环境中离线训练的深度本地描述符相当的精确度。
translated by 谷歌翻译
如今,配备相机的无人机被用于探索大型场景并重建详细的3D地图。当场景中的自由空间近似已知时,离线计划员可以生成最佳计划以有效地探索场景。然而,为了探索未知的场景,规划者必须预测并最大限度地提高动态去向的有用性。传统上,这已经使用手工制作的实用功能实现。我们建议学习一种更好的函数来预测未来观点的有用性。我们的学习能力函数基于3D卷积神经网络。该网络作为输入提供新颖的体积场景表示,其隐式地捕获先前访问的视点并且推广到新场景。我们使用模拟深度相机评估我们在几个大型城市场景3D模型上的方法。我们表明,我们的方法在重建性能方面优于现有的效用测量,并且对传感器噪声具有鲁棒性。
translated by 谷歌翻译
We propose a single-shot approach for simultaneously detecting an object in an RGB image and predicting its 6D pose without requiring multiple stages or having to examine multiple hypotheses. Unlike a recently proposed single-shot technique for this task [11] that only predicts an approximate 6D pose that must then be refined, ours is accurate enough not to require additional post-processing. As a result , it is much faster-50 fps on a Titan X (Pascal) GPU-and more suitable for real-time processing. The key component of our method is a new CNN architecture inspired by [28, 29] that directly predicts the 2D image locations of the projected vertices of the object's 3D bounding box. The object's 6D pose is then estimated using a PnP algorithm. For single object and multiple object pose estimation on the LINEMOD and OCCLUSION datasets, our approach substantially outperforms other recent CNN-based approaches [11, 26] when they are all used without post-processing. During post-processing, a pose refinement step can be used to boost the accuracy of these two methods, but at 10 fps or less, they are much slower than our method.
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
在从个人智能手机到边境安全的不同领域中,可靠地确定个人身份的需求至关重要;从自动驾驶汽车到电子投票;从追踪儿童便利到预防人口贩运;从犯罪现场调查到客户服务个性化。生物识别技术需要使用诸如面部,指纹和语音之类的生物属性来识别人,这种生物识别技术正在越来越多地用于几种此类应用中。虽然生物识别技术在过去十年中取得了快速发展,但仍有一些基本问题尚未得到令人满意的解决。在本文中,我们将讨论其中的一些问题,并列举该领域的一些激动人心的挑战。
translated by 谷歌翻译
高级综合(HLS)缩短了硬件设计的开发时间,并在更高的抽象级别上实现了更快的设计空间探索。由于路由拥塞等实现问题的影响,HLS中复杂应用的优化具有挑战性。在现有的HLS设计方法和工具中,路由拥塞估计不存在或不准确。早期准确的拥塞估计对于指导HLS的优化和提高实现效率具有很大的好处。然而,在没有分析布局布线后的实施后细节的情况下,难以在HLS中评估可编程性,这是FPGA设计中的一个严重问题。为此,我们提出了一种利用机器学习预测HLS中路由拥塞的新方法,并将设计中预期的拥塞区域映射到相关的高级源代码。这对于在不运行耗时的寄存器传输级别(RTL)实现流程的早期识别高级源代码中的可路由性瓶颈非常有益。实验表明,我们的方法准确地估计了垂直和水平路由拥塞,误差分别为6.71%和10.05%。通过将人脸检测应用程序作为案例研究,我们通过发现高级源代码中的瓶颈来表明,与RTL实现和设计反馈所涉及的工作相比,可以轻松快速地解决路由拥塞问题。
translated by 谷歌翻译
从单眼图像估计3d人体姿势是一个具有挑战性的问题,因为人体姿势的多样性和复杂性以及从单一视图中恢复深度的固有模糊性。最近基于深度学习的方法通过在3d姿势注释数据集上使用监督学习来显示预测结果。然而,缺乏在野外设置下捕获的大规模3D注释训练数据使得在野外情况下难以进行3d姿势估计。很少有方法利用来自3d和2d posedatasets的训练图像以弱监督的方式在无约束的设置中学习3d姿势。在本文中,我们提出了一种方法,该方法能够有效地预测2d姿势的3dhuman姿势,使用深受神经网络训练,以严谨监督的方式对地面实况3d姿势和地面实况2d姿势进行组合。我们的方法使用重新投影误差最小化作为约束来预测身体关节的三维位置,这对于不存在三维基础事实的数据是至关重要的。由于单独最小化投影误差可能无法保证精确的三维姿态,我们还会在骨架姿态上使用额外的几何约束来规范3d中的姿态。我们通过对具有挑战性的三维基准数据集MPI的交叉数据集验证证明了我们方法的优越泛化能力。 INF-3DHP包含在狂野的3d姿势。
translated by 谷歌翻译
我们提出了一种使用Wasserstein生成对抗网络从受雾霾影响的图像恢复清晰图像的方法。由于问题是条件限制的,以前的方法需要先前对自然图像或同一场景的多个图像。我们使用Wasserstein损失函数训练生成对抗网络,使用Wasserstein损失函数来容忍以受影响的图像为条件的清晰图像的概率分布,使用梯度实施来强制执行Lipschitz约束。该方法是数据自适应的,端到端的,并且不需要进一步处理或调整参数。我们还使用基于纹理的损失度量和L1损失来改善结果,并表明我们的结果优于当前的最新技术。
translated by 谷歌翻译
我们提出了一种自我监督的方法来训练卷积神经网络,用于从单眼内窥镜检查数据进行密集深度估计,而无需对解剖或阴影进行先验建模。我们的方法仅需要单视内窥镜视频和多视图立体方法,例如,运动的结构,以稀疏的方式进行学习。因此,我们的方法需要在训练和应用阶段进行手动标记或患者计算机断层扫描(CT)扫描。在使用CT scansas groundtruth的跨患者实验中,所提出的方法实现了亚毫米波均方误差。在最近针对体内窦内窥镜检查数据的自然视频设计的自我监督深度估计方法的比较研究中,我们证明了所提出的方法优于前一种方法的大幅度边缘。这项工作的源代码可在线公开获取:http://github.com/lppllppl920/EndoscopyDepthEstimation-Pytorch。
translated by 谷歌翻译