我们提出了一种对机器人洗衣任务的持续感知的方法。我们的假设是通过神经网络可以通过学习从视频序列的衣服的动态变化的神经网络来看看服装形状和权重的视觉预测。通过输入连续框架在训练期间利用连续感知，其中网络了解衣服如何变形。为了评估我们的假设，我们捕获了40k RGB和40K深度视频序列的数据集，而被操纵衣服。我们还进行了消融研究，了解神经网络是否了解服装的物理和动态性质。我们的研究结果表明，改进的AlexNet-LSTM架构对服装的形状和重量具有最佳分类性能。为了进一步提供证据，即连续感知促进了服装的形状和重量的预测，我们在看不见的视频序列上评估了我们的网络，并在一系列预测上计算了“移动平均”。我们发现，我们的网络分别具有48％和60％的衣服的分类准确性，适用于服装的形状和重量。

在本文中，我们建议通过通过物理相似度网络（PhysNet）学习模拟织物之间的物理相似性来预测真实织物和服装的物理参数。为此，我们估计电风扇和面积重量产生的风速，以预测模拟和真实织物和服装的弯曲刚度。我们发现，与贝叶斯优化器相结合的Physnet可以预测物理参数，并将最先进的真实面料提高34％，而真正的服装为68％。

由于物体状态的高维度，服装扁平的管道需要识别机器人制作/选择操纵计划以使服装弄平的服装的配置。在本文中，我们提出了一种以数据为中心的方法，以根据已知的配置网络（KCNET）识别已知的服装配置，该配置是在深度图像上训练的，该图像捕获了已知的服装配置和服装形状的先验知识。在本文中，我们提出了一种以数据为中心的方法，以根据已知的配置网络（KCNET）识别已知的服装配置，该配置是在深度图像上训练的，这些图像捕获了已知的服装配置和服装形状的先验知识。服装的已知配置是当机器人在空气中间悬挂衣服时的服装配置。我们发现，如果我们让机器人识别服装的常见悬挂配置（已知配置），则可以实现92 \％的精度。我们还通过双臂百特机器人提出的方法证明了有效的机器人服装使管道扁平化。机器人的平均运营时间为221.6秒，并成功操纵了五种不同形状的服装。

机器人可变形的操纵是机器人行业的挑战，因为可变形物体具有复杂和各种物体状态。预测这些对象状态并更新操纵计划是耗时的，并且计算昂贵。在本文中，我们提出了学习已知的服装配置，以允许机器人识别服装状态，并选择一个预先设计的操纵计划以使衣服变平。

人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。

学习具有基于粒子的表示的可变形对象的物理动态是机器学习中许多计算模型的目标。虽然在模拟环境中实现了几种最先进的模型，但大多数现有模型都强加了一个前提条件，使得输入是有序点集的序列 - 即，必须是每个点集中的点的顺序整个输入序列相同。这限制了模型概括到现实世界数据，这被认为是一系列无序点集。在本文中，我们提出了一个名为Time-Wise PointNet（TP-Net）的模型，该模型通过直接消耗一系列无序点集来解决这个问题，以推断出具有基于粒子的表示的可变形对象的未来状态。我们的模型由共享特征提取器组成，该特征提取器从并行设置的每个输入点中提取全局特征，以及对这些特征的预测网络汇总和原因以供将来的预测。我们的方法的关键概念是，我们使用全局功能而不是本地功能来实现输入排列的不变性，并确保模型的稳定性和可扩展性。实验表明，我们的模型在合成数据集和实际数据集中实现了最先进的性能，具有实时预测速度。我们为什么我们的方法比现有方法提供定量和定性分析。

机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。

作为自治机器人的互动和导航在诸如房屋之类的真实环境中，可靠地识别和操纵铰接物体，例如门和橱柜是有用的。在对象铰接识别中许多先前的作品需要通过机器人或人类操纵物体。虽然最近的作品已经解决了从视觉观测的预测，但他们经常假设根据其运动约束的铰接部件移动的类别级运动模型或观察序列的先验知识。在这项工作中，我们提出了Formnet，是一种神经网络，该神经网络识别来自RGB-D图像和分段掩模的单帧对象部分的对象部分之间的铰接机制。从6个类别的149个铰接对象的100K合成图像培训网络培训。通过具有域随机化的光保护模拟器呈现合成图像。我们所提出的模型预测物体部件的运动残余流动，并且这些流量用于确定铰接类型和参数。该网络在训练有素的类别中的新对象实例上实现了82.5％的铰接式分类精度。实验还展示了该方法如何实现新颖类别的泛化，并且在没有微调的情况下应用于现实世界图像。

同时对象识别和姿势估计是机器人安全与人类和环境安全相互作用的两个关键功能。尽管对象识别和姿势估计都使用视觉输入，但大多数最先进的问题将它们作为两个独立的问题解决，因为前者需要视图不变的表示，而对象姿势估计需要一个与观点有关的描述。如今，多视图卷积神经网络（MVCNN）方法显示出最新的分类性能。尽管已广泛探索了MVCNN对象识别，但对多视图对象构成估计方法的研究很少，而同时解决这两个问题的研究更少。 MVCNN方法中虚拟摄像机的姿势通常是预先定义的，从而绑定了这种方法的应用。在本文中，我们提出了一种能够同时处理对象识别和姿势估计的方法。特别是，我们开发了一个深度的对象不合时宜的熵估计模型，能够预测给定3D对象的最佳观点。然后将对象的视图馈送到网络中，以同时预测目标对象的姿势和类别标签。实验结果表明，从此类位置获得的观点足以达到良好的精度得分。此外，我们设计了现实生活中的饮料场景，以证明拟议方法在真正的机器人任务中的运作效果如何。代码可在线获得：github.com/subhadityamukherjee/more_mvcnn

Convolutional neural networks (CNNs) have been extensively applied for image recognition problems giving stateof-the-art results on recognition, detection, segmentation and retrieval. In this work we propose and evaluate several deep neural network architectures to combine image information across a video over longer time periods than previously attempted. We propose two methods capable of handling full length videos. The first method explores various convolutional temporal feature pooling architectures, examining the various design choices which need to be made when adapting a CNN for this task. The second proposed method explicitly models the video as an ordered sequence of frames. For this purpose we employ a recurrent neural network that uses Long Short-Term Memory (LSTM) cells which are connected to the output of the underlying CNN. Our best networks exhibit significant performance improvements over previously published results on the Sports 1 million dataset (73.1% vs. 60.9%) and the UCF-101 datasets with (88.6% vs. 88.0%) and without additional optical flow information (82.6% vs. 73.0%).

The precise control of soft and continuum robots requires knowledge of their shape. The shape of these robots has, in contrast to classical rigid robots, infinite degrees of freedom. To partially reconstruct the shape, proprioceptive techniques use built-in sensors resulting in inaccurate results and increased fabrication complexity. Exteroceptive methods so far rely on placing reflective markers on all tracked components and triangulating their position using multiple motion-tracking cameras. Tracking systems are expensive and infeasible for deformable robots interacting with the environment due to marker occlusion and damage. Here, we present a regression approach for 3D shape estimation using a convolutional neural network. The proposed approach takes advantage of data-driven supervised learning and is capable of real-time marker-less shape estimation during inference. Two images of a robotic system are taken simultaneously at 25 Hz from two different perspectives, and are fed to the network, which returns for each pair the parameterized shape. The proposed approach outperforms marker-less state-of-the-art methods by a maximum of 4.4\% in estimation accuracy while at the same time being more robust and requiring no prior knowledge of the shape. The approach can be easily implemented due to only requiring two color cameras without depth and not needing an explicit calibration of the extrinsic parameters. Evaluations on two types of soft robotic arms and a soft robotic fish demonstrate our method's accuracy and versatility on highly deformable systems in real-time. The robust performance of the approach against different scene modifications (camera alignment and brightness) suggests its generalizability to a wider range of experimental setups, which will benefit downstream tasks such as robotic grasping and manipulation.

A core challenge for an agent learning to interact with the world is to predict how its actions affect objects in its environment. Many existing methods for learning the dynamics of physical interactions require labeled object information. However, to scale real-world interaction learning to a variety of scenes and objects, acquiring labeled data becomes increasingly impractical. To learn about physical object motion without labels, we develop an action-conditioned video prediction model that explicitly models pixel motion, by predicting a distribution over pixel motion from previous frames. Because our model explicitly predicts motion, it is partially invariant to object appearance, enabling it to generalize to previously unseen objects. To explore video prediction for real-world interactive agents, we also introduce a dataset of 59,000 robot interactions involving pushing motions, including a test set with novel objects. In this dataset, accurate prediction of videos conditioned on the robot's future actions amounts to learning a "visual imagination" of different futures based on different courses of action. Our experiments show that our proposed method produces more accurate video predictions both quantitatively and qualitatively, when compared to prior methods.

越来越多的人期望在对象属性具有高感知不确定性的越来越多的非结构化环境中操纵对象。这直接影响成功的对象操纵。在这项工作中，我们提出了一个基于增强的学习动作计划框架，用于对象操纵，该框架既利用了在现有的多感觉反馈，也可以使用学习的注意力引导的深层负担能力模型作为感知状态。可承受的模型是从多种感官方式中学到的，包括视觉和触摸（触觉和力/扭矩），旨在预测和指示具有相似外观的物体的多个负担能力（即抓地力和推动力）的可操作区域属性（例如，质量分布）。然后，对基于DQN的深钢筋学习算法进行培训，以选择成功对象操纵的最佳动作。为了验证提出的框架的性能，使用开放数据集和收集的数据集对我们的方法进行评估和基准测试。结果表明，所提出的方法和整体框架的表现优于现有方法，并实现更好的准确性和更高的效率。

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

本文介绍了一种从原始RGB-D视频进行任务演示的视频中学习类别级别的新技术，没有手动标签或注释。类别级的学习旨在获取可以推广到新对象的技能，其几何形状和纹理与演示中使用的对象不同。我们通过首先将抓地力和操作视为工具使用的特殊情况，解决此问题，其中工具对象被移至目标对象的参考框架中定义的一系列键置。使用动态图卷积神经网络预测工具和目标对象以及其钥匙置，该网络将整个场景的自动分割深度和颜色图像作为输入。具有真实机器人手臂的对象操纵任务上的经验结果表明，所提出的网络可以有效地从真实的视觉演示中学习，以在同一类别内的新颖对象上执行任务，并且优于替代方法。

We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.

高分辨率表示对于基于视觉的机器人抓问题很重要。现有作品通常通过子网络将输入图像编码为低分辨率表示形式，然后恢复高分辨率表示。这将丢失空间信息，当考虑多种类型的对象或远离摄像机时，解码器引入的错误将更加严重。为了解决这些问题，我们重新审视了CNN的设计范式，以实现机器人感知任务。我们证明，与串行堆叠的卷积层相反，使用平行分支将是机器人视觉抓握任务的更强大设计。特别是，为机器人感知任务（例如，高分辨率代表和轻量级设计）提供了神经网络设计的准则，这些指南应对不同操纵场景中的挑战做出回应。然后，我们开发了一种新颖的抓地视觉体系结构，称为HRG-NET，这是一种平行分支结构，始终保持高分辨率表示形式，并反复在分辨率上交换信息。广泛的实验验证了这两种设计可以有效地提高基于视觉的握把和加速网络训练的准确性。我们在YouTube上的真实物理环境中显示了一系列比较实验：https：//youtu.be/jhlsp-xzhfy。

虽然牛顿力学的基本规律得到了很好的理解，但是解释了物理场景仍然需要用合适的方程式制造问题并估计相关参数。为了能够利用人工智能技术在这种物理相关的背景下利用近似能力，研究人员已经手工制作了相关状态，然后使用神经网络来学习使用模拟运行作为训练数据的状态转换。遗憾的是，这种方法不适合建模复杂的现实情景，在手动创作相关的状态空间往往是乏味和挑战性的。在这项工作中，我们研究了神经网络是否可以基于视觉数据隐含地学习现实世界机械过程的物理状态，而在内部建模非均匀环境中，并且在该过程中可以实现长期物理推断。我们为此任务开发了经常性的神经网络架构，并且还以不断变化的方差估计的形式表征了结果的不确定性。我们评估我们的设置，以推断在不同形状和方向的碗上的滚珠球运动，以及仅使用图像作为输入的任意高度场。我们在对预测的准确性和情景复杂性方面，我们报告了对现有的基于图像的方法的显着改进;并报告与我们不同的方法，竞争性能与我们不同，承担进入内部物理状态。

Cloth in the real world is often crumpled, self-occluded, or folded in on itself such that key regions, such as corners, are not directly graspable, making manipulation difficult. We propose a system that leverages visual and tactile perception to unfold the cloth via grasping and sliding on edges. By doing so, the robot is able to grasp two adjacent corners, enabling subsequent manipulation tasks like folding or hanging. As components of this system, we develop tactile perception networks that classify whether an edge is grasped and estimate the pose of the edge. We use the edge classification network to supervise a visuotactile edge grasp affordance network that can grasp edges with a 90% success rate. Once an edge is grasped, we demonstrate that the robot can slide along the cloth to the adjacent corner using tactile pose estimation/control in real time. See http://nehasunil.com/visuotactile/visuotactile.html for videos.

在现实世界中操纵体积变形物体，例如毛绒玩具和披萨面团，由于无限形状的变化，非刚性运动和部分可观察性带来了重大挑战。我们引入酸，这是一种基于结构性隐式神经表示的容量变形物体的动作条件视觉动力学模型。酸整合了两种新技术：动作条件动力学和基于大地测量的对比度学习的隐式表示。为了代表部分RGB-D观测值的变形动力学，我们学习了占用和基于流动的正向动态的隐式表示。为了准确识别在大型非刚性变形下的状态变化，我们通过新的基于大地测量的对比损失来学习一个对应嵌入场。为了评估我们的方法，我们开发了一个模拟框架，用于在逼真的场景中操纵复杂的可变形形状和一个基准测试，其中包含17,000多种动作轨迹，这些轨迹具有六种类型的毛绒玩具和78种变体。我们的模型在现有方法上实现了几何，对应和动态预测的最佳性能。酸动力学模型已成功地用于目标条件可变形的操纵任务，从而使任务成功率比最强的基线提高了30％。此外，我们将模拟训练的酸模型直接应用于现实世界对象，并在将它们操纵为目标配置中显示成功。有关更多结果和信息，请访问https://b0ku1.github.io/acid/。