服务机器人应该能够与非专家用户自然互动，不仅可以帮助他们完成各种任务，还可以接收指导，以解决指导中可能存在的歧义。我们考虑了视觉接地的任务，在这种情况下，代理将对象从拥挤的场景中分离出自然语言描述。现代的整体视觉接地方法通常忽略语言结构，而努力覆盖通用领域，因此很大程度上依靠大型数据集。此外，由于基准和目标域之间的高视觉差异，它们在RGB-D数据集中的传输性能受到了影响。模块化方法将学习与领域建模结合并利用语言的组成性质，以使视觉表示从语言解析中解脱出来，但由于缺乏强大的监督，要么依靠外部解析或以端到端的方式进行训练。在这项工作中，我们试图通过引入一个完全脱钩的模块化框架来解决这些局限性，以构成实体，属性和空间关系的组成视觉基础。我们利用在合成域中生成的丰富场景图表注释，并独立训练每个模块。我们的方法在模拟和两个真实的RGB-D场景数据集中进行了评估。实验结果表明，我们的框架的解耦性可以轻松地与域适应方法相结合，以实现SIMS到现实的视觉识别，从而为机器人应用中的视觉接地提供了数据效率，健壮且可解释的解决方案。

服务机器人越来越多地整合到我们的日常生活中，以帮助我们完成各种任务。在这样的环境中，机器人在环境中工作时经常面临新对象，并且需要以开放式的方式学习它们。此外，此类机器人必须能够识别广泛的对象类别。在本文中，我们基于多种表示形式提出了终生的合奏学习方法，以解决少数弹出的对象识别问题。特别是，我们根据深度表示和手工制作的3D形状描述符形成集合方法。为了促进终身学习，每种方法都配备了一个可立即存储和检索对象信息的内存单元。所提出的模型适用于3D对象类别的数量未固定并且可以随着时间而增长的开放式学习方案。我们已经进行了广泛的实验集，以评估离线方法和开放式场景中提出的方法的性能。出于评估目的，除了真实的对象数据集外，我们还生成了一个大型合成家庭对象数据集，该对象由27000个对象组成。实验结果证明了所提出的方法在在线少数3D对象识别任务中的有效性，以及其在最先进的开放式学习方法上的出色表现。此外，我们的结果表明，虽然合奏学习在离线设置中是适度的好处，但它在终生的几次学习情况下是显着有益的。此外，我们在模拟和现实机器人设置中证明了方法的有效性，在该设置中，机器人从有限的示例中迅速学习了新类别。

机器人经常面临抓住目标对象的情况，但由于其他当前物体阻止了掌握动作。我们提出了一种深入的强化学习方法，以学习掌握和推动政策，以在高度混乱的环境中操纵目标对象以解决这个问题。特别是，提出了双重强化学习模型方法，该方法在处理复杂场景时具有很高的弹性，在模拟环境中使用原始对象平均达到98％的任务完成。为了评估所提出方法的性能，我们在包装对象和一堆对象方案中进行了两组实验集，在模拟中总共进行了1000个测试。实验结果表明，该提出的方法在各种情况下都效果很好，并且表现出了最新的最新方法。演示视频，训练有素的模型和源代码可重复可重复性目的。 https://github.com/kamalnl92/self-superist-learning-for-pushing-and-grasping。

在以人为本的环境中工作的机器人需要知道场景中存在哪种物体，以及如何掌握和操纵不同情况下的各种对象，以帮助人类在日常任务中。因此，对象识别和抓握是此类机器人的两个关键功能。最先进的解决物体识别并将其抓握为两个单独的问题，同时都使用可视输入。此外，在训练阶段之后，机器人的知识是固定的。在这种情况下，如果机器人面临新的对象类别，则必须从划痕中重新培训以结合新信息而无需灾难性干扰。为了解决这个问题，我们提出了一个深入的学习架构，具有增强的存储器能力来处理开放式对象识别和同时抓握。特别地，我们的方法将物体的多视图作为输入，并共同估计像素 - 方向掌握配置以及作为输出的深度和旋转不变表示。然后通过元主动学习技术使用所获得的表示用于开放式对象识别。我们展示了我们掌握从未见过的对象的方法的能力，并在模拟和现实世界中使用非常少数的例子在现场使用很少的例子快速学习新的对象类别。

如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。

同时对象识别和姿势估计是机器人安全与人类和环境安全相互作用的两个关键功能。尽管对象识别和姿势估计都使用视觉输入，但大多数最先进的问题将它们作为两个独立的问题解决，因为前者需要视图不变的表示，而对象姿势估计需要一个与观点有关的描述。如今，多视图卷积神经网络（MVCNN）方法显示出最新的分类性能。尽管已广泛探索了MVCNN对象识别，但对多视图对象构成估计方法的研究很少，而同时解决这两个问题的研究更少。 MVCNN方法中虚拟摄像机的姿势通常是预先定义的，从而绑定了这种方法的应用。在本文中，我们提出了一种能够同时处理对象识别和姿势估计的方法。特别是，我们开发了一个深度的对象不合时宜的熵估计模型，能够预测给定3D对象的最佳观点。然后将对象的视图馈送到网络中，以同时预测目标对象的姿势和类别标签。实验结果表明，从此类位置获得的观点足以达到良好的精度得分。此外，我们设计了现实生活中的饮料场景，以证明拟议方法在真正的机器人任务中的运作效果如何。代码可在线获得：github.com/subhadityamukherjee/more_mvcnn

The deep neural network (DNN) models for object detection using camera images are widely adopted in autonomous vehicles. However, DNN models are shown to be susceptible to adversarial image perturbations. In the existing methods of generating the adversarial image perturbations, optimizations take each incoming image frame as the decision variable to generate an image perturbation. Therefore, given a new image, the typically computationally-expensive optimization needs to start over as there is no learning between the independent optimizations. Very few approaches have been developed for attacking online image streams while considering the underlying physical dynamics of autonomous vehicles, their mission, and the environment. We propose a multi-level stochastic optimization framework that monitors an attacker's capability of generating the adversarial perturbations. Based on this capability level, a binary decision attack/not attack is introduced to enhance the effectiveness of the attacker. We evaluate our proposed multi-level image attack framework using simulations for vision-guided autonomous vehicles and actual tests with a small indoor drone in an office environment. The results show our method's capability to generate the image attack in real-time while monitoring when the attacker is proficient given state estimates.

GTFLAT, as a game theory-based add-on, addresses an important research question: How can a federated learning algorithm achieve better performance and training efficiency by setting more effective adaptive weights for averaging in the model aggregation phase? The main objectives for the ideal method of answering the question are: (1) empowering federated learning algorithms to reach better performance in fewer communication rounds, notably in the face of heterogeneous scenarios, and last but not least, (2) being easy to use alongside the state-of-the-art federated learning algorithms as a new module. To this end, GTFLAT models the averaging task as a strategic game among active users. Then it proposes a systematic solution based on the population game and evolutionary dynamics to find the equilibrium. In contrast with existing approaches that impose the weights on the participants, GTFLAT concludes a self-enforcement agreement among clients in a way that none of them is motivated to deviate from it individually. The results reveal that, on average, using GTFLAT increases the top-1 test accuracy by 1.38%, while it needs 21.06% fewer communication rounds to reach the accuracy.

无线网络的第五生成（5G）将更加自适应和异质。可重新配置的智能表面技术使5G能够在多仪波形上工作。但是，在这样的动态网络中，特定调制类型的识别至关重要。我们提出了基于人工智能的RIS辅助数字分类方法。我们培训卷积神经网络以对数字调制进行分类。所提出的方法可以直接在接收的信号上学习并学习特征，而无需提取功能。介绍和分析了卷积神经网络学到的功能。此外，还研究了在特定SNR范围内接收信号的强大功能。发现所提出的分类方法的准确性很显着，尤其是对于低水平的SNR。

本文介绍了可能的紧急着陆点，在线导航以及在发动机熄灭下自动降落的路径的有效可行性评估。拟议的多层次自适应安全控制框架使无人驾驶飞机（UAV）在大型不确定性下能够执行具有足够经验的人类飞行员的安全操作。在此框架中，首先将简化的飞行模型用于一组着陆点和轨迹生成的时间效率可行性评估。然后，使用在线路径后路径来跟踪所选的着陆轨迹。我们使用高保真模拟环境为固定翼飞机测试和验证各种天气不确定性的拟议方法。对于在恶劣天气条件下由于发动机故障而导致的紧急降落的情况，模拟结果表明，所提出的自动着陆框架对于不确定性和在不同的着陆阶段进行适应性稳定，同时在计算上是廉价的计划和跟踪任务。