Training agents via off-policy deep reinforcement learning (RL) requires a large memory, named replay memory, that stores past experiences used for learning. These experiences are sampled, uniformly or non-uniformly, to create the batches used for training. When calculating the loss function, off-policy algorithms assume that all samples are of the same importance. In this paper, we hypothesize that training can be enhanced by assigning different importance for each experience based on their temporal-difference (TD) error directly in the training objective. We propose a novel method that introduces a weighting factor for each experience when calculating the loss function at the learning stage. In addition to improving convergence speed when used with uniform sampling, the method can be combined with prioritization methods for non-uniform sampling. Combining the proposed method with prioritization methods improves sampling efficiency while increasing the performance of TD-based off-policy RL algorithms. The effectiveness of the proposed method is demonstrated by experiments in six environments of the OpenAI Gym suite. The experimental results demonstrate that the proposed method achieves a 33%~76% reduction of convergence speed in three environments and an 11% increase in returns and a 3%~10% increase in success rate for other three environments.

As the demand for autonomous driving increases, it is paramount to ensure safety. Early accident prediction using deep learning methods for driving safety has recently gained much attention. In this task, early accident prediction and a point prediction of where the drivers should look are determined, with the dashcam video as input. We propose to exploit the double actors and regularized critics (DARC) method, for the first time, on this accident forecasting platform. We derive inspiration from DARC since it is currently a state-of-the-art reinforcement learning (RL) model on continuous action space suitable for accident anticipation. Results show that by utilizing DARC, we can make predictions 5\% earlier on average while improving in multiple metrics of precision compared to existing methods. The results imply that using our RL-based problem formulation could significantly increase the safety of autonomous driving.

This paper presents a technique to train a robot to perform kick-motion in AI soccer by using reinforcement learning (RL). In RL, an agent interacts with an environment and learns to choose an action in a state at each step. When training RL algorithms, a problem called the curse of dimensionality (COD) can occur if the dimension of the state is high and the number of training data is low. The COD often causes degraded performance of RL models. In the situation of the robot kicking the ball, as the ball approaches the robot, the robot chooses the action based on the information obtained from the soccer field. In order not to suffer COD, the training data, which are experiences in the case of RL, should be collected evenly from all areas of the soccer field over (theoretically infinite) time. In this paper, we attempt to use the relative coordinate system (RCS) as the state for training kick-motion of robot agent, instead of using the absolute coordinate system (ACS). Using the RCS eliminates the necessity for the agent to know all the (state) information of entire soccer field and reduces the dimension of the state that the agent needs to know to perform kick-motion, and consequently alleviates COD. The training based on the RCS is performed with the widely used Deep Q-network (DQN) and tested in the AI Soccer environment implemented with Webots simulation software.

随着智能建筑应用的增长，住宅建筑中的占用信息变得越来越重要。在智能建筑物的范式的背景下，为了广泛的目的，需要这种信息，包括提高能源效率和乘员舒适性。在这项研究中，使用基于电器技术信息的深度学习实施了住宅建筑中的占用检测。为此，提出了一种新型的智能住宅建筑系统占用方法。通过智能计量系统测量的电器，传感器，光和HVAC的数据集用于模拟。为了对数据集进行分类，使用了支持向量机和自动编码器算法。混淆矩阵用于准确性，精度，召回和F1，以证明所提出的方法在占用检测中的比较性能。拟议的算法使用电器的技术信息达到95.7〜98.4％。为了验证占用检测数据，采用主成分分析和T分布的随机邻居嵌入（T-SNE）算法。通过使用占用检测，智能建筑物中可再生能源系统的功耗降低到11.1〜13.1％。

为了通过使用可再生能源来取代化石燃料，间歇性风能和光伏（PV）功率的资源不平衡是点对点（P2P）功率交易的关键问题。为了解决这个问题，本文介绍了增强学习（RL）技术。对于RL，图形卷积网络（GCN）和双向长期记忆（BI-LSTM）网络由基于合作游戏理论的纳米簇之间的P2P功率交易共同应用于P2P功率交易。柔性且可靠的DC纳米醇适合整合可再生能源以进行分配系统。每个局部纳米粒子群都采用了生产者的位置，同时着重于功率生产和消费。对于纳米级簇的电源管理，使用物联网（IoT）技术将多目标优化应用于每个本地纳米群集群。考虑到风和光伏发电的间歇性特征，进行电动汽车（EV）的充电/排放。 RL算法，例如深Q学习网络（DQN），深度复发Q学习网络（DRQN），BI-DRQN，近端策略优化（PPO），GCN-DQN，GCN-DQN，GCN-DRQN，GCN-DRQN，GCN-BI-DRQN和GCN-PPO用于模拟。因此，合作P2P电力交易系统利用使用时间（TOU）基于关税的电力成本和系统边际价格（SMP）最大化利润，并最大程度地减少电网功耗的量。用P2P电源交易的纳米簇簇的电源管理实时模拟了分配测试馈线，并提议的GCN-PPO技术将纳米糖簇的电量降低了36.7％。

在环境中的多进球强化学习中，代理商通过利用从与环境的互动中获得的经验来学习实现多个目标的政策。由于缺乏成功的经验，培训代理人凭借稀疏的二元奖励特别具有挑战性。为了解决这个问题，事后观察体验重播（她）从失败的经历中获得了成功的经验。但是，在不考虑实现目标财产的情况下产生成功的经验效率较低。在本文中，提出了一种基于集群的采样策略，利用实现目标的财产。提出的采样策略小组以不同的方式实现了目标和样本经历。对于分组，使用K-均值聚类算法。集群的质心是从定义为未实现的原始目标的失败目标的分布中获得的。该方法通过使用OpenAI健身房的三个机器人控制任务进行实验来验证。实验的结果表明，所提出的方法显着减少了在这三个任务中的两个中收敛所需的时期数量，并略微增加了其余一个任务的成功率。还表明，提出的方法可以与她的其他抽样策略结合使用。

最近，随着对清洁机器人的需求稳步增加，因此家庭用电也在增加。为了解决这一电力消耗问题，有效的清洁机器人路径计划的问题变得很重要，并且已经进行了许多研究。但是，他们中的大多数是沿着简单的路径段移动，而不是清洁所有地方的整个路径。随着新兴的深度学习技术，已采用了加强学习（RL）来清洁机器人。但是，RL的模型仅在特定的清洁环境中运行，而不是各种清洁环境。问题在于，每当清洁环境变化时，模型都必须进行重新培训。为了解决此问题，近端策略优化（PPO）算法与有效的路径计划结合使用，该计划在各种清洁环境中运行，使用转移学习（TL），检测最接近的清洁瓷砖，奖励成型，并制作精英设置方法。通过消融研究对所提出的方法进行验证，并与常规方法（例如随机和曲折）进行比较。实验结果表明，所提出的方法可以提高训练性能，并提高原始PPO的收敛速度。它还表明，这种提出的方​​法比常规方法（随机，曲折）更好。

相对摄像头姿势估计，即使用在不同位置拍摄的一对图像来估算翻译和旋转向量，是增强现实和机器人技术系统中系统的重要组成部分。在本文中，我们使用独立于摄像机参数的暹罗体系结构提出了端到端的相对摄像头姿势估计网络。使用剑桥地标数据和四个单独的场景数据集和一个结合四个场景的数据集对网络进行培训。为了改善概括，我们提出了一种新颖的两阶段训练，以减轻超参数以平衡翻译和旋转损失量表的需求。将提出的方法与基于CNN的一阶段培训方法（例如RPNET和RCPNET）进行了比较，并证明了所提出的模型在Kings College，Old Hospital和St Marys上提出的翻译量估计提高了16.11％，28.88％和52.27％教堂场景分别。为了证明纹理不变性，我们使用生成的对抗网络研究了提出的方法的概括，将数据集扩展到不同场景样式，作为消融研究。此外，我们对网络预测和地面真相构成的异性线进行定性评估。

在城市城市，随着行人和个人移动设备（PMDS）使用的共用空间的可接受性，需要务实的社会交流途径规划和导航管理政策。因此，我们提出了一个社会可接受的全球航线计划，并评估了由此产生的全球路线的易读性。我们建议选择全球化路线的方法避免了街道穿透共享空间和具有密集使用概率的主要路线。实验研究表明，可以有效地发现社会可接受的路线，平均速度长度为10％的路线长度，具有最佳的Hyperpa-rameters。这有助于PMDS达到目标，同时采取社会可接受和安全的路线，与不同PMDS和行人的最小相互作用。当PMD与分享空间中的行人和其他类型的PMDS互动时，MI-CRO-Mobionsion模拟对于可接受和安全的导航政策，是主要使用的。社会力模型是行人模拟的艺术状态，用于捕获行人行为随机动作的CAL-IBRATED。具有校准的社会力量模型可以模仿PMDS在行人混合导航方案中所需的行为。基于校准模型，执行共享空间链路和栅极结构的模拟，以帮助与决定等待和停止时间相关的策略。此外，基于模拟PMD与PEDERRI-ANS的交互，如果GPS传感器的分辨率为0.2米或更小，则可以获得具有更精细分辨率的位置数据。这将有助于正式化更好的建模，因此更好地进行微观迁移率政策。

异常检测涉及广泛的应用，如故障检测，系统监控和事件检测。识别从智能计量系统获得的计量数据的异常是提高电力系统的可靠性，稳定性和效率的关键任务。本文介绍了异常检测过程，以发现在智能计量系统中观察到的异常值。在所提出的方法中，使用双向长短期存储器（BILSTM）的AutoEncoder并找到异常数据点。它通过具有非异常数据的AutoEncoder计算重建错误，并且将分类为异常的异常值通过预定义的阈值与非异常数据分离。基于Bilstm AutoEncoder的异常检测方法用来自985户家庭收集的4种能源电力/水/加热/热水的计量数据进行测试。