这项工作使用熵调查的放松随机控制视角作为设计增强学习（RL）算法的原则框架。本代理通过根据最佳放松政策分配的嘈杂控制来与环境进行交互。一方面，嘈杂的政策探索了空间，因此有助于学习，但另一方面，通过为非最佳行为分配积极的可能性来引入偏见。这种探索解释权取舍取决于熵正规化的强度。我们研究了两种熵正则化公式产生的算法：探索性控制方法，其中熵被添加到成本目标以及近端政策更新方法中，熵惩罚了两个连续事件之间的策略差异。我们分析了有限的地平线连续时间线性季度（LQ）RL问题，这两种算法都产生了高斯轻松的策略。我们量化了高斯政策的价值函数与其嘈杂评估之间的确切差异，并表明执行噪声必须在整个时间内独立。通过调整轻松策略的采样频率和管理熵正则强度的参数，我们证明，对于两种学习算法而言，遗憾是$ \ MATHCAL {O}（\ sqrt {n}）的顺序（上升）超过$ n $插曲的对数因素），与文献相符。
translated by 谷歌翻译
我们开发了一个概率框架，用于分析基于模型的加强学习在整个概念环境中。然后，我们将其应用于使用线性动力学但未知的系数和凸起的有限时间地平线随机控制问题，但可能是不规则的，客观的函数。使用概率表示，我们研究相关成本函数的规律性，并建立精确估计，用于应用估计和真实模型参数的最佳反馈控制之间的性能差距。我们确定这种性能差距是二次，提高近期工作的线性性能差距的条件[X.郭，A. Hu和Y. Zhang，Arxiv预印，arxiv：2104.09311，（2021）]，它与随机线性二次问题获得的结果相匹配。接下来，我们提出了一种基于阶段的学习算法，我们展示了如何优化探索剥削权衡，并在高概率和期望中实现索布林遗憾。当对二次性能间隙保持所需的假设时，该算法在一般情况下实现了订单$ \ mathcal {o}（\ sqrt {n \ ln n）$高概率后悔，以及订单$ \ mathcal {o} （（\ ln n）^ 2）$预期遗憾，在自我探索案例中，超过$ n $剧集，匹配文献中的最佳结果。分析需要新的浓度不等式，用于相关的连续时间观察，我们得出。
translated by 谷歌翻译
我们将一般的多军匪徒问题视为一个相关（和简单的上下文和不安）元素，是一个放松的控制问题。通过引入熵正则化，我们获得了对值函数的平滑渐近近似。这产生了最佳决策过程的新型半指数近似。该半指数可以被解释为明确平衡探索 - 探索 - 探索权衡取舍，就像乐观的（UCB）原则中，学习溢价明确描述了环境中可用的信息的不对称性和奖励功能中的非线性。所得的渐近随机对照（ARC）算法的性能与其他相关的多臂匪徒的方法相比有利。
translated by 谷歌翻译
呼吸率（RR）是重要的生物标志物，因为RR变化可以反映严重的医学事件，例如心脏病，肺部疾病和睡眠障碍。但是，不幸的是，标准手动RR计数容易出现人为错误，不能连续执行。这项研究提出了一种连续估计RR，RRWAVENET的方法。该方法是一种紧凑的端到端深度学习模型，不需要特征工程，可以将低成本的原始光摄影学（PPG）用作输入信号。对RRWAVENET进行了独立于主题的测试，并与三个数据集（BIDMC，Capnobase和Wesad）中的基线进行了比较，并使用三个窗口尺寸（16、32和64秒）进行了比较。 RRWAVENET优于最佳窗口大小为1.66 \ pm 1.01、1.59 \ pm 1.08的最佳绝对错误的最新方法，每个数据集每分钟每分钟呼吸0.96。在远程监视设置（例如在WESAD数据集中），我们将传输学习应用于其他两个ICU数据集，将MAE降低到1.52 \ pm每分钟0.50呼吸，显示此模型可以准确且实用的RR对负担得起的可穿戴设备进行准确估算。我们的研究表明，在远程医疗和家里，远程RR监测的可行性。
translated by 谷歌翻译