|
|
|
|
公众号矩阵

强化学习应用在自动驾驶中:一种通过人指导并基于优先经验的方法

强化学习(RL)需要定义和计算来解决优化和控制问题,这可能会损害其发展前景。将人的指导引入强化学习是提高学习性能的一种很有前途的方法,本文建立了一个基于人指导的强化学习框架。

作者:自动驾驶的挑战和发展来源:知乎|2021-10-12 10:28

arXiv在2021年9月26日上传的论文“Prioritized Experience-based Reinforcement Learning with Human Guidance: Methodology and Application to Autonomous Driving“,作者来自新加坡NTU(南洋理工)。

强化学习(RL)需要定义和计算来解决优化和控制问题,这可能会损害其发展前景。将人的指导引入强化学习是提高学习性能的一种很有前途的方法,本文建立了一个基于人指导的强化学习框架。

所提出的是一种在强化学习过程中适应人指导的 优先经验重放(prioritized experience replay,PER) 机制,提高RL算法的效率和性能。为减轻人的繁重工作量,基于增量在线学习(incremental online learning)方法建立一个行为模型来模仿人。

作者设计了两个具有挑战性的自动驾驶任务来评估所提出的算法:一个是T-路口无保护左转,另一个是高速堵车。

最近强化学习引入深度神经网络提出了一些流行方法,如rainbow deep Q-learning, proximal policy optimization (PPO) 和 soft actor-critic (SAC), 能够处理高维环境表征和泛化等。

不过问题是环境和智体的交互比较低效率。为此引入人的指导,有3个途径:1)人的专家反馈,给行为打分(behavior score);2)人的干预,一般是reward shaping方法;3)人的演示,上下文中监督学习。

如图是本文方法的RL算法框架:

提出的基于人指导优先经验回放(PER)机制中,TDQA表示提出的优先计算方案,即Time Difference Q-advantage,数字1-4表示数据的流向顺序,动作信号的虚线表示该框架允许间歇性的人在环(human-in-the-loop )的指导。

强化学习基于离散MDP来定义交互过程,这里采用不带策略的AC(actor- critic)架构。策略函数(即 actor )最大化价值函数Q,Q来自累计的未来reward,基于一个Bellman价值函数(即 critic )。

这个Bellman 价值函数只对最优策略进行评估,而不管执行交互的策略。 因此,RL 将策略评估过程和策略行为解耦,这使智体以一种不带策略的方式更新状态。

作者用神经网络作为函数逼近来制定actor和 critic,然后可以通过损失函数实现目标。

传统上,缓冲区存储的经验服从均匀分布,用均匀随机抽样从缓冲区获取批量经验,用于 RL 训练。在有限经验重放机制中,经验受制于非均匀分布,实际优先级取决于TD误差(temporal difference error)。

较大的 TD误差表明,经验值得在更高程度上学习。 因此,基于 TD误差的优先经验回放(PER)机制可以提高 RL 的训练效率。

在强化学习的训练中,采用了两种人指导的行为方式:干预和演示。

干预 :人的参与者识别 RL 交互场景,并根据先验知识和推理能力确定是否应该进行指导。 如果人参与者决定进行干预,可以操纵设备从 RL 智体(部分或全部)获得控制权。 干预通常发生在 RL 智体做灾难性操作或陷入局部最优陷阱。 因此,RL 可以学会避免干预出现的不利情况。

演示 :当干预事件发生时,人的参与者会执行行动,产生相应的奖励信号和下一步状态。 生成的转换组(transition tuple)可以看作是一段演示数据,因为是由人策略而不是 RL 行为策略造成的。 RL 算法可以从演示中学习人的专家行为。

在 RL 智体与环境的标准交互中,RL 的行为策略会输出探索环境的动作。一旦动作被发送到环境,交互的转换组将被记录并存储到经验重放缓存(buffer)。 特别注意的是,来自人的策略和 RL 策略的操作存储在同一个缓冲区中。

由于先验知识和推理能力,人的演示通常比 RL 行为策略的大多数探索更重要。 因此,需要一种更有效的方法来加权缓存的专家演示。 文中采用一种 基于优点的度量( advantage-based measure  ,而不是传统的优先经验重放(PER) TD 误差,以建立优先专家演示重放机制。

除了TD 误差度量外,该优点度量(因为基于Q计算,故称为 QA ,即 Q-advantage )也评估应该在多大程度去检索特定的专家演示转换组。通过 RL 训练过程,RL 智体的能力发生变化,一个专家演示转换组的优先级也随之变化,这就产生了动态优先机制。整个机制称为 TDQA ,把两个度量组合成一个对人的指导测度。

优先机制引入了对价值函数期望估计的偏差,因为它改变了缓存中的经验分布。 有偏的价值网络对强化学习渐近性影响不大,但在某些情况下可能会影响成熟策略的稳定性和鲁棒性。 作为可选操作,可以通过引入重要性采样(importance-sampling )权重到价值网络的损失函数,来退火偏差。

下面讨论人的参与者在 RL 训练环的行为:人的参与者可以干预该过程获得控制权,并用专家行动替代 RL 智体行动;由于持续重复训练情节和未成熟的 RL 策略,人的参与者在训练过程中不断进行演示显得很乏味,因此间歇性干预(intermittent intervention)成为更可行的解决方案。 这种情况下,人参与者只会干预那些关键场景(灾难行为或陷入局部最优)拯救 RL 智体并延长训练时间。

这里采用reward shaping方法,可防止 RL 陷入那些人为干预的状态。 然而,它仅在一个人为干预事件的第一时间触发惩罚。 这背后的原理是,一旦人的参与者获得控制权,其专家演示会惯性地持续一段时间,这里只有最初的场景被确认为关键场景。

下面把上述组件集成在一起,即优先人在环( Prioritized Human-In-the-Loop,即PHIL ) RL。具体来说,通过基于人指导的actor- critic框架,配备优先专家演示重放和基于干预的reward shaping 机制来获得整体的人在环 (human-in-the-loop)RL 配置。 基于不带策略 RL 算法,即双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradient, TD3 ),来实例化这个 PHIL 算法。 上述组件适用于各种 不带策略的 actor-critic RL 算法。

最后,整个PHIL-TD3算法总结如下所示:

结合前面的PHIL-RL,需要一个人的策略模型。该模型通过模仿实际人参与者的行为策略,来减轻人在环 RL 过程的工作量。

虽然人参与者进行 PHIL-RL 对提高性能最有帮助,但过度参与会使人疲劳。 作者训练了一个回归模型,与 RL 运行同时模仿人类策略,这个策略模型在必要时可以替代人。

分析一下RL 训练过程的人行为:人类干预间歇性地施加到环中,人演示逐渐补充到训练集(缓存)中;考虑到这一点,利用在线-和基于增量-的模仿学习算法(即Data Aggregation,DAgger)训练人策略模型,该算法不受离线大规模演示数据的收集影响。

注意:如果使用这个人策略模型与 PHIL 合作,模型的激活条件将根据特定环境手动定义。

下面讨论如何应用在自动驾驶场景:选择端到端问题的两个应用,即T-路口无保护左转和高速堵车。

如图是自动驾驶任务的环境配置: a 在 CARLA 建立的 T -路口设计的无保护左转场景; b 左转场景鸟瞰图,红色虚线表示左转轨迹; c 设计的在 CARLA 建立的高速公路拥堵场景; d 拥堵场景的鸟瞰图,其中红色虚线表示跟车轨迹。

T-路口无保护左转 :小路的自车试图左转并汇入主干道,路口没有交通信号引导车辆;假设自车的横向路径由其他技术规划,而纵向控制分配给 RL 智体;周围车辆以 [4, 6] m/s 范围随机的不同速度进行初始化,并由intelligent driver model (IDM) 控制执行车道保持行为;所有周围的驾驶员都具有侵略性,这意味着他们不会让路给自车;所有车辆的控制间隔设为 0.1 秒。

高速拥堵 :自车陷入严重拥堵并被其他车辆紧紧包围; 因此它试图缩小与领先车的差距,并以目标速度进行跟车;假设纵向控制由 IDM 完成,目标速度为 6m/s,而横向控制分配给 RL 智体;周围车辆初始化速度范围为 [4, 6] m/s,并由 IDM 控制以执行跟车行为;所有车辆的控制间隔设置为 0.1 秒;拥挤的周围车辆覆盖了车道标记,而自车道没有特定的前车,在这种情况下可能导致传统的横向规划方法无效。

下面定义RL的状态

RL的动作对两个场景是不同的:

T-路口左转

高速拥堵

奖励(reward)对两个场景也是不同的:

T-路口左转

高速

价值和策略函数的近似采用Deep CNN,如图所示:a)策略函数;b)价值函数

辅助函数:主要做车辆控制;当RL操纵方向盘时,纵向控制由IDM实现;当 RL 操纵踏板缝隙时,横向运动目标是通过比例积分 (PI) 控制器跟踪规划的航路点。

实验比较的基准算法是:

  • IA-TD3:Intervention Aided Reinforcement Learning (IARL)
  • HI-TD3:Human Intervention Reinforcement Learning (HIRL)
  • RD2-TD3:Recurrent Replay Distributed Demonstration-based DQN (R2D3)
  • PER-TD3:vanilla Prioritized experience replay (PER)

RL训练和推理的实验工作流如图(a-b)所示:

训练 硬件包括驾驶模拟器和高性能工作站。驾驶模拟器用于收集人驾驶数据以训练人的策略模型,工作站专门处理 RL 训练。 采用高保真自动驾驶仿真平台 CARLA来实现驾驶场景并生成RL-环境交互信息。

测试 硬件是机器人车辆。训练后的RL策略在车辆的计算平台上实现,通过无线网络与CARLA服务器进行通信。车载 RL 策略从 CARLA 接收状态信息并将其控制命令发回,远程操作完成自动驾驶任务。机器人车辆旨在测试 RL 策略在当前车载计算和通信情况下是否有效。

部分实验结果比较如下:

作者提出了一种算法 PHIL-TD3,旨在提高人在环 (human-in-the-loop )RL 的算法能力。 另外,引入了人的行为建模机制来减轻人参与者的工作量。 PHIL-TD3 解决两个具有挑战性的自动驾驶任务,即无保护T-路口左转和高速拥堵。

【编辑推荐】

  1. 使用数据分析成为有利可图交易的五种方法
  2. 数据中心单模光纤的兴起
  3. 大数据和人工智能如何彻底改变支付方式
  4. 分析师:400G 数据中心交换机端口今年将超过 1000 万
  5. 数据库压缩到底怎么做?
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

带你轻松入门 RabbitMQ

带你轻松入门 RabbitMQ

轻松入门RabbitMQ
共4章 | loong576

51人订阅学习

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

14人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

42人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微