参考文章链接

标题：Stochastic Motion Planning Under Partial Observability for Mobile Robots With Continuous Range Measurements

作者：Ke Sun, Brent Schlotfeldt, George J.Pappas,Vijay Kumar

来源：2021 IEEE International Conference on Robotics and Automation (ICRA 2021)

摘要

​ 本文解决了局部可视化的随机运动规划问题，具体来说，就是如何导航一个装有连续测距传感器的移动机器人，如激光雷达。与许多现有的机器人运动规划方法不同，我们通过将系统建模为部分可观测的马尔可夫决策过程( POMDP )以突出考虑到机器人状态的不确定性。最近关于通用POMDP求解器的工作通常局限于离散的观测空间，并且由于LIDAR的连续量测很难应用于所提出的问题。本文基于一种现有的蒙特卡洛树搜索方法——局部可观测蒙特卡洛规划( POMCP )，提出了一种新的算法POMCP++。该算法可以处理具有新型测量选择策略的连续观测空间。POMCP++算法通过去除推出阶段隐含的完美状态假设，克服了推出策略价值估计中的过拟合问题。从理论上验证POMCP++，证明它是一个蒙特卡洛树搜索算法。通过与其他同样适用于目前所提问题的方法的比较，表明了POMCP++可以取得了更高的成功率和总回报。

主要内容

1. 引入对POMCP两个主要改进。首先，原始系统的测量可能性会失真，因此可以以不同的概率重新访问树中的现有测量分支。其次，强制执行一组样本而不是一个样本，以同时遍历树中的同一组节点的下游。可以很好地表示叶节点的信赖，从而对推广策略进行更准确的价值估计。通过应用重点采样，还可以保证遍历节点处的值的正确更新。；
2. 由于测量似然失真，仿真时段的估计值对于当前策略是有偏差的。尽管如此，由于仿真的数量和样本组的大小趋于无穷大证明了这样的估计是无偏的。因此，所提出的POMCP算法被证明是一种有效的蒙特卡罗树搜索 (MCTS) 算法；
3. 提供了将POMCP++与现有方法进行比较的仿真结果，这些方法也可以应用于随机导航问题。结果表明，POMCP++算法产生了更高的折扣奖励总和，目标最大化。此外，POMCP++实现了更高的成功率，同时降低了目标区域之外的碰撞率和过早停止。除了仿真之外，我们还演示了POMCP在一个模糊的走廊环境中的真实机器人平台上的性能。

算法框架