车辆运动预测方法调研报告
摘要：车辆运动预测对智能驾驶和自动驾驶有重要意义。在这篇报告里，将简要介绍从不同抽象层次(基于物理,基于操作,基于交互)，不同时间跨度(毫秒,秒,分钟)的相关学术工作，并在基于意向辨别和风险评估的运动预测模型找到各工作对应的问题范畴。最后报告初步讨论该运动预测模型的初步方案和局限性。
目录
1.背景
- 车辆运动预测模型
2.1 不同抽象层次的运动预测
2.1.1基于物理的运动预测模型
2.1.2 基于操作的运动预测模型
2.1.3 基于交互的运动预测模型
2.2 基于不同时间跨度的运动预测模型 - 运动预测模型的初步方案与局限性
3.1初步方案
3.2 初步方案的局限性 - 参考文献(https://pan.baidu.com/s/1c21HEI8)
1.背景
车辆运动预测问题是给定车辆状态和环境(包含其他车辆状态、红绿灯、行人、道路情况等等)，判断未来一段时间内车辆的运动轨迹。
车辆运动预测问题的难点：
1， 司机的感知输入因人而已、因状态而异。感知输入包含视觉、听觉等，注意力分布不同，随机因素大；
2， 司机的操作和风险评估不满足理性人假设。有可能有误操作和误判断；
3， 车辆相互之间的意向和运动预判会影响各自运动决策和路径规划。
- 车辆运动预测模型
车辆运动决策主要包含两个要素：意向与风险评估。从长到短的时间跨度，意向可以是目的地；正前方&左转&右转等；变道&加速&减速等。舒适和安全也是意向的潜在因子。风险评估包含碰撞、违规等风险。一般地，车辆先有意向，然后评估意向相关的路线规划风险，进而采取操作，影响车辆运动，如图 1所示。
图 1基于意向和风险评估的运动预测依赖图。Operational, Tactical, Strategic是对操作的时间跨度的分类[2],分别为百毫秒级(例如加速,打方向盘)，秒级和秒级以上(后两者可以是Operational Maneuvers的组合)。
2.1 不同抽象层次的运动预测
[1] 中将已有工作划分成3个抽象层次，如图 2所示，分为基于物理的、基于操作的、基于交互的模型。
图 2不同抽象层次的运动预测模型说明[1]。
图 3不同抽象层次的运动预测模型在基于意向和风险评估模型里的对应子结构。注：两者不完全对应，有的类别方法只涉及子结构里的一部分。
2.1.1基于物理的运动预测模型
基于物理的模型只考虑当前各物体状态（速度、加速度、路况等）进行亚秒级的运动预测。又包括基于运动学和基于动态模型的方法。如图 3所示，该方法即从物理规律(Laws)和路形路况(Environment)预测运动路径(Motion)。
基于运动学规律的方法，只考虑车辆的位置，速度，(角)加速度进行求解。[3]中对该类方法进行了调研和比较。对于运动路径的不确定性，可以采用高斯噪音假设(Kalman Filter)，或者Monte Carlo模拟(考虑路形路况限制)。
基于动态模型的方法，考虑了各种影响运动的力学因素，需要诸多车辆内部参数，不适用于其他车辆的运动预测。
2.1.2 基于操作的运动预测模型
基于操作的模型假设各车辆的操作相互独立，各自根据意向规划操作和运动轨迹，如图 3所示。主要分为基于原型匹配和基于意向识别并执行的方法。
基于原型匹配根据现有路径匹配路径原型。该方法将操作作为隐藏信息，直接对可观察的运动轨迹建模匹配。做法是事先对不同路形里车辆运动轨迹聚类[4]并生成模式，然后使用时对车辆的轨迹进行模式匹配。模式的表示有很多相关工作，基于路径的[5,6]，基于HMM(Hidden Markov Model)的[7]，基于高斯过程的[8-10]。主要缺点是对于不同路形路况有不同的轨迹模式，并且需要事先计算。
基于意向识别并执行的方法首先识别车辆的意向，再预测运动轨迹。意向识别工作包括Multi-layer Perception [11], Logistic Regression [12], Relevance Vector Machine [13], Support Vector Machine [14-16], 以及将Intention-Maneuver进行HMM建模[17-19]。意向确定后，相应的操作也确定，由此可以通过运动学模型得到确定路径[20]，或高斯过程建模以考虑不确定性[21]，或者采样方法得到动态可行轨迹集合[14]。除了轨迹预测外，另一种替代方法定义了stochastic reachable set[22], 用以定义可能的未来位置概率分布。
2.1.3 基于交互的运动预测模型
基于交互的运动模型预测考虑了车辆与环境之间相互影响，即结合风险评估(主要是碰撞假设)进行路线预测。主要分为基于原型的和基于动态贝叶斯网络的方法。
基于原型的方法在2.1.2里基于原型的方法基础上规避了容易造成碰撞的路线，即运动预测遵从假设：车辆有避免碰撞的偏好[23,24]。
基于动态贝叶斯网络的方法包括基于pairwise相互影响的Coupled HMM [25,26]，基于局部环境的[27-31]。
2.2 基于不同时间跨度的运动预测模型
基于毫秒，秒，秒级以上可以将车辆操作划分为Operational / Tactic / Strategic Maneuvers[2,32]。预测操作后即可预测车辆运动轨迹。对应基于意向和风险评估预测模型里的Maneuvers推导Motion。
Operational maneuvers, 指在百毫秒级别的操作，如踩油门、打方向盘等。
Tactical maneuvers, 指在秒级别的操作，如变道、转弯等。[2]对该类工作进行了调研，将Tactical maneuvers分为单目标和多目标方法。单目标方法将目标设为变道、转弯、制动等。具体工作以及在[2]中的参考文献见图 4。多目标方法考虑单目标里的多个目标组合。具体工作以及在[2]中的参考文献见图 5。
Strategic maneuvers, 指在分钟甚至秒级别的操作，如更快、更舒适到达目的地。
图 4 Operational Maneuvers里单目标方法的参考文献[2]，目标设定，输入输出。
图 5 Operational Maneuvers里多目标方法的参考文献[2]，目标设定，输入输出。
3. 运动预测模型的初步方案与局限性
这里给出基于意向辨别和风险评估的运动预测模型的初步方案，并讨论局限性。
3.1初步方案
首先，识别所有车辆的意向，结合其现在运动状态(位置，速度，加速度)和交通规则，计算初步轨迹。可以通过车辆的转向灯、车道、运动轨迹等判断车辆意向。轨迹计算在百毫秒级别可以采用Kalman Filter，秒级和秒级以上考虑2.1.2中基于操作的运动预测方法。
其次，遍历所有车辆，根据上述结果计算自身车辆面临的碰撞风险，并优化自身轨迹。[1]内提供了碰撞风险计算方法调研总结。轨迹的优化确保在百毫秒级别其他车辆轨迹的突变不会产生新的碰撞风险，在秒级别发生碰撞的风险低(司机的反应和制动在百毫秒级别)。并且在百毫秒间隔更新车辆预测。
3.2 初步方案的局限性
1，该方案忽略了对舒适度因素在司机决策中的影响。在安全因素得到保证后，舒适度是影响司机进行路径规划的重要因素；
2，该方案忽略了司机的感知输入的不同。司机有视觉、听觉、触觉(方向盘转矩)等输入，并可能存在注意力不集中，障碍物遮挡等感知弱化现象；
3，该方案忽略了司机的操作能力和风险评估能力差别；
4，该方案忽略了行人的影响。
4. 参考文献(https://pan.baidu.com/s/1c21HEI8)
[1] Lefèvre S, Vasquez D, Laugier C. A survey on motion prediction and risk assessment for intelligent vehicles[J]. Robomech Journal, 2014, 1(1): 1.
[2] Doshi A, Trivedi M M. Tactical driver behavior prediction and intent inference: A review[C]//2011 14th International IEEE Conference on Intelligent Transportation Systems (ITSC). IEEE, 2011: 1892-1897.
[3] Schubert R, Richter E, Wanielik G (2008) Comparison and evaluation of advanced motion models for vehicle tracking In: Proc. international conference on information fusion, pp 1–6.
[4] Atev S, Miller G, Papanikolopoulos NP (2010) Clustering of vehicle trajectories. IEEE Trans on Intell Transportation Syst 11(3):647–657.
[5] Vasquez D, Fraichard T (2004) Motion prediction for moving objects: a statistical approach In: Proc. IEEE international conference on robotics and automation, vol. 4, pp 3931–3936
[6] Hermes C, Wohler C, Schenk K, Kummert F (2009) Long-term vehicle motion prediction In: Proc. IEEE intelligent vehicles symposium, pp 652–657
[7] Vasquez D, Fraichard T, Laugier C (2009) Growing hidden markov models: an incremental tool for learning and predicting human and vehicle motion. Int J Robot Res 28(11-12):1486–1506
[8] Joseph JM, Doshi-Velez F, Roy N (2010) A Bayesian nonparametric approach to modeling mobility patterns In: Proc. AAAI conference on artificial intelligence
[9] Aoude G, Joseph J, Roy N, How J (2011) Mobile agent trajectory prediction using Bayesian nonparametric reachability trees In: Proc. of AIAA Infotech@Aerospace, pp 1587–1593
[10] Tran Q, Firl J (2014) Online maneuver recognition and multimodal trajectory prediction for intersection assistance using non-parametric regression In: Proc. IEEE Intelligent Vehicles Symposium, pp 918–923
[11] Garcia-Ortiz M, Fritsch J, Kummert F, Gepperth A (2011) Behavior prediction at multiple time-scales in inner-city scenarios In: Proc. IEEE intelligent vehicles symposium, pp 1068–1073
[12] Klingelschmitt S, Platho M, Gross H-M, Willert V, Eggert J (2014) Combining behavior and situation information for reliably estimating multiple intentions In: Proc. IEEE Intelligent Vehicles Symposium, pp 388–393
[13] Morris B, Doshi A, Trivedi M (2011) Lane change intent prediction for driver assistance: on-road design and evaluation In: Proc. IEEE Intelligent Vehicles Symposium, pp 895–901
[14] Aoude GS, Luders BD, Lee KKH, Levine DS, How JP (2010) Threat assessment design for driver assistance system at intersections In: Proc. IEEE intelligent transportation systems conference, pp 25–30
[15] Kumar P, Perrollaz M, Lef‘evre S, Laugier C (2013) Learning-based approach for online lane change intention prediction In: Proc. IEEE Intelligent Vehicles Symposium, pp 797–802
[16] Mandalia HM, Salvucci DD (2005) Using support vector machines for lane change detection In: Proc. of the Human Factors and Ergonomics Society 49th Annual Meeting
[17] Berndt H, Emmert J, Dietmayer K (2008) Continuous driver intention recognition with hidden Markov models In: Proc. IEEE intelligent transportation systems conference, pp 1189–1194
[18] Streubel T, Hoffmann KH (2014) Prediction of driver intended path at intersections In: Proc. IEEE Intelligent Vehicles Symposium, pp 134–139
[19] Lef‘evre S, Gao Y, Vasquez D, Tseng E, Bajcsy R, Borrelli F (2014) Lane keeping assistance with learning-based driver model and model predictive control In: Proc. 12th International Symposium on Advanced Vehicle Control
[20] Tamke A, Dang T, Breuel G (2011) A flexible method for criticality assessment in driver assistance systems In: Proc. IEEE intelligent vehicles symposium, pp 697–702
[21] Laugier C, Paromtchik I, Perrollaz M, Yong M, Yoder JD, Tay C, Mekhnacha K, Negre A (2011) Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety. IEEE Intell Transportation Syst Mag 3(4):4–19
[22] Althoff M, Stursberg O, Buss M (2009) Model-based probabilistic collision detection in autonomous driving. IEEE Trans on Intell Transportation Syst 10(2):299–310
[23] Kaefer E, Hermes C, Woehler C, Ritter H, Kummert F (2010) Recognition of situation classes at road intersections In: Proc. IEEE international conference on robotics and automation, pp 3960–3965
[24] Lawitzky A, Althoff D, Passenberg CF, Tanzmeister G, Wollherr D, Buss M (2013) Interactive scene prediction for automotive applications In: Proc. IEEE Intelligent Vehicles Symposium, pp 1028–1033
[25] Brand M, Oliver N, Pentland A (1997) Coupled hidden Markov models for complex action recognition In: Proc. IEEE conference on computer vision and pattern recognition, pp 994–999
[26] Oliver N, Pentland AP (2000) Graphical models for driver behavior recognition in a SmartCar In: Proc. IEEE intelligent vehicles symposium, pp 7–12
[27]Agamennoni G, Nieto JI, Nebot EM (2011) A Bayesian approach for driving behavior inference In: Proc. IEEE intelligent vehicles symposium, pp 595–600
[28] Agamennoni G, Nieto JI, Nebot EM (2012) Estimation of multivehicle dynamics by considering contextual information. IEEE Trans on Robot 28(4):855–870
[29] Lefèvre S, Laugier C, Ibañez-Guzmán J (2012) Risk assessment at road intersections: comparing intention and expectation In: Proc. IEEE intelligent vehicles symposium, pp 165–171
[30] Lefèvre S, Laugier C, Ibañez-Guzmán J (2012) Evaluating risk at road intersections by detecting conflicting intentions In: Proc. IEEE/RSJ international conference on intelligent robots and systems, pp 4841–4846
[31] Lefèvre S, Laugier C, Ibañez-Guzmán J (2013) Intention-aware risk estimation for general traffic situations: application to intersection safety. Inria Research Report 8379
[32] M. Plochl and J. Edelmann, “Driver models in automobile dynamics application,” Vehicle System Dynamics, vol. 45, no. 7, pp. 699–741, 2007.
