自动驾驶 | 普林斯顿的DeepDriving

今天看端到端的时候无意间看到了这个项目，项目发在顶会ICCV2015上

介于end-end和传统的model based的自动驾驶之间，输入为图片，输出一些有用的affordance：例如车身姿态、与前车距离、距路边距离等，然后利用这些数据通过公式计算所需的具体驾驶指令如加速、刹车、转向等。

DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving

Abstract

如今，基于视觉的自动驾驶系统有两种主要模式：一种是中介感知方法，它解析整个场景以做出驾驶决策；另一种是行为反射方法，它通过回归器将输入图像直接映射到驾驶动作。在本文中，我们提出了第三种范式：一种基于直接感知的方法来估计驾驶的负担。我们建议将输入图像映射到少量关键感知指标，这些指标直接关系到道路/交通状态对驾驶的影响。我们的表示提供了一组简洁而完整的场景描述，使简单的控制器能够自动驾驶。介于介导感知和行为反射两个极端之间，我们认为我们的直接感知表征提供了正确的抽象层次。为了证明这一点，我们训练了一个深卷积神经网络（CNN），在视频游戏中使用12小时的人类驾驶，并表明我们的模型能够很好地在非常多样化的虚拟环境中驾驶汽车。最后，我们还训练了另一个CNN在KITTI数据集上进行汽车距离估计，结果表明直接感知方法可以很好地推广到真实的驾驶图像。

Paper

• C. Chen, A. Seff, A. Kornhauser and J. Xiao.
  DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving
  Proceedings of 15th IEEE International Conference on Computer Vision (ICCV2015)

还提供了了代码和视频：

• DeepDrivingCode_v1.zip: Source Code and Setup File. This is the old version, please use the new one instead.
• DeepDrivingCode_v2.zip: Source Code and Setup File. Please use this version.
• TORCS_trainset.zip: The training set is in leveldb format, the images are in the integer data field, while the corresponding labels are in the float data field.
• TORCS_baseline_testset.zip: A fixed testset to compare with the baselines (Caltech lane detector and GIST).
• Note: Our real testing is to let the ConvNet to drive the car in the game. So the testing images are generated on-the-fly.