前言

• waymo open dataset数据集由两个数据集组成: Perception数据集 + Motion数据集
  • Perception数据集主要用于2D和3D目标检测和追踪任务，是自车第一视角数据
  • Motion数据集主要用于自动驾驶行为预测，是鸟瞰图数据
• 我们重点学习Motion数据集

1. 数据下载

• Waymo完整数据集下载: https://waymo.com/open/download/
• Waymo Motion数据集官方主页: https://waymo.com/open/data/motion/
• Waymo数据格式/读取/评估工具安装和环境配置: https://github.com/waymo-research/waymo-open-dataset
• Waymo Perception数据集论文: https://arxiv.org/abs/1912.04838v7

2. Motion数据集

• 传感器方案: 5 Lidar(64线束)和5高分辨率针孔相机。限制了LiDAR数据范围，并且每个激光脉冲有两个回波（双回波）。相机图像是通过卷帘快门扫描捕获的，其中确切的扫描模式可能因场景而异, 所有相机图像都将进行降采样并从原始图像中裁剪出来

  

• 数据量和场景: Motion数据集有100000段总计超过200000000帧的数据，但是好像只有激光雷达采集的数据和对应的地图还原结果, 标签为Vehicles, Pedestrians, Cyclists三类(使用VPN)

3. 数据描述

• (1) 数据集文件格式为tfrecord, 是tensorflow的一种格式

• (2) 一个trrecord包含199帧数据, 是连续时间段的数据帧, 采样频率10Hz, 近似有20s数据

• (3) 一帧中包含了车上所有传感器的数据以及相应的label

• (4) 一个tfrecord包含多条scenario, scenario是一条数据的最小单元,

• (5) 数据格式包含在scenario中, 使用scenario.proto进行描述

• (6) scenario代表一个场景, 也就是一段时间内的交通信息，包括自车和其它的交通参与者，以及交通灯在20s内的轨迹和状态，同时还包括了道路信息

• (7) scenario每个场景包含9秒91帧数据, 其中历史10帧, 当前1帧, 未来80帧, 在轨迹预测或其他任务中一般使用1s历史数据预测8s未来数据; 也可以根据实验用途从20s数据中自己切分数据

  waymo motion数据的结构如图：

  

  接下来我们详细介绍scenario.proto和map.proto地图格式

4. 数据特征scenario.proto

• 一个场景中的特征主要分为三个部分

  • (1) 场景Features：该类别包括当前场景的基本信息，如场景ID、自动驾驶汽车的索引等
  • (2) HdMap Features：静态和动态地图功能都属于这一类别。动态地图特征包括交通信号状态，静态地图特征包括道路几何形状和连接的综合信息。Waymo提供车道、边界、人行横道、豁口等的明确坐标。对于每个路段，上游/下游车道和相邻车道的索引都记录在相应的属性中
  • (3) 轨迹Tracks：此属性存储场景中所有观察到的对象的运动。共有四种类型的对象：车辆、行人、骑自行车的人和其他。物体的状态以10 Hz的频率记录，每个状态包括物体的坐标（x、y、z）、尺寸（宽度和高度）、运动（航向、纵向和横向速度）和有效标志等

• Scenario结构

  message Scenario {reserved 9;// 场景IDoptional string scenario_id = 5;// 时间戳数组.与追踪目标tracks和红绿灯状态数组大小相等repeated double timestamps_seconds = 1;// 当前时间在时间戳数组中的index, 在此之前的为历史数据,在此之后的为预测数据optional int32 current_time_index = 10;// scenario内所有追踪目标; tracks[i].states[j]表示第i个目标在j时刻的状态repeated Track tracks = 2;// scenario的动态地图状态, 这里主要指交通灯信息; 和时间戳数组大小相等, dynamic_map_states[i]表示i时刻的交通灯信息repeated DynamicMapState dynamic_map_states = 7;// scenario的静态地图特征, 如lane/road/crosswalk/driveway等静态地图repeated MapFeature map_features = 8;// 自车在目标tracks里的索引optional int32 sdc_track_index = 6;// 与自车有交互行为的目标ID列表; 这些ID对应tracks里的idrepeated int32 objects_of_interest = 4;// 需要预测的目标列表,这只是建议train的目标,不是包含所有目标repeated RequiredPrediction tracks_to_predict = 11;// 每个时间步的lidar数据列表; 包含当前时间步之前的lidar数据, 即timestamps_seconds[i] where i <= current_time_index; 不是所有版本中均有此字段repeated CompressedFrameLaserData compressed_frame_laser_data = 12;
  }
  

• 数据结构：Track

  message Track {enum ObjectType {TYPE_UNSET = 0;  // This is an invalid state that indicates an error.TYPE_VEHICLE = 1;TYPE_PEDESTRIAN = 2;TYPE_CYCLIST = 3;TYPE_OTHER = 4;}// 被追踪的目标ID, 非负optional int32 id = 1;// 目标类型optional ObjectType object_type = 2;// 目标states,包括位置速度信息等repeated ObjectState states = 3;
  }
  

• 数据结构：ObjectState

  message ObjectState {// Coordinates of the center of the object bounding box.optional double center_x = 2;optional double center_y = 3;optional double center_z = 4;// The dimensions of the bounding box in meters.optional float length = 5;optional float width = 6;optional float height = 7;// 目标朝向, 取值[-pi, pi]optional float heading = 8;// 速度m/s,和目标朝向heading可能有差异optional float velocity_x = 9;optional float velocity_y = 10;// state状态数据是否有效, False表示数据无效或丢失optional bool valid = 11;
  }
  

• 数据结构：DynamicMapState

  message DynamicMapState {// 在该时间步能观察到的所有红绿灯列表repeated TrafficSignalLaneState lane_states = 1;
  }
  

• 数据结构：TrafficSignalLaneState

  message TrafficSignalLaneState {// 被该交通灯控制的lane idoptional int64 lane = 1;enum State {LANE_STATE_UNKNOWN = 0;// 箭头交通灯信号LANE_STATE_ARROW_STOP = 1