目录
3D视觉感知任务
单目3D感知
单目3D物体检测 – 直接预测3D信息
单目3D物体检测 – 总结
单目深度估计
双目3D感知
多目3D感知
3D视觉感知任务
输入：单摄像头或多摄像头生成的图像数据
单张图像
图像序列
输出
稀疏：物体在3D坐标系中的位置，大小，朝向，速度等
稠密：像素点的类别标签和深度信息
算法
按输入来分：单目，双目，多目
按输出来分：3D物体检测，场景深度估计
主要难点
图像是真实世界在透视视图下的投影
透视投影导致距离/深度信息丢失
图像上物体的大小随着距离而变化
很难估计物体的实际距离和大小
解决方案
借助其它传感器，比如激光雷达
借助几何假设和约束来辅助求解病态问题
借助深度学习自动地从图像中提取 3D 信息
借助多个摄像头和立体视觉算法
单目3D感知
单目3D物体检测
反变换
关键点和3D模型
2D/3D几何约束
直接预测 3D 信息
单目深度估计
监督学习算法
单目 3D 物体检测 – 反变换
基本思路
2D图像反变换到3D世界坐标，再进行物体检测
病态问题：通过一些额外信息来辅助解决
几何假设：目标位于地面（Oy已知 ）
深度估计：目标深度已知（Oz已知）
病态问题：已知[ pox,poy ]和 𝑓 ，求解[o x,oy,oz ]
辅助信息1：目标位于地面
BEV-IPM：2D图像变换到BEV视图
假设路面和车辆坐标系都与世界坐标系平行 => 路面高度已知
在像素高度值已知的情况下，将图像转换到BEV视图
采用YOLO网络在BEV视图下检测目标的下边框（与路面接触部分）
助信息2：目标深度已知
Pseudo-LiDAR
依据深度图将输入图像转换为3D点云数据
深度估计不依赖于特定的方法
可以采用单目，双目，甚至低线束激光雷达（Pseudo-LiDAR++）
采用点云和图像融合的算法来检测3D物体
深度估计的精度非常关键
Wang et al., Pseudo-LiDAR from Visual Depth Estimation: Bridging the Gap in 3D Object Detection for Autonomous Driving, CVPR 2019
辅助信息2：目标深度已知
问题：可不可以直接采用类似RGB-D的数据表示呢？
远处物体面积非常小，导致检测不准确
相邻像素深度差别可能很大（ 比如物体边缘），不适合卷积操作
基本思路
待检测的目标（比如车辆）其大小和形状相对比较固定
将3D模型与2D图像上检测的关键点进行匹配
单目 3D 物体检测 – 关键点和 3D 模型
DeepMANTA（3D车辆检测）
2D图像上的检测输出
2D边框 𝑩𝑩
2D关键点集合 𝑺𝑺 和可见度 𝑽𝑽
与3D模型的相似度 𝑻𝑻
根据 𝑻𝑻 选择相似度最高的3D模型（相当于选择一个车型）
匹配3D模型和2D输出的关键点，得到3D关键点 𝑺𝑺 𝟑𝟑𝟑𝟑 和边框 𝑩𝑩 𝟑𝟑𝟑𝟑
每一对（ 𝑺𝑺 𝟑𝟑𝟑𝟑 , 𝑺𝑺 𝟐𝟐𝟐𝟐 ）可以得到一个匹配度
基本思路
2D物体框的表示
4维变量：2D的中心点和大小
3D物体框的表示
9维变量：3D的中心点，大小和朝向
无法直接通过2D物体框求解
大小和朝向与视觉特征相关性强
中心点3D位置很难通过视觉特征预测
两步流程
采用2D物体框内的图像特征来估计物体大小和朝向
通过2D/3D的几何约束来求解物体3D中心点的位置
Deep3DBox
约束条件：2D物体框的每条边上都至少能找到一个3D物体框的角点。
超约束问题：约束数量（4个）大于未知参数（3个）数量。
这个超约束问题的求解过程也可以建模成一个网络层，进行端到端训练
单目3D物体检测 – 直接预测3D信息
基本思路
两阶段检测，Anchor-based
根据先验知识生成稠密的3D物体候选
通过2D图像上的特征对所有的候选框进行评分
评分高的候选框作为最终的输出
单阶段检测，Anchor-free
直接从图像回归3D信息
根据先验知识设定物体3D参数的初始值
神经网络只需要回归与实际值的偏差即可
两阶段检测
Mono3D
基于目标先验位置（z坐标位于地面）和大小来生成稠密的3D候选框；
3D候选框投影到图像坐标后，通过2D图像上特征进行评分；
特征来自语义分割、实例分割、上下文、形状以及位置先验信息；
分数较高的候选再通过CNN进行分类和边框回归，以得到最终的3D物体框
两阶段检测，Anchor-based
TLNet
稠密的Anchor带来巨大的计算量；
采用2D图像上的检测结果来降低Anchor数量；
2D检测结果形成的3D视锥可以过滤掉大量背
景上的Anchor。
单阶段检测，Anchor-free
FCOS3D
整体网络结构与2D物体检测非常相似，只是增加了3D回归目标
单阶段检测，Anchor-free
FCOS3D
3D回归目标
• 2.5D中心（ΔX， ΔY，Depth）： 3D物体框的中心投影到2D图像；
• 3D大小（L，W，H）和朝向
单阶段检测，Anchor-free
FCOS3D
Centerness的定义
•
以 3D 中心点的 2D 投影为原点的高斯分布
单目3D物体检测 – 总结
单目深度估计
为什么要做深度估计
3D物体检测中经常需要深度估计的辅助
3D场景语义分割需要估计稠密的深度图
基本思路
输入：单张图像
输出：单张图像（一般与输入相同大小），每个像素值
对应输入图像的场景深度
常用的方法
传统方法：利用几何信息，运动信息等线索，通过手工设计
的特征来预测像素深度
深度学习：通过训练数据学习到比手工设计更加优越的特征
全局和局部线索融合
全局分支：将图像进行多层卷积和下采样，得到整个场景的描述特征。
局部分支：在相对较高的分辨率上提取局部特征，并与全局特征融合。
也可以扩展为多个分支，对应不同的分辨率
DORN：回归问题转换为分类问题
多个分支提取不同尺度的特征：全局+局部
将连续的深度值划分为离散的区间，每个区间作为一个类别
非均匀的深度区间划分（80m范围划分大约 40到120个区间）
双目3D感知
优势
单目3D感知依赖于先验知识和几何约束；
深度学习的算法非常依赖于数据集的规模、质量以及多样性；
双目系统解决了透视变换带来的歧义性；
双目感知不依赖于物体检测的结果，对任意障碍物均有效。
劣势
硬件：摄像头需要精确配准，车辆运行过程中也要始终保持配准的正确性；
软件：算法需要同时处理来自两个摄像头的数据，计算复杂度较高
双目深度估计
基本原理
概念和公式
B: 基线长度（两个相机之间的距离）
f: 相机的焦距
d: 视差（左右两张图像上同一个3D点之间的距离）
f和B是固定的，要求解深度z，只需要估计视差d (xl-xr)
基本原理
视差估计：对于左图中的每个像素点，需要找到右图中与其匹配的点。
对于每一个可能的视差（范围有限），计算匹配误差，因此得到的三维的误差数据称为Cost Volume。
计算匹配误差时考虑像素点附近的局部区域，比如对局部区域内所有对应像素值的差进行求和。
通过Cost Volume可以得到每个像素处的视差（对应最小匹配误差的 𝑑𝑑 ），从而得到深度值
PSMNet
左右图像上采用共享的卷积网络进行特征提取
包含下采样，金字塔结构和空洞卷积来提取多分辨率的信息并且扩大感受野
左右特征图构建Cost Volume
3D卷积提取左右特征图以及不同视差级别之间的信息
上采样到原始分辨率，找到匹配误差最小的视差值
多目3D感知
Mobileye和ZF的三目系统
通过不同焦距的摄像头来覆盖不同范围的场景
包含一个150°的广角摄像头，一个52°的中距摄像头和一个28°的远距摄像头
保证中近距的探测视野和精度，用于检测车辆周边的环境
最远探测距离可以达到300米
Foresight的四目感知系统
增加不同波段的传感器，获取更多的环境信息
可见光双目摄像头 + 长波红外（LWIR）双目摄像头
增强了在夜间环境以及在雨雾天气下的适应能力
双目红外摄像头安装在挡风玻璃的左右两侧，以增加基线长度
Tesla的多目全景感知系统 FSD（Full Self Driving）
不同位置，不同探测范围的摄像头，覆盖360度视场
集成了深度学习领域的最新研究成果，在多摄像头融合方面也很有特点
“向量空间”的概念
环境中的各种目标在世界坐标系中的表示空间；
对于物体检测任务，目标在3D空间中的位置、大小、朝向、速度等描述特性组成了一个向量；
对于语义分割任务，车道线或者道路边缘的参数化描述组成了一个向量；
所有描述向量组成的空间就是向量空间。
视觉感知系统的任务：将图像空间转化为向量空间
决策层融合（后融合）
在图像空间中完成所有的感知任务，将结果映射到向量空间，最后融合多摄像头的感知结果。
特征层融合（前融合）
将图像特征转换到世界坐标系，融合来自多个摄像头的特征，最后得到向量空间中的感知结果
