论文信息

• 标题： Digging Into Self-Supervised Monocular Depth Estimation
• 作者：Clement Godard, Oisin Mac Aodha, Michael Firman, Gabriel Brostow
• 机构：UCL, Caltech, Niantic

代码链接

• www.github.com/nianticlabs/monodepth2

论文主要贡献

• 外观匹配 loss 用于解决使用单目监督信号的问题和遮挡像素的问题
• 新的、简单的自掩膜方法用于将相机参数无法观测的像素排除在外
• 多尺度的外观匹配 Loss 用于在图像分辨率级别的图像采样，减少深度估计的模糊结果

论文要点翻译

• 摘要

  • 像素级的深度数据获取并不容易，为了克服这个困难，通常的方法是使用自监督模型进行单目深度估计
  • 本文提出一系列的改进措施，使得单目深度估计得到定性、定量的性能改进
  • 通常的自监督单目深度估计利用复杂的体系结构、Loss 函数的设计、图像的形式模型等，这些都能够帮助减小单目深度估计的自监督方法与监督方法之间的差距
  • 本文结果表明，使用简单的模型，和相应的设计选择，一起实现了更好的弹幕深度估计预测结果
  • 主要提出（1）最小的重投影 Loss 用于有效解决遮盖问题；（2）全分辨率的多尺度采样方法用于减少视觉上的棋盘效应；（3）通过自掩膜 Loss 忽略与相机移动假设不符的像素点，达到更好的性能
  • 实验结果表明，提出的每个组件都是有效的，一起组合在 KITTI 数据集上获得了较好的性能

• 引言

  • 单目深度估计目的在于从单张图像估计预测图像对应的深度图，这个过程如果没有第二张输入图像用于三角形关系计算的话看起来是一个病态的问题，但是，人类已经能过从真是视觉进行控制感知和交互，这启示我们可以通过一些假设条件实现新的场景的单目深度估计
  • 在昂贵的深度雷达设备的背景下，可以用于自动驾驶汽车、允许新的图像编辑应用和 AR 应用等的的弹幕深度估计成为一项有趣且有价值的研究，解决深度估计问题通常使用大量的无标注数据集作为预训练，然后加上下游的深度估计任务
  • 然而，收集大量的标注数据并不容易，因此，许多方法开始研究自监督的单目深度估计方法，这些方法主要通过使用双目图像对或者单目的视频进行单目深度估计
  • 在上述的两类自监督方法中，单目视频比起基于双目立体图像来说更容易采集，但是也带来了新的挑战，因为使用单目视频除了估计深度，还需要估计相机的姿态用于训练时判别视频帧之间的关系，这个过程通常输入一系列的连续帧图像，输出的是对应的相机转换关系；而使用双目立体图像的分类方法则是通过离线的相机参数信息尽心相机姿态估计，但是这个方法难以解决遮挡问题，还会带来纹理复制的不足
  • 本文提出三个架构和 Loss 的创新，组合可以得到单目深度估计的改进方法，方法可以用在单目视频、双目立体图像甚至两者结合的办法
  • （1）外观匹配 loss 用于解决使用单目监督信号的问题和遮挡像素的问题
  • （2）新的、简单的自掩膜方法用于将相机参数无法观测的像素排除在外
  • （3）多尺度的外观匹配 Loss 用于在图像分辨率级别的图像采样，减少深度估计的模糊结果

• 相关工作

  • 有监督深度估计：典型的传统方法、利用大量标注数据的深度学习方法、利用合成训练数据的方法、SfM 方法
  • 自监督深度估计
    • 使用双目立体图像作为监督信号的自监督学习，通过利用双目立体图像获取视差进而获取对应的深度信息，这个方法在【30，39】中扩展为半监督数据的方法、在【1，48】中使用 GAN 继续宁训练，【50】加上了额外的一致性信息，【3，33，73】加上了时许信息
    • 使用自监督单目视频的方法，利用姿态估计和深度估计的联合训练，估计相机姿态和单目深度
    • 基于外观的 Loss 函数，自监督训练通常依赖于对外观（例如亮度的一致性）或者材料性质等进行监督信号，基于外观的 loss 可以有效提高预测结果，【43】通过组合合成图像与真实图像也获得不错的性能

• 方法

  • 方法主要描述单目深度估计网络，输入一张彩色图片 $I_t$，生成对应的深度图 $D_t$

  • 自监督训练：自监督的深度估计主要将学习的问题描述为新视角合成的问题，实现过程中，通过训练一个网络用于预测来自另一个视角的目标图像，通过使用中间表示进行图像的约束和合成，本文中的中间表示即为深度图或者视差图，利用模型图区这件表示的深度图，由于可以重建新视角的图像不止一个，因此这个问题是一个病态的问题，典型的双目和多视图立体匹配方法通常通过圆滑性、计算图像一致性等用于解决全局优化和每个像素的深度值预测的问题

  • 本文将此问题形式化为最小的图像重投影 Loss 问题，对于每个源视点 $I_{t^{{}^{\prime }}}$，对应目标图像的姿态 $T_{t\to t^{{}^{\prime }}}$ ，预测得到的深度图 $D_t$ 用于最小图像的重投影 Loss $L_p$

  • $L_p={\sum }_{t^{{}^{\prime }}}pe(I_t,I_{t\to t^{{}^{\prime }}})$

  • $I_{t\to t^{{}^{\prime }}}=I_{t^{{}^{\prime }}}<proj(D_t,T_{t\to t^{{}^{\prime }}},K)>$

  • 其中，pe 是图像重投影的误差，也就是像素空间的 L1 距离；$proj()$ 函数是根据图像和深度合成信徒想的重投影操纵；<> 是重采样操作；为了简化描述，假设所有视角的预计算的相机参数 K 相同

  • 本文使用的 Loss 除了 L1 还加上 SSIM Loss 用于描述结构性损失，即为：

  • $pe(I_a,I_b)=\frac{\alpha }{2}(1-SSIM(I_a,I_b))+(1-\alpha )||I_a-I_b|{|}_1$

  • $\alpha =0.85$，再加上边缘的圆滑损失：

  • $L_s=|{\partial }_x{d}_t^{\ast }|e^{-|{\partial }_x{I}_t|}+|{\partial }_y{d}_t^{\ast }|e^{-|{\partial }_y{I}_t|}$

  • $d_t^{\ast }=\frac{d_t}{\frac{}{d_t}}$ 是深度图的平均正则

  • 改进的自监督深度估计：

    • 像素级的最小化重投影误差

      $L_p=mi{n}_{t^{{}^{\prime }}}pe(I_t,I_{t^{{}^{\prime }}\to t})$

    • 自动掩膜去除无相关信息的像素

    • 多尺度的估计