参考文章链接

标题：End-to-End Learnable Geometric Vision by Backpropagating PnP Optimization

作者：Bo Chen, Alvaro Parra, Jiewei Cao, Nan Li, Tat-Jun Chin

来源：CVPR2020

摘要

​ 深度网络在从大量数据中学习模式方面表现出色。另一方面，许多几何视觉任务被指定为优化问题。为了将深度学习和几何视觉无缝地结合起来，至关重要的是进行端到端的学习和几何优化。为了实现这一目标，我们提出了BPnP，这是一个新颖的网络模块，通过Perspective-nPoints（PnP）求解器反向传播梯度，以指导神经网络的参数更新。基于隐式微分，我们表明一个 “独立的 “PnP求解器的梯度可以被准确有效地导出，就像优化器块是一个可微分的函数。我们通过将BPnP纳入一个深度模型来验证它，该模型可以从训练数据集中学习相机的内在因素、相机的外在因素（姿势）和三维结构。此外，我们开发了一个用于物体姿势估计的端到端可训练管道，该管道通过将基于特征的热图损失与二维-三维重投影误差相结合，实现了更高的准确性。由于我们的方法可以扩展到其他优化问题，我们的工作有助于以一种原则性的方式实现可学习的几何视觉。我们对BPnP的PyTorch实现在http://github.com/BoChenYS/BPnP。

主要贡献

​ 我们的主要贡献是一个名为BPnP的新型网络模块，它包含了一个PnP求解器。BPnP通过PnP “层 “反向传播梯度，以指导神经网络权重的更新，从而利用既定的目标函数（二维-三维重投影误差的平方和）和几何视觉问题的求解器实现端到端的学习。尽管只结合了一个PnP求解器，我们展示了BPnP如何被用来学习有效的深度特征表征，用于多种几何视觉任务（姿势估计、运动结构、相机校准）。我们还将我们的方法与最先进的几何视觉任务的方法进行比较。从根本上说，我们的方法是基于隐式微分的。

主要方法

反向传播的PnP算法