単眼深度推定は、深層学習に基づいて広く調査されてきましたが、その精度と一般化能力は、ステレオベースの方法よりもはるかに遅れています。これに取り組むために、いくつかの最近の研究は、プロキシグラウンドトゥルースとして視差マップを抽出することによって単眼深度推定ネットワークを監視することを提案しました。ただし、これらの研究では、ステレオベースの深度推定方法と単眼深度推定方法の比較優位を考慮せずに、ステレオの知識を素朴に抽出しています。この論文では、より信頼性の高いプロキシ監視のために視差マップを選択的に抽出することを提案します。具体的には、最初に、プロキシ視差マップと各ピクセルの推定深度マップのどちらかを最適に選択するようにトレーニングされた2つのバイナリマスクを学習するデコーダー(MaskDecoder)を設計します。次に、学習されたマスクは別のデコーダー(DepthDecoder)に送られ、プロキシ視差マップのマスクされた領域のみから学習するように推定深度を強制します。さらに、Teacher-Studentモジュールは、StereoNetの幾何学的知識をMonoNetに転送するように設計されています。広範な実験により、私たちの方法が、半教師あり方法のいくつかを超えて、KITTIデータセットでの自己監視およびプロキシ監視の単眼深度推定の最先端のパフォーマンスを達成することが検証されます。
Monocular depth estimation has been extensively explored based on deep learning, yet its accuracy and generalization ability still lag far behind the stereo-based methods. To tackle this, a few recent studies have proposed to supervise the monocular depth estimation network by distilling disparity maps as proxy ground-truths. However, these studies naively distill the stereo knowledge without considering the comparative advantages of stereo-based and monocular depth estimation methods. In this paper, we propose to selectively distill the disparity maps for more reliable proxy supervision. Specifically, we first design a decoder (MaskDecoder) that learns two binary masks which are trained to choose optimally between the proxy disparity maps and the estimated depth maps for each pixel. The learned masks are then fed to another decoder (DepthDecoder) to enforce the estimated depths to learn from only the masked area in the proxy disparity maps. Additionally, a Teacher-Student module is designed to transfer the geometric knowledge of the StereoNet to the MonoNet. Extensive experiments validate our methods achieve state-of-the-art performance for self- and proxy-supervised monocular depth estimation on the KITTI dataset, even surpassing some of the semi-supervised methods.