最近、完全に自己監視された方法で単眼ビデオからシーンの基礎となる3D構造を学習することに多くの注目が集まっています。このタスクの最も困難な側面の1つは、リジッドシーンの仮定を破るときに独立して移動するオブジェクトを処理することです。初めて、ピクセル位置情報を利用して、ビデオからSVDE(シングルビュー深度推定)を学習できることを示します。シフトされた位置情報(SPI)によって誘導され、「SPIMO」マスクと呼ばれる、提案された移動オブジェクト(MO)マスクは、非常に堅牢で、シーン内の独立して移動するオブジェクトを一貫して削除し、ビデオからSVDEをより適切に学習できるようにします。 。さらに、深度離散化に最適なピクセルごとの量子化曲線を割り当てる新しい適応量子化スキームを導入します。最後に、既存のブースト技術を新しい方法で採用して、移動するオブジェクトの深さをさらに自己監視します。これらの機能により、パイプラインは移動するオブジェクトに対して堅牢であり、小さなパッチでトレーニングされた場合でも高解像度の画像に一般化され、以前の作品の約8.5分の1のパラメーターで最先端の(SOTA)結果が得られます。ビデオから学ぶ。私たちは、私たちの方法の有効性を示すKITTIとCityScapesに関する広範な実験を提示します。
Recently, much attention has been drawn to learning the underlying 3D structures of a scene from monocular videos in a fully self-supervised fashion. One of the most challenging aspects of this task is handling the independently moving objects as they break the rigid-scene assumption. For the first time, we show that pixel positional information can be exploited to learn SVDE (Single View Depth Estimation) from videos. Our proposed moving object (MO) masks, which are induced by shifted positional information (SPI) and referred to as `SPIMO' masks, are very robust and consistently remove the independently moving objects in the scenes, allowing for better learning of SVDE from videos. Additionally, we introduce a new adaptive quantization scheme that assigns the best per-pixel quantization curve for our depth discretization. Finally, we employ existing boosting techniques in a new way to further self-supervise the depth of the moving objects. With these features, our pipeline is robust against moving objects and generalizes well to high-resolution images, even when trained with small patches, yielding state-of-the-art (SOTA) results with almost 8.5x fewer parameters than the previous works that learn from videos. We present extensive experiments on KITTI and CityScapes that show the effectiveness of our method.