教師付きマルチビュー ステレオ (MVS) 手法は、再構築の品質の点で目覚ましい進歩を遂げていますが、大規模なグラウンドトゥルース深度を収集するという課題に悩まされています。この論文では、主に自己教師付き教師トレーニングと蒸留ベースの学生トレーニングで構成される、KD-MVS と呼ばれる、知識蒸留に基づく MVS 用の新しい自己教師ありトレーニング パイプラインを提案します。具体的には、教師モデルは、フォトメトリックとフィーチャーメトリックの両方の一貫性を使用して、自己教師ありの方法でトレーニングされます。次に、確率的な知識の伝達を通じて、教師モデルの知識を生徒モデルに抽出します。検証された知識の監督により、生徒モデルは教師を大幅に上回る成績を収めることができます。複数のデータセットに対して行われた広範な実験により、私たちの方法が教師付き方法よりも優れたパフォーマンスを発揮できることが示されました。
Supervised multi-view stereo (MVS) methods have achieved remarkable progress in terms of reconstruction quality, but suffer from the challenge of collecting large-scale ground-truth depth. In this paper, we propose a novel self-supervised training pipeline for MVS based on knowledge distillation, termed KD-MVS, which mainly consists of self-supervised teacher training and distillation-based student training. Specifically, the teacher model is trained in a self-supervised fashion using both photometric and featuremetric consistency. Then we distill the knowledge of the teacher model to the student model through probabilistic knowledge transferring. With the supervision of validated knowledge, the student model is able to outperform its teacher by a large margin. Extensive experiments performed on multiple datasets show our method can even outperform supervised methods.