arXiv reaDer
SemHint-MD: 自己教師あり単眼深度推定のためのノイズの多いセマンティック ラベルからの学習
SemHint-MD: Learning from Noisy Semantic Labels for Self-Supervised Monocular Depth Estimation
グラウンド トゥルースの監視がないと、測光損失の勾配局所性の問題により、自己監視深度推定が局所的最小値に閉じ込められる可能性があります。このホワイト ペーパーでは、セマンティック セグメンテーションを活用して、ネットワークがローカル ミニマムから飛び出すように誘導することにより、深さを強化するフレームワークを提示します。以前の研究では、これら 2 つのタスク間でエンコーダーを共有するか、深度マップとセグメンテーション マップのエッジ間の一貫性などの事前情報に基づいてエンコーダーを明示的に調整することが提案されていました。しかし、これらの方法は通常、グラウンド トゥルースまたは高品質の疑似ラベルを必要とし、実際のアプリケーションでは簡単にアクセスできない場合があります。対照的に、限られたデータで事前にトレーニングされたモデルによって提供されるノイズの多いラベルで監視されるセグメンテーション ブランチと共に、自己教師付き深度推定を調査します。パラメーター共有をエンコーダーからデコーダーに拡張し、異なる数の共有デコーダー パラメーターがモデルのパフォーマンスに与える影響を調べます。また、クロスタスク情報を使用して現在の深度とセグメンテーションの予測を改良し、トレーニング用の疑似深度とセマンティック ラベルを生成することを提案します。提案された方法の利点は、KITTI ベンチマークに関する大規模な実験と、内視鏡による組織の変形を追跡するための下流のタスクを通じて実証されています。
Without ground truth supervision, self-supervised depth estimation can be trapped in a local minimum due to the gradient-locality issue of the photometric loss. In this paper, we present a framework to enhance depth by leveraging semantic segmentation to guide the network to jump out of the local minimum. Prior works have proposed to share encoders between these two tasks or explicitly align them based on priors like the consistency between edges in the depth and segmentation maps. Yet, these methods usually require ground truth or high-quality pseudo labels, which may not be easily accessible in real-world applications. In contrast, we investigate self-supervised depth estimation along with a segmentation branch that is supervised with noisy labels provided by models pre-trained with limited data. We extend parameter sharing from the encoder to the decoder and study the influence of different numbers of shared decoder parameters on model performance. Also, we propose to use cross-task information to refine current depth and segmentation predictions to generate pseudo-depth and semantic labels for training. The advantages of the proposed method are demonstrated through extensive experiments on the KITTI benchmark and a downstream task for endoscopic tissue deformation tracking.
updated: Fri Mar 31 2023 17:20:27 GMT+0000 (UTC)
published: Fri Mar 31 2023 17:20:27 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト