arXiv reaDer
An Adaptive Framework for Learning Unsupervised Depth Completion
カラー画像と関連するまばらな深度測定値から密な深度マップを推測する方法を示します。私たちの主な貢献は、共可視性 (オクルージョン、ディスオクルージョン) とモデルに課す正則化の程度を決定するためのアニーリング プロセスの設計にあります。正則化と共同可視性は、モデルのデータへの適合度 (残差) を介して関連しており、両方を単一のフレームワークに統合して学習プロセスを改善できることを示します。私たちの方法は、(i) ソフトな可視性マスクを推定し、(ii) 正則化の量を決定するために、各トレーニング ステップにわたって各ピクセル位置で残差を測定することによって最適化を導く適応重み付けスキームです。追加のトレーニング可能なパラメーターを発生させたり、推論時間を増加させたりすることなく、最近のいくつかの教師なし深度補完メソッドに適用し、パブリック ベンチマーク データセットでのパフォーマンスを改善することで、このメソッドの有効性を実証します。コードは で入手できます。
We present a method to infer a dense depth map from a color image and associated sparse depth measurements. Our main contribution lies in the design of an annealing process for determining co-visibility (occlusions, disocclusions) and the degree of regularization to impose on the model. We show that regularization and co-visibility are related via the fitness (residual) of model to data and both can be unified into a single framework to improve the learning process. Our method is an adaptive weighting scheme that guides optimization by measuring the residual at each pixel location over each training step for (i) estimating a soft visibility mask and (ii) determining the amount of regularization. We demonstrate the effectiveness our method by applying it to several recent unsupervised depth completion methods and improving their performance on public benchmark datasets, without incurring additional trainable parameters or increase in inference time. Code available at:
updated: Sun Jun 06 2021 02:27:55 GMT+0000 (UTC)
published: Sun Jun 06 2021 02:27:55 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト