この作業では、オブジェクトの背後にある大きな欠落領域を修復することを目的として、ステレオ整合性のある画像修復のためのエンドツーエンドのネットワークを提示します。提案されたモデルは、部分畳み込みを使用したエッジガイド付きUNetのようなネットワークで構成されています。視差損失を導入することにより、マルチビューステレオの一貫性を実現します。さらに重要なのは、より一般的なランダムマスクではなく、オブジェクトのオクルージョンを表す現実的なステレオマスクからモデルを学習するトレーニングスキームを開発することです。技術は監督された方法で訓練されます。私たちの評価は、以前の最先端技術と比較して競争力のある結果を示しています。
In this work, we present an end-to-end network for stereo-consistent image inpainting with the objective of inpainting large missing regions behind objects. The proposed model consists of an edge-guided UNet-like network using Partial Convolutions. We enforce multi-view stereo consistency by introducing a disparity loss. More importantly, we develop a training scheme where the model is learned from realistic stereo masks representing object occlusions, instead of the more common random masks. The technique is trained in a supervised way. Our evaluation shows competitive results compared to previous state-of-the-art techniques.