ビデオの欠落している時空間領域を埋める問題を検討します。シーンに関連する画像の生成モデル(領域が欠落していない)と、シーンから画像へのマッピングを導入することにより、新しいフローベースのソリューションを提供します。モデルを使用して、シーンテンプレート、シーンの2D表現、およびマッピングを共同で推測します。これにより、基になるシーンに対して生成されるフレーム間のフローの一貫性が確保され、フローベースの修復における幾何学的歪みが減少します。テンプレートは、新しいL2-L1補間スキームによってビデオの欠落領域にマッピングされ、鮮明な修復を作成し、一般的なぼやけや歪みのアーティファクトを低減します。 2つのベンチマークデータセットで、私たちのアプローチが最先端の定量的およびユーザー調査よりも優れていることを示しています。
We consider the problem of filling in missing spatio-temporal regions of a video. We provide a novel flow-based solution by introducing a generative model of images in relation to the scene (without missing regions) and mappings from the scene to images. We use the model to jointly infer the scene template, a 2D representation of the scene, and the mappings. This ensures consistency of the frame-to-frame flows generated to the underlying scene, reducing geometric distortions in flow based inpainting. The template is mapped to the missing regions in the video by a new L2-L1 interpolation scheme, creating crisp inpaintings and reducing common blur and distortion artifacts. We show on two benchmark datasets that our approach out-performs state-of-the-art quantitatively and in user studies.