arXiv reaDer
オクルージョン対応のビデオオブジェクトの修復
Occlusion-Aware Video Object Inpainting
従来のビデオインペインティングは、オブジェクト指向でもオクルージョン認識でもないため、大きなオクルージョンされたオブジェクト領域がインペインティングされると、明らかなアーティファクトが発生しやすくなります。このペーパーでは、オクルージョンを意識したビデオオブジェクトの修復について説明します。これにより、マスクのセグメンテーションが表示された場合に、ビデオ内のオクルージョンされたオブジェクトの完全な形状と外観の両方が復元されます。この新しい研究を促進するために、私たちは最初の大規模なビデオオブジェクト修復ベンチマークYouTube-VOIを構築し、閉塞オブジェクトマスクと可視オブジェクトマスクの両方を使用できる現実的な閉塞シナリオを提供します。私たちの技術的貢献であるVOINは、ビデオオブジェクトの形状の完成とオクルージョンされたテクスチャの生成を共同で実行します。特に、形状補完モジュールは長距離オブジェクトのコヒーレンスをモデル化し、フロー補完モジュールは鋭いモーション境界で正確なフローを回復して、フレーム間で同じ移動オブジェクトに時間的に一貫したテクスチャを伝播します。より現実的な結果を得るために、VOINは、T-PatchGANと新しい時空間注意ベースのマルチクラス弁別器の両方を使用して最適化されています。最後に、VOINとYouTube-VOIの強力なベースラインを比較します。実験結果は、複雑で動的なオブジェクトの修復を含む、私たちの方法の有効性を明確に示しています。 VOINは、不正確な入力可視マスクで正常に劣化します。
Conventional video inpainting is neither object-oriented nor occlusion-aware, making it liable to obvious artifacts when large occluded object regions are inpainted. This paper presents occlusion-aware video object inpainting, which recovers both the complete shape and appearance for occluded objects in videos given their visible mask segmentation. To facilitate this new research, we construct the first large-scale video object inpainting benchmark YouTube-VOI to provide realistic occlusion scenarios with both occluded and visible object masks available. Our technical contribution VOIN jointly performs video object shape completion and occluded texture generation. In particular, the shape completion module models long-range object coherence while the flow completion module recovers accurate flow with sharp motion boundary, for propagating temporally-consistent texture to the same moving object across frames. For more realistic results, VOIN is optimized using both T-PatchGAN and a new spatio-temporal attention-based multi-class discriminator. Finally, we compare VOIN and strong baselines on YouTube-VOI. Experimental results clearly demonstrate the efficacy of our method including inpainting complex and dynamic objects. VOIN degrades gracefully with inaccurate input visible mask.
updated: Sun Aug 15 2021 15:46:57 GMT+0000 (UTC)
published: Sun Aug 15 2021 15:46:57 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト