arXiv reaDer
Internal Video Inpainting by Implicit Long-range Propagation
内部学習戦略を採用することにより、ビデオ修復のための新しいフレームワークを提案します。クロスフレームコンテキスト伝播にオプティカルフローを使用して未知の領域を修復する以前の方法とは異なり、畳み込みニューラルネットワークを既知の領域に適合させることでこれを暗黙的に実現できることを示します。さらに、あいまいな背景や長期的なオクルージョンを伴う困難なシーケンスを処理するために、2つの正則化項を設計して、高頻度の詳細と長期的な時間的一貫性を維持します。 DAVISデータセットでの広範な実験は、提案された方法が定量的および定性的に最先端の修復品質を達成することを示しています。さらに、提案された方法を別の困難なタスクに拡張します。4Kビデオの1つのフレームのみに単一のオブジェクトマスクを与えるビデオからオブジェクトを削除することを学習します。
We propose a novel framework for video inpainting by adopting an internal learning strategy. Unlike previous methods that use optical flow for cross-frame context propagation to inpaint unknown regions, we show that this can be achieved implicitly by fitting a convolutional neural network to the known region. Moreover, to handle challenging sequences with ambiguous backgrounds or long-term occlusion, we design two regularization terms to preserve high-frequency details and long-term temporal consistency. Extensive experiments on the DAVIS dataset demonstrate that the proposed method achieves state-of-the-art inpainting quality quantitatively and qualitatively. We further extend the proposed method to another challenging task: learning to remove an object from a video giving a single object mask in only one frame in a 4K video.
updated: Wed Aug 04 2021 08:56:28 GMT+0000 (UTC)
published: Wed Aug 04 2021 08:56:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト