画像アニメーションは、運転中のビデオの動きに続いてソース画像のビデオを生成します。最先端の自己監視画像アニメーションアプローチは、運転中のビデオの動きに応じてソース画像をワープし、修復することでワープアーティファクトを回復します。これらのアプローチは主に修復にバニラ畳み込みを使用し、バニラ畳み込みは有効なピクセルと無効なピクセルを区別しません。その結果、修復後も視覚的なアーティファクトが目立ちます。 CutMixは、画像のパッチをカットして混合する最先端の正則化戦略であり、さまざまなコンピュータービジョンタスクで広く研究されています。残りのコンピュータビジョンタスクの中で、ワープベースの画像アニメーションは、CutMixの効果がまだ研究されていない分野の1つです。この論文では、最初に、ワープベースの画像アニメーションに対するCutMixの効果に関する予備調査を紹介します。私たちの研究では、CutMixはピクセル値のみを改善するのに役立ちますが、ピクセル間の空間的関係を乱すことがわかりました。このような観察に基づいて、前景の上位kパーセントのオクルージョンピクセルを使用してワープベースの画像アニメーションを正規化する新しい拡張アプローチであるPriorityCutを提案します。ワープベースの画像アニメーションのドメイン知識を活用することにより、PriorityCutは、さまざまなデータセット上の最先端のワープベースの画像アニメーションモデルのワープアーティファクトを大幅に削減します。
Image animation generates a video of a source image following the motion of a driving video. State-of-the-art self-supervised image animation approaches warp the source image according to the motion of the driving video and recover the warping artifacts by inpainting. These approaches mostly use vanilla convolution for inpainting, and vanilla convolution does not distinguish between valid and invalid pixels. As a result, visual artifacts are still noticeable after inpainting. CutMix is a state-of-the-art regularization strategy that cuts and mixes patches of images and is widely studied in different computer vision tasks. Among the remaining computer vision tasks, warp-based image animation is one of the fields that the effects of CutMix have yet to be studied. This paper first presents a preliminary study on the effects of CutMix on warp-based image animation. We observed in our study that CutMix helps improve only pixel values, but disturbs the spatial relationships between pixels. Based on such observation, we propose PriorityCut, a novel augmentation approach that uses the top-k percent occluded pixels of the foreground to regularize warp-based image animation. By leveraging the domain knowledge in warp-based image animation, PriorityCut significantly reduces the warping artifacts in state-of-the-art warp-based image animation models on diverse datasets.