arXiv reaDer
C2F-FWN:時空間一貫性のあるモーション転送のための粗から微細へのフローワーピングネットワーク
C2F-FWN: Coarse-to-Fine Flow Warping Network for Spatial-Temporal Consistent Motion Transfer
ヒューマンビデオモーショントランスファー(HVMT)は、ある人が他の人の行動を模倣するビデオを合成することを目的としています。既存のGANベースのHVMT手法は大きな成功を収めていますが、合成画像と例示的な画像の間の空間的一貫性が失われるために外観の詳細を保持できないか、ビデオフレーム間の時間的一貫性がないために一貫性のないビデオ結果を生成します。本論文では、時空間一貫性のあるHVMTのための粗密フローワーピングネットワーク(C2F-FWN)を提案する。特に、C2F-FWNは、粗いものから細かいものへのフローワーピングとレイアウト制約付き変形可能畳み込み(LC-DConv)を利用して空間の一貫性を向上させ、Flow Temporal Consistency(FTC)Lossを使用して時間の一貫性を高めます。さらに、マルチソースの外観入力を備えたC2F-FWNは、外観属性の編集を非常に柔軟かつ効率的にサポートできます。公開データセットに加えて、評価のためにSoloDanceという名前の大規模なHVMTデータセットも収集しました。 SoloDanceデータセットとiPERデータセットで実施された広範な実験は、私たちのアプローチが空間的および時間的一貫性の両方の点で最先端のHVMTメソッドよりも優れていることを示しています。ソースコードとSoloDanceデータセットは、https://github.com/wswdx/C2F-FWNで入手できます。
Human video motion transfer (HVMT) aims to synthesize videos that one person imitates other persons' actions. Although existing GAN-based HVMT methods have achieved great success, they either fail to preserve appearance details due to the loss of spatial consistency between synthesized and exemplary images, or generate incoherent video results due to the lack of temporal consistency among video frames. In this paper, we propose Coarse-to-Fine Flow Warping Network (C2F-FWN) for spatial-temporal consistent HVMT. Particularly, C2F-FWN utilizes coarse-to-fine flow warping and Layout-Constrained Deformable Convolution (LC-DConv) to improve spatial consistency, and employs Flow Temporal Consistency (FTC) Loss to enhance temporal consistency. In addition, provided with multi-source appearance inputs, C2F-FWN can support appearance attribute editing with great flexibility and efficiency. Besides public datasets, we also collected a large-scale HVMT dataset named SoloDance for evaluation. Extensive experiments conducted on our SoloDance dataset and the iPER dataset show that our approach outperforms state-of-art HVMT methods in terms of both spatial and temporal consistency. Source code and the SoloDance dataset are available at https://github.com/wswdx/C2F-FWN.
updated: Wed Dec 16 2020 14:11:13 GMT+0000 (UTC)
published: Wed Dec 16 2020 14:11:13 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト