arXiv reaDer
Mocycle-GAN:対になっていないビデオからビデオへの変換
Mocycle-GAN: Unpaired Video-to-Video Translation
  教師なしの画像から画像への変換は、ペアのトレーニング例がない場合に、あるドメインから別のドメインに画像を変換するタスクであり、実際のアプリケーションにより適用される傾向があります。それにもかかわらず、画像から画像へのそのような合成の拡張は、特にビデオの時空間構造をキャプチャする場合は簡単ではありません。難しさは、各フレームの視覚的外観だけでなく、連続するフレーム間の動きもリアルであり、変換全体で一貫している必要があるという側面から生じています。これにより、ビデオ合成における外観構造と時間的連続性の両方を調査することができます。このペーパーでは、Mocycle-GANと呼ばれる新しいモーションガイドサイクルGANを紹介します。これは、モーション推定をペアになっていないビデオトランスレーターに新規に統合します。技術的には、Mocycle-GANは3つのタイプの制約を活用しています:合成フレームと実フレームを区別する敵対的制約、フレームとモーションの両方で逆変換を促進するサイクル一貫性、および連続フレーム間のモーションの転送を検証するモーション変換。ビデオからラベルへ、およびラベルからビデオへの翻訳について広範な実験が行われ、最先端の方法と比較した場合に優れた結果が報告されています。さらに注目すべきは、花から花への移行と周囲条件の移行の両方に対してMocycle-GANを定性的に実証することです。
Unsupervised image-to-image translation is the task of translating an image from one domain to another in the absence of any paired training examples and tends to be more applicable to practical applications. Nevertheless, the extension of such synthesis from image-to-image to video-to-video is not trivial especially when capturing spatio-temporal structures in videos. The difficulty originates from the aspect that not only the visual appearance in each frame but also motion between consecutive frames should be realistic and consistent across transformation. This motivates us to explore both appearance structure and temporal continuity in video synthesis. In this paper, we present a new Motion-guided Cycle GAN, dubbed as Mocycle-GAN, that novelly integrates motion estimation into unpaired video translator. Technically, Mocycle-GAN capitalizes on three types of constrains: adversarial constraint discriminating between synthetic and real frame, cycle consistency encouraging an inverse translation on both frame and motion, and motion translation validating the transfer of motion between consecutive frames. Extensive experiments are conducted on video-to-labels and labels-to-video translation, and superior results are reported when comparing to state-of-the-art methods. More remarkably, we qualitatively demonstrate our Mocycle-GAN for both flower-to-flower and ambient condition transfer.
updated: Mon Aug 26 2019 07:51:17 GMT+0000 (UTC)
published: Mon Aug 26 2019 07:51:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト