arXiv reaDer
ディープモーション転送による任意のオブジェクトのアニメーション化
Animating Arbitrary Objects via Deep Motion Transfer
  このペーパーでは、画像アニメーション用の新しいディープラーニングフレームワークを紹介します。ターゲットオブジェクトと移動オブジェクトを表す駆動ビデオシーケンスを含む入力画像が与えられると、フレームワークは、ターゲットオブジェクトが駆動シーケンスに従ってアニメーション化されるビデオを生成します。これは、外観と動きの情報を分離する深いアーキテクチャによって実現されます。フレームワークは、3つの主要なモジュールで構成されます:(i)オブジェクトキーポイントを抽出するために教師なしでトレーニングされたキーポイント検出器、(ii)モーション情報をより適切にエンコードするために、スパースキーポイントから高密度ヒートマップを生成するための高密度モーション予測ネットワーク、および(iii)モーション転送ネットワーク。入力画像から抽出されたモーションヒートマップと外観情報を使用して、出力フレームを合成します。さまざまなオブジェクトの外観にまたがるいくつかのベンチマークデータセットでの手法の有効性を実証し、この手法が最先端の画像アニメーションおよびビデオ生成手法よりも優れていることを示します。ソースコードは公開されています。
This paper introduces a novel deep learning framework for image animation. Given an input image with a target object and a driving video sequence depicting a moving object, our framework generates a video in which the target object is animated according to the driving sequence. This is achieved through a deep architecture that decouples appearance and motion information. Our framework consists of three main modules: (i) a Keypoint Detector unsupervisely trained to extract object keypoints, (ii) a Dense Motion prediction network for generating dense heatmaps from sparse keypoints, in order to better encode motion information and (iii) a Motion Transfer Network, which uses the motion heatmaps and appearance information extracted from the input image to synthesize the output frames. We demonstrate the effectiveness of our method on several benchmark datasets, spanning a wide variety of object appearances, and show that our approach outperforms state-of-the-art image animation and video generation methods. Our source code is publicly available.
updated: Fri Aug 30 2019 23:48:13 GMT+0000 (UTC)
published: Thu Dec 20 2018 21:45:56 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト