arXiv reaDer
アニメ キャラクター シートを使用した共同ニューラル レンダリング
Collaborative Neural Rendering using Anime Character Sheets
アニメ制作において、思い通りのポーズでキャラクターを描くことは、欠かすことのできない大変な作業です。アーティストの制作支援は、近年の研究のホット スポットです。このホワイト ペーパーでは、いくつかの参照画像 (AKA Character Sheets) から指定されたポーズの新しい画像を作成する Collaborative Neural Rendering (CoNR) メソッドを紹介します。一般に、アニメ キャラクターの多様なヘアスタイルと衣服は、ほとんどのヌードの人間の形に適合する SMPL のような普遍的なボディ モデルの採用に逆らっています。これを克服するために、CoNR はコンパクトで取得しやすいランドマーク エンコーディングを使用して、パイプラインで統合された UV マッピングを作成しないようにします。さらに、慎重に設計されたニューラル ネットワークの特徴空間クロスビュー ワーピングのおかげで、複数の参照画像を参照するときに CoNR のパフォーマンスを大幅に向上させることができます。さらに、この分野の研究を容易にするために、さまざまなポーズの 700,000 以上の手描きおよび合成画像を含むキャラクター シート データセットを収集しました。私たちのコードとデモは、https://github.com/megvii-research/IJCAI2023-CoNR で入手できます。
Drawing images of characters with desired poses is an essential but laborious task in anime production. Assisting artists to create is a research hotspot in recent years. In this paper, we present the Collaborative Neural Rendering (CoNR) method, which creates new images for specified poses from a few reference images (AKA Character Sheets). In general, the diverse hairstyles and garments of anime characters defies the employment of universal body models like SMPL, which fits in most nude human shapes. To overcome this, CoNR uses a compact and easy-to-obtain landmark encoding to avoid creating a unified UV mapping in the pipeline. In addition, the performance of CoNR can be significantly improved when referring to multiple reference images, thanks to feature space cross-view warping in a carefully designed neural network. Moreover, we have collected a character sheet dataset containing over 700,000 hand-drawn and synthesized images of diverse poses to facilitate research in this area. Our code and demo are available at https://github.com/megvii-research/IJCAI2023-CoNR.
updated: Mon Apr 10 2023 15:28:35 GMT+0000 (UTC)
published: Tue Jul 12 2022 08:21:35 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト