arXiv reaDer
AgileAvatar: カスケード ドメイン ブリッジングによる様式化された 3D アバターの作成
AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging
定型化された 3D アバターは、現代の生活の中でますます重要になっています。これらのアバターを手動で作成するには、通常、面倒な選択と連続および離散パラメーターの調整が必要であり、平均的なユーザーにとっては時間がかかります。ユーザーのセルフィーから 3D アバターを自動的に作成する自己管理型のアプローチは、アノテーション コストをほとんどかけずに高品質を約束しますが、スタイル ドメインのギャップが大きいため、様式化されたアバターへの適用には不十分です。連続パラメーターと離散パラメーターを組み合わせた高品質の定型化された 3D アバターを作成するための、新しい自己教師あり学習フレームワークを提案します。当社のカスケード ドメイン ブリッジング フレームワークは、最初に修正されたポートレート スタイル化アプローチを活用して、入力セルフィーを、目的の 3D アバターのターゲットとしてスタイル化されたアバター レンダリングに変換します。次に、アバターのグラフィック エンジンを模倣するように訓練した微分可能な模倣者を通じて、様式化されたアバターのレンダリングに一致するアバターの最適なパラメーターを見つけます。離散パラメーターを効果的に最適化できるようにするために、カスケードされた緩和と検索のパイプラインを採用しています。人間の嗜好調査を使用して、以前の作業や手動作成と比較して、この方法がユーザー ID をどの程度保持しているかを評価します。私たちの結果は、以前の研究よりもはるかに高い選好スコアを達成し、マニュアル作成の選好スコアに近いものです。また、パイプラインの設計選択を正当化するためのアブレーション研究も提供しています。
Stylized 3D avatars have become increasingly prominent in our modern life. Creating these avatars manually usually involves laborious selection and adjustment of continuous and discrete parameters and is time-consuming for average users. Self-supervised approaches to automatically create 3D avatars from user selfies promise high quality with little annotation cost but fall short in application to stylized avatars due to a large style domain gap. We propose a novel self-supervised learning framework to create high-quality stylized 3D avatars with a mix of continuous and discrete parameters. Our cascaded domain bridging framework first leverages a modified portrait stylization approach to translate input selfies into stylized avatar renderings as the targets for desired 3D avatars. Next, we find the best parameters of the avatars to match the stylized avatar renderings through a differentiable imitator we train to mimic the avatar graphics engine. To ensure we can effectively optimize the discrete parameters, we adopt a cascaded relaxation-and-search pipeline. We use a human preference study to evaluate how well our method preserves user identity compared to previous work as well as manual creation. Our results achieve much higher preference scores than previous work and close to those of manual creation. We also provide an ablation study to justify the design choices in our pipeline.
updated: Tue Nov 15 2022 00:43:45 GMT+0000 (UTC)
published: Tue Nov 15 2022 00:43:45 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト