ポーズをとっていない単一の画像 (顔のポートレートなど) からフォトリアリスティックな 3D 表現をリアルタイムで推論してレンダリングするワンショット法を提示します。単一の RGB 入力が与えられると、イメージ エンコーダーは、ボリューム レンダリングによる 3D 対応の新しいビュー合成のために、ニューラル ラディアンス フィールドの正規のトライプレーン表現を直接予測します。私たちの方法は、消費者向けハードウェアで高速 (24 fps) であり、テスト時間の最適化を必要とする強力な GAN 反転ベースラインよりも高品質の結果を生成します。トライプレーン エンコーダー パイプラインをトレーニングするために、合成データのみを使用して、事前トレーニング済みの 3D GAN からフィードフォワード エンコーダーに知識を抽出する方法を示します。技術的な貢献には、Vision Transformer ベースのトライプレーン エンコーダー、カメラ データ拡張戦略、および合成データ トレーニング用の適切に設計された損失関数が含まれます。最先端の方法に対してベンチマークを行い、困難な現実世界の設定で堅牢性と画質が大幅に改善されていることを示しています。顔のポートレート (FFHQ) と猫 (AFHQ) の結果を紹介しますが、将来的には、3D 対応の画像ジェネレーターを使用して、他のカテゴリにもアルゴリズムを適用できます。
We present a one-shot method to infer and render a photorealistic 3D representation from a single unposed image (e.g., face portrait) in real-time. Given a single RGB input, our image encoder directly predicts a canonical triplane representation of a neural radiance field for 3D-aware novel view synthesis via volume rendering. Our method is fast (24 fps) on consumer hardware, and produces higher quality results than strong GAN-inversion baselines that require test-time optimization. To train our triplane encoder pipeline, we use only synthetic data, showing how to distill the knowledge from a pretrained 3D GAN into a feedforward encoder. Technical contributions include a Vision Transformer-based triplane encoder, a camera data augmentation strategy, and a well-designed loss function for synthetic data training. We benchmark against the state-of-the-art methods, demonstrating significant improvements in robustness and image quality in challenging real-world settings. We showcase our results on portraits of faces (FFHQ) and cats (AFHQ), but our algorithm can also be applied in the future to other categories with a 3D-aware image generator.