arXiv reaDer
インスタント ニューラル ラディアンス フィールドの様式化
Instant Neural Radiance Fields Stylization
インスタント ニューラル ラディアンス フィールド スタイライゼーション (3D シーンのマルチビュー イメージ スタイライゼーションの新しいアプローチ) を紹介します。私たちのアプローチは、ニューラル グラフィックス プリミティブに基づいてニューラル ラディアンス フィールドをモデル化します。これは、位置の埋め込みにハッシュ テーブル ベースの位置エンコーダーを使用します。位置エンコーダーをコンテンツ サブブランチとスタイル サブブランチの 2 つの部分に分割し、コンテンツ ターゲットとスタイル ターゲットを使用して通常の新しいビュー画像合成用にネットワークをトレーニングします。推論段階では、コンテンツとスタイルのボクセル グリッド機能を参照として、位置エンコーダーの出力機能に対して AdaIN を実行します。調整された機能により、新しいビュー画像の様式化が得られました。私たちの方法は、スタイル ターゲットをスタイル イメージからシーンのイメージ セットに拡張し、スタイル設定のための追加のネットワーク トレーニングを必要としません。 3D シーンの画像セットとスタイル ターゲット (スタイル画像または別の 3D シーンのセット) が与えられると、最新の GPU ハードウェアで 10 分以内に、さまざまなビュー角度で一貫した外観を持つ様式化された新しいビューを生成できます。広範な実験結果は、私たちの方法の有効性と優位性を示しています。
We present Instant Neural Radiance Fields Stylization, a novel approach for multi-view image stylization for the 3D scene. Our approach models a neural radiance field based on neural graphics primitives, which use a hash table-based position encoder for position embedding. We split the position encoder into two parts, the content and style sub-branches, and train the network for normal novel view image synthesis with the content and style targets. In the inference stage, we execute AdaIN to the output features of the position encoder, with content and style voxel grid features as reference. With the adjusted features, the stylization of novel view images could be obtained. Our method extends the style target from style images to image sets of scenes and does not require additional network training for stylization. Given a set of images of 3D scenes and a style target(a style image or another set of 3D scenes), our method can generate stylized novel views with a consistent appearance at various view angles in less than 10 minutes on modern GPU hardware. Extensive experimental results demonstrate the validity and superiority of our method.
updated: Wed Mar 29 2023 17:53:20 GMT+0000 (UTC)
published: Wed Mar 29 2023 17:53:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト