arXiv reaDer
統一された暗黙のニューラルスタイル
Unified Implicit Neural Stylization
暗黙の表現(例えば、座標ベースの深いネットワーク)による視覚信号の表現は、多くの視覚課題の中で普及している。この作業では、さまざまな2Dおよび3Dシナリオに適用できる一般化されたアプローチを使用して、定型化された暗黙の表現をトレーニングするという、新しい興味深い方向性を探ります。 2D座標ベースの表現、神経放射輝度フィールド、符号付き距離関数など、さまざまな陰関数に関するパイロット研究を実施します。私たちのソリューションは、INSと呼ばれるUnified ImplicitNeuralStylizationフレームワークです。バニラ陰的表現とは対照的に、INSは、表現をスタイル画像および入力シーンから個別にエンコードするために、通常の陰関数をスタイル陰的モジュールとコンテンツ陰的モジュールに分離します。次に、統合モジュールを適用して、これらの情報を集約し、定型化された出力を合成します。 3Dシーンのジオメトリを正規化するために、定型化されたシーンのジオメトリの忠実度を維持する、新しい自己蒸留ジオメトリの一貫性の損失を提案します。複雑なシーンの新しいビュー合成、陰関数曲面のスタイル設定、MLPを使用した画像のフィッティングなど、複数のタスク設定で包括的な実験が行われます。さらに、学習した表現が空間的にだけでなくスタイル的にも連続的であり、異なるスタイル間を簡単に補間し、新しい混合スタイルの画像を生成できることを示します。ビュー合成の結果の詳細については、プロジェクトページのビデオを参照してください:https://zhiwenfan.github.io/INS。
Representing visual signals by implicit representation (e.g., a coordinate based deep network) has prevailed among many vision tasks. This work explores a new intriguing direction: training a stylized implicit representation, using a generalized approach that can apply to various 2D and 3D scenarios. We conduct a pilot study on a variety of implicit functions, including 2D coordinate-based representation, neural radiance field, and signed distance function. Our solution is a Unified Implicit Neural Stylization framework, dubbed INS. In contrary to vanilla implicit representation, INS decouples the ordinary implicit function into a style implicit module and a content implicit module, in order to separately encode the representations from the style image and input scenes. An amalgamation module is then applied to aggregate these information and synthesize the stylized output. To regularize the geometry in 3D scenes, we propose a novel self-distillation geometry consistency loss which preserves the geometry fidelity of the stylized scenes. Comprehensive experiments are conducted on multiple task settings, including novel view synthesis of complex scenes, stylization for implicit surfaces, and fitting images using MLPs. We further demonstrate that the learned representation is continuous not only spatially but also style-wise, leading to effortlessly interpolating between different styles and generating images with new mixed styles. Please refer to the video on our project page for more view synthesis results: https://zhiwenfan.github.io/INS.
updated: Sun Aug 21 2022 22:06:32 GMT+0000 (UTC)
published: Tue Apr 05 2022 02:37:39 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト