屋内シーンのメッシュ再構成にスタイル転送を適用します。これにより、お気に入りのアーティストのスタイルでペイントされた3D環境を体験するようなVRアプリケーションが可能になります。スタイル転送は通常2D画像で動作するため、メッシュのスタイル設定が困難になります。さまざまなポーズで最適化すると、スタイルのパターンが引き伸ばされ、サイズに一貫性がなくなります。一方、モデルベースの3Dスタイルの転送方法は、まばらな画像のセットからのスタイル化を可能にしますが、推論時にネットワークを必要とします。この目的のために、シーンの再構築されたメッシュの明示的なテクスチャを最適化し、利用可能なすべての入力画像から共同でスタイルを設定します。深度と角度を意識した最適化では、基礎となるメッシュの表面法線と深度データを活用して、シーン全体に均一で一貫性のあるスタイルを作成します。私たちの実験は、私たちの方法が、ビューに依存するアーティファクトのない完全なシーンに対してシャープで詳細な結果を作成することを示しています。広範なアブレーション研究を通じて、提案された3D認識により、スタイル転送をメッシュの3Dドメインに適用できることを示します。私たちの方法は、従来のレンダリングパイプラインを使用して、定型化されたメッシュをリアルタイムでレンダリングするために使用できます。
We apply style transfer on mesh reconstructions of indoor scenes. This enables VR applications like experiencing 3D environments painted in the style of a favorite artist. Style transfer typically operates on 2D images, making stylization of a mesh challenging. When optimized over a variety of poses, stylization patterns become stretched out and inconsistent in size. On the other hand, model-based 3D style transfer methods exist that allow stylization from a sparse set of images, but they require a network at inference time. To this end, we optimize an explicit texture for the reconstructed mesh of a scene and stylize it jointly from all available input images. Our depth- and angle-aware optimization leverages surface normal and depth data of the underlying mesh to create a uniform and consistent stylization for the whole scene. Our experiments show that our method creates sharp and detailed results for the complete scene without view-dependent artifacts. Through extensive ablation studies, we show that the proposed 3D awareness enables style transfer to be applied to the 3D domain of a mesh. Our method can be used to render a stylized mesh in real-time with traditional rendering pipelines.