arXiv reaDer
グラフ生成敵対的ネットワークと微分可能レンダリングを使用したテクスチャ生成
Texture Generation Using Graph Generative Adversarial Network And Differentiable Rendering
既存の3Dメッシュモデルの新しいテクスチャ合成は、既存のシミュレータのフォトリアリスティックアセット生成に向けた重要なステップです。しかし、既存の方法は本質的に、特定のカメラの視点からの3D空間の投影である2D画像空間で機能します。これらの方法は、カメラアングル、3Dモデル情報、照明情報を取得し、フォトリアリスティックな2D画像を生成します。別の視点や照明からフォトリアリスティックな画像を生成するには、パラメータを変更するたびに、計算コストの高いフォワードパスを作成する必要があります。また、時間的制約を満たすことができるシミュレータ用のそのような画像を生成することは困難であり、画像のシーケンスは類似しているべきであるが、必要に応じて照明の視点を変更するだけでよい。このソリューションは、BlenderやUnrealEngineなどの既存のツールと直接統合することはできません。手動ソリューションは、費用と時間がかかります。そこで、BlenderやUnreal Engineなどのツールを使用して特定の3Dメッシュモデルに直接統合でき、あらゆる視点や照明条件から簡単にシミュレートできるテクスチャを生成できる、グラフ生成敵対的ネットワーク(GGAN)と呼ばれる新しいシステムを紹介します。
Novel texture synthesis for existing 3D mesh models is an important step towards photo realistic asset generation for existing simulators. But existing methods inherently work in the 2D image space which is the projection of the 3D space from a given camera perspective. These methods take camera angle, 3D model information, lighting information and generate photorealistic 2D image. To generate a photorealistic image from another perspective or lighting, we need to make a computationally expensive forward pass each time we change the parameters. Also, it is hard to generate such images for a simulator that can satisfy the temporal constraints the sequences of images should be similar but only need to change the viewpoint of lighting as desired. The solution can not be directly integrated with existing tools like Blender and Unreal Engine. Manual solution is expensive and time consuming. We thus present a new system called a graph generative adversarial network (GGAN) that can generate textures which can be directly integrated into a given 3D mesh models with tools like Blender and Unreal Engine and can be simulated from any perspective and lighting condition easily.
updated: Fri Jun 17 2022 04:56:03 GMT+0000 (UTC)
published: Fri Jun 17 2022 04:56:03 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト