条件付きの生成的敵対的ネットワーク(cGAN)に基づく画像変換への3Dポイントクラウドの最初のアプローチを示します。モデルは、異なるドメインからのマルチモーダル情報ソース、つまり生のポイントセットと画像を処理します。ジェネレーターは3つの条件を処理できますが、ポイントクラウドは生のポイントセットとカメラ投影としてエンコードされます。画像の背景パッチは、環境テクスチャリングにバイアスをかけるための制約として使用されます。ジェネレーター内のグローバル近似関数は、ポイントクラウド(Point-Net)に直接適用されます。したがって、代表的な学習モデルは、潜在的な特徴空間でグローバルな3D特性を直接取り入れます。条件は、生成された画像の背景と視点にバイアスをかけるために使用されます。これにより、完全に個別の画像の生成を目的とした3Dデータの拡張またはテクスチャリングの新しい方法が可能になります。 KittiおよびSunRGBDデータセットで、優れたオブジェクト検出開始スコアでメソッドを評価しました。
We present the first approach for 3D point-cloud to image translation based on conditional Generative Adversarial Networks (cGAN). The model handles multi-modal information sources from different domains, i.e. raw point-sets and images. The generator is capable of processing three conditions, whereas the point-cloud is encoded as raw point-set and camera projection. An image background patch is used as constraint to bias environmental texturing. A global approximation function within the generator is directly applied on the point-cloud (Point-Net). Hence, the representative learning model incorporates global 3D characteristics directly at the latent feature space. Conditions are used to bias the background and the viewpoint of the generated image. This opens up new ways in augmenting or texturing 3D data to aim the generation of fully individual images. We successfully evaluated our method on the Kitti and SunRGBD dataset with an outstanding object detection inception score.