現実世界のオブジェクトの立体構造を推測することは、挑戦的でありながら実際的な作業です。ディープモデルにこの機能を装備するには、通常、取得が難しい豊富な3D監視が必要です。ペアワイズグラウンドトゥルースに簡単にアクセスできる合成データから簡単に利益を得ることができることは有望です。それにもかかわらず、ドメインのギャップは、バリアントのテクスチャ、形状、およびコンテキストを考慮すると重要です。これらの問題を克服するために、VPANと呼ばれるシングルビュー3D再構成用のVisio-Perceptual AdaptiveNetworkを提案します。モデルを実際のシナリオに向けて一般化するために、いくつかの側面を満たすことを提案します。(1)外観:単一のビューから空間構造を視覚的に組み込み、表現の表現力を高めます。 (2)キャスト:クロスモーダルセマンティックコントラストマッピングを使用して、2D画像の特徴を3D形状の事前分布に知覚的に位置合わせします。 (3)モールド:埋め込みを目的のマニホールドに変換することにより、ターゲットのステレオ形状を再構築します。いくつかのベンチマークでの広範な実験は、単一ビューを介して合成データから3D形状多様体を学習する際の提案された方法の有効性と堅牢性を示しています。提案された方法は、IoU0.292およびCD0.108を使用したPix3Dデータセットの最新技術を上回り、Pascal 3D +ではIoU0.329およびCD0.104に到達します。
Inferring the stereo structure of objects in the real world is a challenging yet practical task. To equip deep models with this ability usually requires abundant 3D supervision which is hard to acquire. It is promising that we can simply benefit from synthetic data, where pairwise ground-truth is easy to access. Nevertheless, the domain gaps are nontrivial considering the variant texture, shape and context. To overcome these difficulties, we propose a Visio-Perceptual Adaptive Network for single-view 3D reconstruction, dubbed VPAN. To generalize the model towards a real scenario, we propose to fulfill several aspects: (1) Look: visually incorporate spatial structure from the single view to enhance the expressiveness of representation; (2) Cast: perceptually align the 2D image features to the 3D shape priors with cross-modal semantic contrastive mapping; (3) Mold: reconstruct stereo-shape of target by transforming embeddings into the desired manifold. Extensive experiments on several benchmarks demonstrate the effectiveness and robustness of the proposed method in learning the 3D shape manifold from synthetic data via a single-view. The proposed method outperforms state-of-the-arts on Pix3D dataset with IoU 0.292 and CD 0.108, and reaches IoU 0.329 and CD 0.104 on Pascal 3D+.