単一画像の3D写真により、視聴者は新しい視点から静止画像を見ることができます。最近のアプローチは、単眼深度ネットワークと修復ネットワークを組み合わせて、説得力のある結果を達成しています。これらの手法の欠点は、ハードデプスレイヤリングを使用しているため、細い髪のような構造などの複雑な外観の詳細をモデル化できないことです。 SLIDEは、単一画像3D写真用のモジュール式の統合システムであり、シンプルでありながら効果的なソフトレイヤー戦略を使用して、斬新なビューで外観の詳細をより適切に保持します。さらに、3D写真撮影タスクにより適した、修復モジュールの新しい深度認識トレーニング戦略を提案します。結果として得られるSLIDEアプローチはモジュール式であり、セグメンテーションやマットなどの他のコンポーネントを使用して、レイヤリングを改善できます。同時に、SLIDEは、高品質の3D写真を生成するために、コンポーネントネットワークを1回だけフォワードパスする必要がある効率的なレイヤードデプス定式化を使用します。 3つのビュー合成データセットの広範な実験的分析は、野生の画像コレクションに関するユーザーの研究と組み合わせて、概念的にはるかに単純でありながら、既存の強力なベースラインと比較して、私たちの技術の優れたパフォーマンスを示しています。プロジェクトページ:https://varunjampani.github.io/slide
Single image 3D photography enables viewers to view a still image from novel viewpoints. Recent approaches combine monocular depth networks with inpainting networks to achieve compelling results. A drawback of these techniques is the use of hard depth layering, making them unable to model intricate appearance details such as thin hair-like structures. We present SLIDE, a modular and unified system for single image 3D photography that uses a simple yet effective soft layering strategy to better preserve appearance details in novel views. In addition, we propose a novel depth-aware training strategy for our inpainting module, better suited for the 3D photography task. The resulting SLIDE approach is modular, enabling the use of other components such as segmentation and matting for improved layering. At the same time, SLIDE uses an efficient layered depth formulation that only requires a single forward pass through the component networks to produce high quality 3D photos. Extensive experimental analysis on three view-synthesis datasets, in combination with user studies on in-the-wild image collections, demonstrate superior performance of our technique in comparison to existing strong baselines while being conceptually much simpler. Project page: https://varunjampani.github.io/slide