arXiv reaDer
世界面:単一の画像からビューを合成するために世界を3Dシートでラップする
Worldsheet: Wrapping the World in a 3D Sheet for View Synthesis from a Single Image
入力として単一のRGB画像のみを使用する新しいビュー合成の方法であるWorldsheetを紹介します。主な洞察は、学習した中間深度と一致する平面メッシュシートを入力画像にシュリンクラップするだけで、大きな視点の変化を伴うフォトリアリスティックな見えないビューを生成するのに十分な基礎となるジオメトリをキャプチャすることです。これを操作可能にするために、ラップされたメッシュシートをターゲットの視点から画像にテクスチャリングおよびレンダリングできるようにする、新しい微分可能なテクスチャサンプラーを提案します。私たちのアプローチは、カテゴリにとらわれず、3D監視を使用せずにエンドツーエンドでトレーニング可能であり、テスト時に単一の画像を必要とします。また、オクルージョンをより適切に処理するために、ワールドシートの複数のレイヤーをスタックすることにより、単純な拡張を検討します。 Worldsheetは、複数のデータセットにわたる単一画像ビューの合成において、以前の最先端の方法を一貫して上回っています。さらに、このシンプルなアイデアは、さまざまな高解像度の野生の画像で驚くほどうまく斬新なビューをキャプチャし、ナビゲート可能な3Dポップアップに変換します。 https://worldsheet.github.ioのビデオ結果とコード。
We present Worldsheet, a method for novel view synthesis using just a single RGB image as input. The main insight is that simply shrink-wrapping a planar mesh sheet onto the input image, consistent with the learned intermediate depth, captures underlying geometry sufficient to generate photorealistic unseen views with large viewpoint changes. To operationalize this, we propose a novel differentiable texture sampler that allows our wrapped mesh sheet to be textured and rendered differentiably into an image from a target viewpoint. Our approach is category-agnostic, end-to-end trainable without using any 3D supervision, and requires a single image at test time. We also explore a simple extension by stacking multiple layers of Worldsheets to better handle occlusions. Worldsheet consistently outperforms prior state-of-the-art methods on single-image view synthesis across several datasets. Furthermore, this simple idea captures novel views surprisingly well on a wide range of high-resolution in-the-wild images, converting them into navigable 3D pop-ups. Video results and code at https://worldsheet.github.io.
updated: Sat Apr 17 2021 03:46:44 GMT+0000 (UTC)
published: Thu Dec 17 2020 18:59:52 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト