arXiv reaDer
Unsupervised Discovery of Object Radiance Fields
単一の画像からオブジェクト中心のシーン表現を推測する問題を研究し、画像形成プロセスを説明し、シーンの3Dの性質をキャプチャし、監視なしで学習する表現を導出することを目的としています。複雑な3Dから2Dへの画像形成プロセスをディープネットワークのような強力な推論スキームに統合する際の基本的な課題のため、シーン分解に関する既存の方法のほとんどは、これらの特性の1つ以上を欠いています。この論文では、教師なし3Dシーン分解のためのニューラル3Dシーン表現とレンダリングの最近の進歩を統合し、オブジェクト放射輝度フィールド(uORF)の教師なし発見を提案します。注釈なしのマルチビューRGB画像でトレーニングされたuORFは、単一の画像から多様なテクスチャ背景を持つ複雑なシーンを分解することを学習します。 uORFが、教師なし3Dシーンのセグメンテーション、新しいビューの合成、および3つのデータセットでのシーン編集でうまく機能することを示します。
We study the problem of inferring an object-centric scene representation from a single image, aiming to derive a representation that explains the image formation process, captures the scene's 3D nature, and is learned without supervision. Most existing methods on scene decomposition lack one or more of these characteristics, due to the fundamental challenge in integrating the complex 3D-to-2D image formation process into powerful inference schemes like deep networks. In this paper, we propose unsupervised discovery of Object Radiance Fields (uORF), integrating recent progresses in neural 3D scene representations and rendering with deep inference networks for unsupervised 3D scene decomposition. Trained on multi-view RGB images without annotations, uORF learns to decompose complex scenes with diverse, textured background from a single image. We show that uORF performs well on unsupervised 3D scene segmentation, novel view synthesis, and scene editing on three datasets.
updated: Fri Jul 16 2021 13:53:36 GMT+0000 (UTC)
published: Fri Jul 16 2021 13:53:36 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト