arXiv reaDer
Anything-3D: シングルビューの Anything Reconstruction in the Wild に向けて
Anything-3D: Towards Single-view Anything Reconstruction in the Wild
制約のない現実世界のシナリオでの単一 RGB イメージからの 3D 再構成は、オブジェクトと環境に固有の多様性と複雑さのために、多くの課題を提示します。このホワイト ペーパーでは、一連の視覚言語モデルとセグメント エニシング オブジェクト セグメンテーション モデルを巧みに組み合わせてオブジェクトを 3D に昇格させる方法論的フレームワークであるエニシング 3D を紹介し、単一ビュー条件付き 3D 再構成のための信頼性が高く用途の広いシステムを生み出します。タスク。私たちのアプローチでは、BLIP モデルを使用してテクスチャの説明を生成し、Segment-Anything モデルを利用して関心のあるオブジェクトを効果的に抽出し、テキストから画像への拡散モデルを活用してオブジェクトを神経放射場に持ち上げます。 Anything-3D\footnotemark[2] は、さまざまなオブジェクトに対して正確で詳細な 3D 再構成を生成する能力を実証しており、既存の方法論の限界に対処する上で有望です。さまざまなデータセットでの包括的な実験と評価を通じて、アプローチのメリットを紹介し、3D 再構築の分野に有意義に貢献する可能性を強調します。デモとコードは、https://github.com/Anything-of-anything/Anything-3Dhttps://github.com/Anything-of-anything/Anything-3D で入手できます。
3D reconstruction from a single-RGB image in unconstrained real-world scenarios presents numerous challenges due to the inherent diversity and complexity of objects and environments. In this paper, we introduce Anything-3D, a methodical framework that ingeniously combines a series of visual-language models and the Segment-Anything object segmentation model to elevate objects to 3D, yielding a reliable and versatile system for single-view conditioned 3D reconstruction task. Our approach employs a BLIP model to generate textural descriptions, utilizes the Segment-Anything model for the effective extraction of objects of interest, and leverages a text-to-image diffusion model to lift object into a neural radiance field. Demonstrating its ability to produce accurate and detailed 3D reconstructions for a wide array of objects, Anything-3D\footnotemark[2] shows promise in addressing the limitations of existing methodologies. Through comprehensive experiments and evaluations on various datasets, we showcase the merits of our approach, underscoring its potential to contribute meaningfully to the field of 3D reconstruction. Demos and code will be available at https://github.com/Anything-of-anything/Anything-3Dhttps://github.com/Anything-of-anything/Anything-3D.
updated: Wed Apr 19 2023 16:39:51 GMT+0000 (UTC)
published: Wed Apr 19 2023 16:39:51 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト