arXiv reaDer
3D Scene Graph: A Structure for Unified Semantics, 3D Space, and Camera
  シーンの包括的なセマンティックな理解は多くのアプリケーションにとって重要です-しかし、どの空間で多様なセマンティック情報(オブジェクト、シーンカテゴリ、マテリアルタイプ、テクスチャなど)を接地し、その構造をどのようにすべきか?さまざまな種類のセマンティクスをホストする1つの統一された構造を目指して、3Dのシーングラフパラダイムに従って、3Dシーングラフを生成します。 3Dメッシュと登録されたパノラマ画像が与えられると、建物全体にまたがるグラフを構築し、オブジェクト(クラス、マテリアル、その他の属性など)、部屋(シーンカテゴリ、ボリュームなど)、カメラ( (場所など)、およびこれらのエンティティ間の関係。ただし、このプロセスは手動で行うと手間がかかります。これを軽減するために、既存の検出方法を採用し、2つの主な制約を使用してそれらを強化する半自動フレームワークを考案します。I。2D検出器のパフォーマンスを最大化するパノラマでサンプリングされたクエリ画像のフレーミング、およびII。異なるカメラ位置で発生する2D検出にわたるマルチビュー一貫性の強制。
A comprehensive semantic understanding of a scene is important for many applications - but in what space should diverse semantic information (e.g., objects, scene categories, material types, texture, etc.) be grounded and what should be its structure? Aspiring to have one unified structure that hosts diverse types of semantics, we follow the Scene Graph paradigm in 3D, generating a 3D Scene Graph. Given a 3D mesh and registered panoramic images, we construct a graph that spans the entire building and includes semantics on objects (e.g., class, material, and other attributes), rooms (e.g., scene category, volume, etc.) and cameras (e.g., location, etc.), as well as the relationships among these entities. However, this process is prohibitively labor heavy if done manually. To alleviate this we devise a semi-automatic framework that employs existing detection methods and enhances them using two main constraints: I. framing of query images sampled on panoramas to maximize the performance of 2D detectors, and II. multi-view consistency enforcement across 2D detections that originate in different camera locations.
updated: Sun Oct 06 2019 21:13:02 GMT+0000 (UTC)
published: Sun Oct 06 2019 21:13:02 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト