arXiv reaDer
Mesh R-CNN
 2D知覚の急速な進歩により、実世界の画像内のオブジェクトを正確に検出するシステムが実現しました。ただし、これらのシステムは2Dで予測を行い、世界の3D構造を無視します。同時に、3D形状予測の進歩は、主に合成ベンチマークと孤立したオブジェクトに焦点を合わせてきました。これら2つの分野の進歩を統合します。実世界の画像でオブジェクトを検出し、検出された各オブジェクトの完全な3D形状を与える三角形メッシュを生成するシステムを提案します。 Mesh R-CNNと呼ばれる私たちのシステムは、Mask R-CNNを、メッシュに変換し、メッシュの頂点で動作するグラフ畳み込みネットワークで洗練された粗いボクセル表現を最初に予測することにより、トポロジ構造が変化するメッシュを出力するメッシュ予測ブランチでMask R-CNNを強化しますエッジ。 ShapeNetでメッシュ予測ブランチを検証し、単一画像の形状予測に関する以前の作業をしのいでいます。次に、完全なMesh R-CNNシステムをPix3Dに展開します。ここで、オブジェクトを共同で検出し、その3D形状を予測します。
Rapid advances in 2D perception have led to systems that accurately detect objects in real-world images. However, these systems make predictions in 2D, ignoring the 3D structure of the world. Concurrently, advances in 3D shape prediction have mostly focused on synthetic benchmarks and isolated objects. We unify advances in these two areas. We propose a system that detects objects in real-world images and produces a triangle mesh giving the full 3D shape of each detected object. Our system, called Mesh R-CNN, augments Mask R-CNN with a mesh prediction branch that outputs meshes with varying topological structure by first predicting coarse voxel representations which are converted to meshes and refined with a graph convolution network operating over the mesh's vertices and edges. We validate our mesh prediction branch on ShapeNet, where we outperform prior work on single-image shape prediction. We then deploy our full Mesh R-CNN system on Pix3D, where we jointly detect objects and predict their 3D shapes.
updated: Sat Jan 25 2020 21:56:36 GMT+0000 (UTC)
published: Thu Jun 06 2019 17:56:09 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト