arXiv reaDer
Scene Recomposition by Learning-based ICP
 部屋の周りで深度センサーを動かすことにより、環境の3D CADモデルを計算し、部屋の形状と、椅子、机、ソファー、テーブルなどのコンテンツをキャプチャします。ジオメトリを再構築するのではなく、シーン内の各オブジェクトを何千ものオブジェクトのCADモデルに一致させ、配置し、位置合わせします。完全自動システムに加えて、主要な技術的貢献は、CADモデルを3Dスキャンに位置合わせするための、深層強化学習に基づく新しいアプローチです。学習ベースのICPと呼ばれるこのアプローチは、一致する最良のポイントを学習し、オブジェクトの視点で条件付けすることにより、これまでのICPメソッドよりも優れています。 LICPは、合成データのみを使用して位置合わせを学習し、オブジェクトポーズのグラウンドトゥルースアノテーションや実際のシーンスキャンでのキーポイントペアのマッチングを必要としません。 LICPは合成データでトレーニングされ、3Dの実際のシーンアノテーションはありませんが、実際のシーンで学習されたローカルのディープフィーチャマッチングとジオメトリベースの位置合わせ方法の両方より優れています。提案された方法は、SceneNNとScanNetの実際のシーンデータセット、およびSUNCGの合成シーンで評価されます。高品質の結果は、乱雑さ、視点、およびオクルージョンに対する堅牢性を備え、さまざまな実世界のシーンで示されます。
By moving a depth sensor around a room, we compute a 3D CAD model of the environment, capturing the room shape and contents such as chairs, desks, sofas, and tables. Rather than reconstructing geometry, we match, place, and align each object in the scene to thousands of CAD models of objects. In addition to the fully automatic system, the key technical contribution is a novel approach for aligning CAD models to 3D scans, based on deep reinforcement learning. This approach, which we call Learning-based ICP, outperforms prior ICP methods in the literature, by learning the best points to match and conditioning on object viewpoint. LICP learns to align using only synthetic data and does not require ground truth annotation of object pose or keypoint pair matching in real scene scans. While LICP is trained on synthetic data and without 3D real scene annotations, it outperforms both learned local deep feature matching and geometric based alignment methods in real scenes. The proposed method is evaluated on real scenes datasets of SceneNN and ScanNet as well as synthetic scenes of SUNCG. High quality results are demonstrated on a range of real world scenes, with robustness to clutter, viewpoint, and occlusion.
updated: Tue Apr 07 2020 08:09:26 GMT+0000 (UTC)
published: Thu Dec 13 2018 18:54:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト