食事や執筆などの多くの基本的な屋内活動は、常にさまざまなテーブルトップ(コーヒーテーブル、ライティングデスクなど)で行われます。 3D屋内シーン解析アプリケーションで卓上シーンを理解することは不可欠です。残念ながら、現在のデータセットでは3D卓上シーンがほとんど利用できないため、データ駆動型アルゴリズムを直接展開してこの需要を満たすことは困難です。この欠陥を修正するために、3つのバリエーションを持つ20,740のシーンを含む、卓上シーンに焦点を当てた大規模なデータセットであるTO-Sceneを紹介します。データを取得するために、効率的でスケーラブルなフレームワークを設計します。クラウドソーシングUIを開発して、ScanNetからテーブルにCADオブジェクトを転送します。次に、出力された卓上シーンが実際のスキャンにシミュレートされ、自動的に注釈が付けられます。さらに、小さなサイズの卓上インスタンスをよりよく知覚するために、卓上を意識した学習戦略を提案します。特に、TO-Sceneの実用的な価値を検証するために、実際にスキャンされたテストセットTO-Realも提供しています。実験によると、TO-Sceneでトレーニングされたアルゴリズムは実際に現実的なテストデータで機能し、提案された卓上対応の学習戦略は、3Dセマンティックセグメンテーションとオブジェクト検出タスクの両方で最先端の結果を大幅に改善します。 TO-SceneとTO-Real、およびWeb UIは、すべて公開されます。
Many basic indoor activities such as eating or writing are always conducted upon different tabletops (e.g., coffee tables, writing desks). It is indispensable to understanding tabletop scenes in 3D indoor scene parsing applications. Unfortunately, it is hard to meet this demand by directly deploying data-driven algorithms, since 3D tabletop scenes are rarely available in current datasets. To remedy this defect, we introduce TO-Scene, a large-scale dataset focusing on tabletop scenes, which contains 20,740 scenes with three variants. To acquire the data, we design an efficient and scalable framework, where a crowdsourcing UI is developed to transfer CAD objects onto tables from ScanNet. Then the output tabletop scenes are simulated into real scans and annotated automatically. Further, we propose a tabletop-aware learning strategy for better perceiving the small-sized tabletop instances. Notably, we also provide a real scanned test set TO-Real to verify the practical value of TO-Scene. Experiments show that the algorithms trained on TO-Scene indeed work on the realistic test data, and our proposed tabletop-aware learning strategy greatly improves the state-of-the-art results on both 3D semantic segmentation and object detection tasks. TO-Scene and TO-Real, plus Web UI, will all be publicly available.