arXiv reaDer
Rethinking RGB-D Salient Object Detection: Models, Data Sets, and Large-Scale Benchmarks
顕著なオブジェクトの検出のためのRGB-D情報の使用は、近年広範囲にわたって調査されています。ただし、RGBDを使用した実際の人間の活動シーンでの顕著なオブジェクトの検出のモデリングに向けられた取り組みは比較的わずかです。この作業では、RGB-D顕著オブジェクトの検出に次のように貢献することで、ギャップを埋めます。 (1)新しいSIP(salient person)データセットを慎重に収集します。これは、さまざまな視点、ポーズ、オクルージョン、イルミネーション、および背景からのさまざまな現実世界のシーンをカバーする〜1Kの高解像度画像で構成されます。 (2)私たちは大規模な(そしてこれまでのところ、最も包括的な)ベンチマークを実施します。これは、フィールドで長い間欠落しており、将来の研究のベースラインとして機能できる現代の方法を比較するものです。 32の人気のあるモデルを体系的に要約し、合計約97Kの画像を含む7つのデータセットで32のモデルの18の部分を評価します。 (3)私たちは、Deep Depth-Depurator Network(D3Net)と呼ばれる単純な一般的なアーキテクチャを提案します。これは、深度デピュレーターユニット(DDU)と3ストリーム機能学習モジュール(FLM)で構成され、それぞれ低品質の深度マップフィルタリングとクロスモーダル機能学習を実行します。これらのコンポーネントはネストされた構造を形成し、一緒に学習されるように精巧に設計されています。 D3Netは、検討中の5つのメトリックすべてで以前の競合他社のパフォーマンスを上回っており、この分野の研究を進める強力なモデルとして機能します。また、D3Netを使用して、実際のシーンから顕著なオブジェクトマスクを効率的に抽出できることを示し、単一のGPUで65fpsの速度で効果的な背景変更アプリケーションを実現します。すべての顕著性マップ、新しいSIPデータセット、D3Netモデル、および評価ツールは、で公開されています。
The use of RGB-D information for salient object detection has been extensively explored in recent years. However, relatively few efforts have been put towards modeling salient object detection in real-world human activity scenes with RGBD. In this work, we fill the gap by making the following contributions to RGB-D salient object detection. (1) We carefully collect a new SIP (salient person) dataset, which consists of ~1K high-resolution images that cover diverse real-world scenes from various viewpoints, poses, occlusions, illuminations, and backgrounds. (2) We conduct a large-scale (and, so far, the most comprehensive) benchmark comparing contemporary methods, which has long been missing in the field and can serve as a baseline for future research. We systematically summarize 32 popular models and evaluate 18 parts of 32 models on seven datasets containing a total of about 97K images. (3) We propose a simple general architecture, called Deep Depth-Depurator Network (D3Net). It consists of a depth depurator unit (DDU) and a three-stream feature learning module (FLM), which performs low-quality depth map filtering and cross-modal feature learning respectively. These components form a nested structure and are elaborately designed to be learned jointly. D3Net exceeds the performance of any prior contenders across all five metrics under consideration, thus serving as a strong model to advance research in this field. We also demonstrate that D3Net can be used to efficiently extract salient object masks from real scenes, enabling effective background changing application with a speed of 65fps on a single GPU. All the saliency maps, our new SIP dataset, the D3Net model, and the evaluation tools are publicly available at
updated: Sat Jul 11 2020 17:32:35 GMT+0000 (UTC)
published: Mon Jul 15 2019 22:43:20 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト