arXiv reaDer
Light Field Saliency Detection with Deep Convolutional Networks
 ライトフィールドイメージングは、入射光の方向を記録するため、RGBイメージングの魅力的な代替手段となります。ライトフィールド画像内の顕著な領域の検出は、角度パターンの追加モデリングの恩恵を受けます。 RGBイメージングの場合、CNNを使用した方法は、顕著性検出を含むさまざまなタスクで優れた結果を達成しています。ただし、ライトフィールド画像の顕著性検出にCNNベースの方法を使用することは簡単ではありません。これらの方法はライトフィールド入力を処理するために特に設計されていないためです。さらに、現在のライトフィールドデータセットは、CNNをトレーニングするのに十分な大きさではありません。これらの問題を克服するために、640個のライトフィールドと対応する地上真実顕著性マップを含む新しいLytro Illumデータセットを提示します。現在のライトフィールド顕著性データセット[1]、[2]と比較して、新しいデータセットは大きく、高品質で、バリエーションが多く、ライトフィールド入力の種類が多くなっています。これにより、データセットはより深いネットワークのトレーニングとベンチマークに適しています。さらに、ライトフィールドの顕著性検出のための新しいエンドツーエンドのCNNベースのフレームワークを提案します。具体的には、ライトフィールドマイクロレンズ画像を処理するための3つの新しいMAC(Model Angular Changes)ブロックを提案します。さまざまなアーキテクチャのバリエーションの影響を体系的に研究し、ライトフィールドの顕著性と通常の2D顕著性を比較します。広範な比較により、当社の新規ネットワークは、提案されたデータセットの最先端の方法よりも大幅に優れており、他の既存のデータセットでの一般化能力が望ましいことが示されています。
Light field imaging presents an attractive alternative to RGB imaging because of the recording of the direction of the incoming light. The detection of salient regions in a light field image benefits from the additional modeling of angular patterns. For RGB imaging, methods using CNNs have achieved excellent results on a range of tasks, including saliency detection. However, it is not trivial to use CNN-based methods for saliency detection on light field images because these methods are not specifically designed for processing light field inputs. In addition, current light field datasets are not sufficiently large to train CNNs. To overcome these issues, we present a new Lytro Illum dataset, which contains 640 light fields and their corresponding ground-truth saliency maps. Compared to current light field saliency datasets [1], [2], our new dataset is larger, of higher quality, contains more variation and more types of light field inputs. This makes our dataset suitable for training deeper networks and benchmarking. Furthermore, we propose a novel end-to-end CNN-based framework for light field saliency detection. Specifically, we propose three novel MAC (Model Angular Changes) blocks to process light field micro-lens images. We systematically study the impact of different architecture variants and compare light field saliency with regular 2D saliency. Our extensive comparisons indicate that our novel network significantly outperforms state-of-the-art methods on the proposed dataset and has desired generalization abilities on other existing datasets.
updated: Tue Oct 29 2019 09:17:08 GMT+0000 (UTC)
published: Wed Jun 19 2019 20:03:49 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト