arXiv reaDer
HERS Superpixels: Deep Affinity Learning for Hierarchical Entropy Rate Segmentation
スーパーピクセルは、多数のコンピュータービジョンタスクで強力な前処理ツールとして機能します。スーパーピクセル表現を使用することにより、画像プリミティブの数を桁違いに大幅に減らすことができます。近年の深層学習の台頭に伴い、深層学習された特徴/グラフを既存の古典的なスーパーピクセル技術にフィードしようとするいくつかの研究が行われています。ただし、それらのいずれもほぼリアルタイムでスーパーピクセルを生成することはできません。これは、実際のスーパーピクセルの適用性にとって非常に重要です。この作業では、スーパーピクセルセグメンテーションのための2段階のグラフベースのフレームワークを提案します。最初の段階では、マルチスケール情報を集約することによってペアワイズピクセルアフィニティを学習する効率的なディープアフィニティ学習(DAL)ネットワークを紹介します。第2段階では、階層的エントロピーレートセグメンテーション(HERS)と呼ばれる非常に効率的なスーパーピクセル手法を提案します。 HERSは、最初の段階で学習したアフィニティを使用して、適応性の高いスーパーピクセルをいくつでも瞬時に生成できる階層ツリー構造を構築します。視覚的および数値的実験を通じて、さまざまな最先端のスーパーピクセル手法と比較した手法の有効性と効率を実証します。
Superpixels serve as a powerful preprocessing tool in numerous computer vision tasks. By using superpixel representation, the number of image primitives can be largely reduced by orders of magnitudes. With the rise of deep learning in recent years, a few works have attempted to feed deeply learned features / graphs into existing classical superpixel techniques. However, none of them are able to produce superpixels in near real-time, which is crucial to the applicability of superpixels in practice. In this work, we propose a two-stage graph-based framework for superpixel segmentation. In the first stage, we introduce an efficient Deep Affinity Learning (DAL) network that learns pairwise pixel affinities by aggregating multi-scale information. In the second stage, we propose a highly efficient superpixel method called Hierarchical Entropy Rate Segmentation (HERS). Using the learned affinities from the first stage, HERS builds a hierarchical tree structure that can produce any number of highly adaptive superpixels instantaneously. We demonstrate, through visual and numerical experiments, the effectiveness and efficiency of our method compared to various state-of-the-art superpixel methods.
updated: Thu Nov 18 2021 18:13:45 GMT+0000 (UTC)
published: Mon Jun 07 2021 16:20:04 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト