スーパーピクセルは、多くのコンピューター ビジョン タスクで強力な前処理ツールとして機能します。スーパーピクセル表現を使用することで、画像プリミティブの数を大幅に減らすことができます。スーパーピクセル手法の大半は手作業で作成された機能を使用していますが、通常はオブジェクトの境界を厳密に守ることにはつながりません。最近のいくつかのスーパーピクセル手法では、スーパーピクセル セグメンテーション プロセスにディープ ラーニングが導入されています。ただし、これらの方法のいずれもほぼリアルタイムでスーパーピクセルを生成できません。これは、実際のスーパーピクセル方法の適用可能性にとって重要です。この作業では、スーパーピクセル セグメンテーションのための 2 段階のグラフ ベースのフレームワークを提案します。最初の段階では、マルチスケール情報を集約することによってペアワイズ ピクセル アフィニティを学習する効率的なディープ アフィニティ ラーニング (DAL) ネットワークを導入します。第 2 段階では、Hierarchical Entropy Rate Segmentation (HERS) と呼ばれる高効率のスーパーピクセル手法を提案します。 HERS は、最初の段階で学習した親和性を使用して、階層ツリー構造を構築し、適応性の高いスーパーピクセルをいくつでも瞬時に生成できます。視覚的および数値的実験を通じて、さまざまな最先端のスーパーピクセル手法と比較して、この手法の有効性と効率を示します。
Superpixels serve as a powerful preprocessing tool in many computer vision tasks. By using superpixel representation, the number of image primitives can be largely reduced by orders of magnitudes. The majority of superpixel methods use handcrafted features, which usually do not translate well into strong adherence to object boundaries. A few recent superpixel methods have introduced deep learning into the superpixel segmentation process. However, none of these methods is able to produce superpixels in near real-time, which is crucial to the applicability of a superpixel method in practice. In this work, we propose a two-stage graph-based framework for superpixel segmentation. In the first stage, we introduce an efficient Deep Affinity Learning (DAL) network that learns pairwise pixel affinities by aggregating multi-scale information. In the second stage, we propose a highly efficient superpixel method called Hierarchical Entropy Rate Segmentation (HERS). Using the learned affinities from the first stage, HERS builds a hierarchical tree structure that can produce any number of highly adaptive superpixels instantaneously. We demonstrate, through visual and numerical experiments, the effectiveness and efficiency of our method compared to various state-of-the-art superpixel methods.