arXiv reaDer
Trimap生成ネットワークと軽量の非局所的注意によるセマンティックガイドによる自動自然画像マット
Semantic-guided Automatic Natural Image Matting with Trimap Generation Network and Light-weight Non-local Attention
自然画像マットは、アルファマットを使用して前景オブジェクトを背景から正確に分離することを目的としています。外部注釈なしの全自動自然画像マットは挑戦的です。優れたマット方法では、通常、追加の入力として正確な労力を要する手作りのトライマップが必要ですが、前景のセグメンテーションを拡張する自動トリマップ生成方法のパフォーマンスは、セグメンテーションの品質によって変動します。したがって、追加情報入力のトレードオフをどのように処理するかが自動マットの主要な問題であると私たちは主張します。この論文では、Trimap Generation Networkと、入力としてtrimapと背景を必要としない軽量の非局所的注意を備えたセマンティックガイド付き自動自然画像マットパイプラインを紹介します。具体的には、フォアグラウンドセグメンテーションに基づいて、Trimap GenerationNetworkは正確なtrimapを推定します。次に、推定トライマップをガイダンスとして使用して、軽量の非ローカルマットネットワークとリファインメントを使用して、最終的なアルファマットを生成します。このアルファマットのトライマップガイド付きグローバルアグリゲーションアテンションブロックには、ストライドダウンサンプリングコンボリューションが装備されており、計算の複雑さが軽減され、パフォーマンスが向上します。実験結果は、私たちのマットアルゴリズムが、トライマップフリーとトライマップ必要の両方の側面で最先端の方法と競争力のあるパフォーマンスを持っていることを示しています。
Natural image matting aims to precisely separate foreground objects from background using alpha matte. Fully automatic natural image matting without external annotation is challenging. Well-performed matting methods usually require accurate labor-intensive handcrafted trimap as extra input, while the performance of automatic trimap generation method of dilating foreground segmentation fluctuates with segmentation quality. Therefore, we argue that how to handle trade-off of additional information input is a major issue in automatic matting. This paper presents a semantic-guided automatic natural image matting pipeline with Trimap Generation Network and light-weight non-local attention, which does not need trimap and background as input. Specifically, guided by foreground segmentation, Trimap Generation Network estimates accurate trimap. Then, with estimated trimap as guidance, our light-weight Non-local Matting Network with Refinement produces final alpha matte, whose trimap-guided global aggregation attention block is equipped with stride downsampling convolution, reducing computation complexity and promoting performance. Experimental results show that our matting algorithm has competitive performance with state-of-the-art methods in both trimap-free and trimap-needed aspects.
updated: Sat Sep 11 2021 00:24:59 GMT+0000 (UTC)
published: Wed Mar 31 2021 12:08:28 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト