arXiv reaDer
自然な画像マットのためのTrimapガイド付き機能マイニングとフュージョンネットワーク
Trimap-guided Feature Mining and Fusion Network for Natural Image Matting
トライマップガイダンスの利用とマルチレベル機能の融合は、ピクセルレベルの予測を使用したトライマップベースのマット化の2つの重要な問題です。トライマップガイダンスを利用するために、ほとんどの既存のアプローチは、単にトライマップと画像を連結して深いネットワークにフィードするか、追加のネットワークを適用してより多くのトライマップガイダンスを抽出します。新たなコンテンツベースの機能融合の場合、ほとんどの既存のマット手法は、興味深いオブジェクトに関連する強力なセマンティック情報を備えたグローバル機能のガイダンスがないローカル機能にのみ焦点を当てています。この論文では、トライマップガイドの非バックグラウンドマルチスケールプーリング(TMP)モジュールとグローバルローカルコンテキストアウェアフュージョン(GLF)モジュールで構成されるトライマップガイドの機能マイニングとフュージョンネットワークを提案します。トライマップが強力なセマンティックガイダンスを提供することを考慮して、TMPモジュールは、追加のパラメーターなしでトライマップのガイダンスの下で、興味深いオブジェクトに効果的な機能マイニングを集中させます。さらに、GLFモジュールは、TMPモジュールによってマイニングされた興味深いオブジェクトのグローバルセマンティック情報を使用して、効果的なグローバルローカルコンテキストアウェアマルチレベル機能融合をガイドします。さらに、高品質の画像マットを進めるために、共通の興味深いオブジェクトマット(CIOM)データセットを構築します。 Composition-1kテストセット、Alphamattingベンチマーク、およびCIOMテストセットの実験結果は、私たちの方法が最先端のアプローチよりも優れていることを示しています。コードとモデルはまもなく公開されます。
Utilizing trimap guidance and fusing multi-level features are two important issues for trimap-based matting with pixel-level prediction. To utilize trimap guidance, most existing approaches simply concatenate trimaps and images together to feed a deep network or apply an extra network to extract more trimap guidance, which meets the conflict between efficiency and effectiveness. For emerging content-based feature fusion, most existing matting methods only focus on local features which lack the guidance of a global feature with strong semantic information related to the interesting object. In this paper, we propose a trimap-guided feature mining and fusion network consisting of our trimap-guided non-background multi-scale pooling (TMP) module and global-local context-aware fusion (GLF) modules. Considering that trimap provides strong semantic guidance, our TMP module focuses effective feature mining on interesting objects under the guidance of trimap without extra parameters. Furthermore, our GLF modules use global semantic information of interesting objects mined by our TMP module to guide an effective global-local context-aware multi-level feature fusion. In addition, we build a common interesting object matting (CIOM) dataset to advance high-quality image matting. Experimental results on the Composition-1k test set, Alphamatting benchmark, and our CIOM test set demonstrate that our method outperforms state-of-the-art approaches. Code and models will be publicly available soon.
updated: Fri Dec 03 2021 12:04:14 GMT+0000 (UTC)
published: Wed Dec 01 2021 14:13:11 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト