トライマップガイダンスの利用とマルチレベル機能の融合は、ピクセルレベルの予測を使用したトライマップベースのマット化の2つの重要な問題です。トライマップガイダンスを利用するために、ほとんどの既存のアプローチは、単にトライマップと画像を連結して深いネットワークにフィードするか、追加のネットワークを適用してより多くのトライマップガイダンスを抽出します。新たなコンテンツベースの機能融合の場合、ほとんどの既存のマット手法は、興味深いオブジェクトに関連する強力なセマンティック情報を備えたグローバル機能のガイダンスがないローカル機能にのみ焦点を当てています。この論文では、トライマップガイドの非バックグラウンドマルチスケールプーリング(TMP)モジュールとグローバルローカルコンテキスト認識フュージョン(GLF)モジュールで構成されるトライマップガイドの機能マイニングとフュージョンネットワークを提案します。トライマップが強力なセマンティックガイダンスを提供することを考慮して、TMPモジュールは、追加のパラメーターなしでトライマップのガイダンスの下で、興味深いオブジェクトに効果的な機能マイニングを集中させます。さらに、GLFモジュールは、TMPモジュールによってマイニングされた興味深いオブジェクトのグローバルセマンティック情報を使用して、効果的なグローバルローカルコンテキスト認識マルチレベル機能融合をガイドします。さらに、高品質の画像マットを進めるために、共通の興味深いオブジェクトマット(CIOM)データセットを構築します。特に、Composition-1kとCIOMの結果は、TMFNetが、パラメーターが少なく、FLOPが14%少ない強力なベースラインに対して、SADでそれぞれ13%と25%の相対的な改善を達成していることを示しています。 Composition-1kテストセット、Alphamattingベンチマーク、およびCIOMテストセットの実験結果は、私たちの方法が最先端のアプローチよりも優れていることを示しています。
Utilizing trimap guidance and fusing multi-level features are two important issues for trimap-based matting with pixel-level prediction. To utilize trimap guidance, most existing approaches simply concatenate trimaps and images together to feed a deep network or apply an extra network to extract more trimap guidance, which meets the conflict between efficiency and effectiveness. For emerging content-based feature fusion, most existing matting methods only focus on local features which lack the guidance of a global feature with strong semantic information related to the interesting object. In this paper, we propose a trimap-guided feature mining and fusion network consisting of our trimap-guided non-background multi-scale pooling (TMP) module and global-local context-aware fusion (GLF) modules. Considering that trimap provides strong semantic guidance, our TMP module focuses effective feature mining on interesting objects under the guidance of trimap without extra parameters. Furthermore, our GLF modules use global semantic information of interesting objects mined by our TMP module to guide an effective global-local context-aware multi-level feature fusion. In addition, we build a common interesting object matting (CIOM) dataset to advance high-quality image matting. Particularly, results on the Composition-1k and our CIOM show that our TMFNet achieves 13% and 25% relative improvement on SAD, respectively, against a strong baseline with fewer parameters and 14% fewer FLOPs. Experimental results on the Composition-1k test set, Alphamatting benchmark, and our CIOM test set demonstrate that our method outperforms state-of-the-art approaches.