過去数年にわたって、ディープラーニングベースのアプローチは、自然な画像マットの顕著な改善を達成しました。ただし、画像マットの広範な適用を妨げる2つの欠点があります。それは、ユーザー提供のトライマップへの依存と、重いモデルサイズです。本論文では、軽量モデルを用いたトライマップフリーの自然画像マット法を提案した。軽量の基本畳み込みブロックを使用して、2段階のフレームワークを構築します。セグメンテーションネットワーク(SN)は、十分なセマンティクスをキャプチャし、ピクセルを未知の前景領域と背景領域に分類するように設計されています。 Matting Refine Network(MRN)は、詳細なテクスチャ情報をキャプチャし、正確なアルファ値を回帰することを目的としています。提案されたクロスレベルフュージョンモジュール(CFM)を使用すると、SNはより少ない計算コストでマルチスケール機能を効率的に利用できます。 MRNの効率的な非ローカルアテンションモジュール(ENA)は、異なるピクセル間の関連性を効率的にモデル化し、高品質のアルファ値を回帰するのに役立ちます。これらの手法を利用して、非常に軽量なモデルを構築します。これは、人気のある自然画像マットベンチマークで大規模モデルの約1%のパラメーター(344k)で同等のパフォーマンスを実現します。
Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. However, there are still two drawbacks that impede the widespread application of image matting: the reliance on user-provided trimaps and the heavy model sizes. In this paper, we propose a trimap-free natural image matting method with a lightweight model. With a lightweight basic convolution block, we build a two-stages framework: Segmentation Network (SN) is designed to capture sufficient semantics and classify the pixels into unknown, foreground and background regions; Matting Refine Network (MRN) aims at capturing detailed texture information and regressing accurate alpha values. With the proposed cross-level fusion Module (CFM), SN can efficiently utilize multi-scale features with less computational cost. Efficient non-local attention module (ENA) in MRN can efficiently model the relevance between different pixels and help regress high-quality alpha values. Utilizing these techniques, we construct an extremely light-weighted model, which achieves comparable performance with ~1% parameters (344k) of large models on popular natural image matting benchmarks.