arXiv reaDer
プログレッシブリファインメントネットワークによるマスクガイドマット
Mask Guided Matting via Progressive Refinement Network
一般的な粗いマスクをガイダンスとして使用する堅牢なマットフレームワークであるマスクガイド(MG)マットを提案します。 MG Mattingは、ネットワーク(PRN)設計を活用して、マットモデルが自己ガイダンスを提供し、デコードプロセスを通じて不確実な領域を段階的に改善するように促します。一連のガイダンスマスク摂動操作もトレーニングで導入され、外部ガイダンスに対する堅牢性をさらに強化します。 PRNは、トライマップや低品質のアルファマットなど、目に見えないタイプのガイダンスマスクに一般化できるため、さまざまなアプリケーションパイプラインに適していることを示します。さらに、マットの前景色予測問題を再検討し、データセットの問題に対処するための驚くほど簡単な改善を提案します。実際のベンチマークと合成ベンチマークの評価は、MGMattingがさまざまなタイプのガイダンス入力を使用して最先端のパフォーマンスを達成していることを示しています。コードとモデルはhttps://github.com/yucornetto/MGMattingで入手できます。
We propose Mask Guided (MG) Matting, a robust matting framework that takes a general coarse mask as guidance. MG Matting leverages a network (PRN) design which encourages the matting model to provide self-guidance to progressively refine the uncertain regions through the decoding process. A series of guidance mask perturbation operations are also introduced in the training to further enhance its robustness to external guidance. We show that PRN can generalize to unseen types of guidance masks such as trimap and low-quality alpha matte, making it suitable for various application pipelines. In addition, we revisit the foreground color prediction problem for matting and propose a surprisingly simple improvement to address the dataset issue. Evaluation on real and synthetic benchmarks shows that MG Matting achieves state-of-the-art performance using various types of guidance inputs. Code and models will be available at https://github.com/yucornetto/MGMatting
updated: Sat Dec 12 2020 04:26:14 GMT+0000 (UTC)
published: Sat Dec 12 2020 04:26:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト