arXiv reaDer
自然な画像マットのために伝播する長距離特徴
Long-Range Feature Propagating for Natural Image Matting
自然画像マットは、トライマップ内の未知の領域のアルファ値を推定します。最近、深層学習ベースの方法は、それらの間の類似性に従って、既知の領域から未知の領域にアルファ値を伝播します。ただし、一般的な畳み込みニューラルネットワークの小さな有効受信フィールドの制限により、未知の領域の50%を超えるピクセルを既知の領域のピクセルと相関させることができず、未知の領域のピクセルができない場合に不正確な推定につながることがわかります。受信フィールドのピクセルでのみ推測されます。この問題を解決するために、我々は、アルファマット推定のために受信フィールドの外側の長距離コンテキスト特徴を学習する長距離特徴伝播ネットワーク(LFPNet)を提案します。具体的には、最初に、ダウンサンプリングされた画像からコンテキストの特徴を抽出する伝播モジュールを設計します。次に、コンテキスト機能を周囲のコンテキストイメージパッチから内側のセンターイメージパッチに明示的に伝播するCenter-Surround Pyramid Pooling(CSPP)を紹介します。最後に、画像、トライマップ、コンテキスト機能を取得するマットモジュールを使用して、アルファマットを推定します。実験結果は、提案された方法がAlphaMattingおよびAdobe ImageMattingデータセットの最先端の方法に対して有利に機能することを示しています。
Natural image matting estimates the alpha values of unknown regions in the trimap. Recently, deep learning based methods propagate the alpha values from the known regions to unknown regions according to the similarity between them. However, we find that more than 50% pixels in the unknown regions cannot be correlated to pixels in known regions due to the limitation of small effective reception fields of common convolutional neural networks, which leads to inaccurate estimation when the pixels in the unknown regions cannot be inferred only with pixels in the reception fields. To solve this problem, we propose Long-Range Feature Propagating Network (LFPNet), which learns the long-range context features outside the reception fields for alpha matte estimation. Specifically, we first design the propagating module which extracts the context features from the downsampled image. Then, we present Center-Surround Pyramid Pooling (CSPP) that explicitly propagates the context features from the surrounding context image patch to the inner center image patch. Finally, we use the matting module which takes the image, trimap and context features to estimate the alpha matte. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on the AlphaMatting and Adobe Image Matting datasets.
updated: Sat Sep 25 2021 01:17:17 GMT+0000 (UTC)
published: Sat Sep 25 2021 01:17:17 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト