arXiv reaDer
ディープオートマチックナチュラルイメージマット
Deep Automatic Natural Image Matting
自動画像マット(AIM)は、画像編集に役立つ、trimapのような補助入力なしで、任意の自然画像から柔らかい前景を推定することを指します。以前の方法は、人間や動物などの目立つ不透明な前景を持つ画像に限定しながら、マットプロセスを支援するためのセマンティック機能を学習しようとします。この論文では、それらを顕著な透明/細心の前景または非顕著な前景を持つ自然画像に拡張する際の困難を調査します。この問題に対処するために、新しいエンドツーエンドのマットネットワークが提案されています。これは、統一されたセマンティック表現として、上記のタイプの任意の画像の一般化されたトライマップを予測できます。同時に、学習されたセマンティック機能は、注意メカニズムを介して遷移領域に焦点を合わせるようにマットネットワークをガイドします。また、すべてのタイプをカバーする500の多様な自然画像と手動でラベル付けされたアルファマットを含むテストセットAIM-500を構築し、AIMモデルの一般化能力のベンチマークを可能にします。実験の結果は、利用可能な複合マットデータセットでトレーニングされたネットワークが、客観的および主観的に既存の方法よりも優れていることを示しています。ソースコードとデータセットはhttps://github.com/JizhiziLi/AIMで入手できます。
Automatic image matting (AIM) refers to estimating the soft foreground from an arbitrary natural image without any auxiliary input like trimap, which is useful for image editing. Prior methods try to learn semantic features to aid the matting process while being limited to images with salient opaque foregrounds such as humans and animals. In this paper, we investigate the difficulties when extending them to natural images with salient transparent/meticulous foregrounds or non-salient foregrounds. To address the problem, a novel end-to-end matting network is proposed, which can predict a generalized trimap for any image of the above types as a unified semantic representation. Simultaneously, the learned semantic features guide the matting network to focus on the transition areas via an attention mechanism. We also construct a test set AIM-500 that contains 500 diverse natural images covering all types along with manually labeled alpha mattes, making it feasible to benchmark the generalization ability of AIM models. Results of the experiments demonstrate that our network trained on available composite matting datasets outperforms existing methods both objectively and subjectively. The source code and dataset are available at https://github.com/JizhiziLi/AIM.
updated: Thu Jul 15 2021 10:29:01 GMT+0000 (UTC)
published: Thu Jul 15 2021 10:29:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト