arXiv reaDer
画像マット化のための事前に誘発された情報の整列
Prior-Induced Information Alignment for Image Matting
画像のマット化は、画像の前景ピクセルの不透明度を推定することを目的とした不適切な問題です。ただし、ほとんどの既存の深層学習ベースの方法は、依然として大まかな詳細に悩まされています。一般に、これらのアルゴリズムは、決定論的ドメイン(特定のFGおよびBGピクセル)と未決定ドメイン(不確実な中間ピクセル)の間の探索の程度を巧みに区別することができないか、連続サンプリングプロセスで必然的に情報を失い、サブ最適な結果。本論文では、ピクセルごとの応答マップの区別とレイヤーごとの特徴マップの相関を効率的にモデル化できる、事前誘導情報アライメントマットネットワーク(PIIAMatting)という名前の新しいネットワークを提案します。これは主に、動的ガウス変調メカニズム(DGM)と情報調整戦略(IA)で構成されています。具体的には、DGMは、事前分布から学習したピクセル単位のドメイン応答マップを動的に取得できます。応答マップは、トレーニング中の不透明度の変動と収束プロセスの関係を示すことができます。一方、IAは、情報一致モジュール(IMM)と情報集約モジュール(IAM)で構成され、隣接するレイヤーごとの機能を適応的に照合および集約するように共同でスケジュールされます。さらに、マルチスケールリファインメント(MSR)モジュールを開発して、リファインメント段階でマルチスケール受容野情報を統合し、変動する外観の詳細を復元します。広範な定量的および定性的評価は、提案されたPIIAMattingが、Alphamatting.com、Composition-1K、およびDistinctions-646データセットの最先端の画像マット手法に対して有利に機能することを示しています。
Image matting is an ill-posed problem that aims to estimate the opacity of foreground pixels in an image. However, most existing deep learning-based methods still suffer from the coarse-grained details. In general, these algorithms are incapable of felicitously distinguishing the degree of exploration between deterministic domains (certain FG and BG pixels) and undetermined domains (uncertain in-between pixels), or inevitably lose information in the continuous sampling process, leading to a sub-optimal result. In this paper, we propose a novel network named Prior-Induced Information Alignment Matting Network (PIIAMatting), which can efficiently model the distinction of pixel-wise response maps and the correlation of layer-wise feature maps. It mainly consists of a Dynamic Gaussian Modulation mechanism (DGM) and an Information Alignment strategy (IA). Specifically, the DGM can dynamically acquire a pixel-wise domain response map learned from the prior distribution. The response map can present the relationship between the opacity variation and the convergence process during training. On the other hand, the IA comprises an Information Match Module (IMM) and an Information Aggregation Module (IAM), jointly scheduled to match and aggregate the adjacent layer-wise features adaptively. Besides, we also develop a Multi-Scale Refinement (MSR) module to integrate multi-scale receptive field information at the refinement stage to recover the fluctuating appearance details. Extensive quantitative and qualitative evaluations demonstrate that the proposed PIIAMatting performs favourably against state-of-the-art image matting methods on the Alphamatting.com, Composition-1K and Distinctions-646 dataset.
updated: Mon Jun 28 2021 07:46:59 GMT+0000 (UTC)
published: Mon Jun 28 2021 07:46:59 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト