arXiv reaDer
Dual Hierarchical Aggregation NetworkとShadow Matting GANによるゴーストフリー影除去に向けて
Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN
 影の除去は、シーンを理解するために不可欠なタスクです。多くの研究では、画像コンテンツのマッチングのみを考慮しています。これにより、多くの場合、2種類のゴーストが発生します。シャドウ領域の色の不一致またはシャドウ境界のアーチファクトです。このペーパーでは、これらの問題に2つの方法で取り組みます。最初に、境界アーティファクトのない画像を慎重に学習するために、二重階層的集約ネットワーク〜(DHAN)という名前の新しいネットワーク構造を提案します。ダウンサンプリングなしのバックボーンとして一連の成長拡張畳み込みが含まれており、それぞれ注意と予測のためにマルチコンテキスト機能を階層的に集約します。第二に、限られたデータセットでのトレーニングはネットワークのテクスチャの理解を制限し、それが影領域の色の不整合につながると主張します。現在、最大のデータセットには、2k +のシャドウ/シャドウフリーイメージのペアが含まれています。ただし、多くのサンプルは異なるシャドウ位置でまったく同じ背景を共有するため、0.1k +のユニークなシーンのみがあります。したがって、シャドウマット生成的敵対ネットワーク〜(SMGAN)を設計して、指定されたシャドウマスクと影のない画像から現実的なシャドウマットを合成します。新しいマスクまたはシーンの助けを借りて、合成されたシャドウ画像を使用して現在のデータセットを強化します。実験では、DHANが影を消去し、高品質のゴーストのない画像を生成できることを示しています。合成されたデータセットと実際のデータセットをトレーニングした後、当社のネットワークは他の最先端の方法よりも大幅に優れています。コードが利用可能です:
Shadow removal is an essential task for scene understanding. Many studies consider only matching the image contents, which often causes two types of ghosts: color in-consistencies in shadow regions or artifacts on shadow boundaries. In this paper, we tackle these issues in two ways. First, to carefully learn the border artifacts-free image, we propose a novel network structure named the dual hierarchically aggregation network~(DHAN). It contains a series of growth dilated convolutions as the backbone without any down-samplings, and we hierarchically aggregate multi-context features for attention and prediction, respectively. Second, we argue that training on a limited dataset restricts the textural understanding of the network, which leads to the shadow region color in-consistencies. Currently, the largest dataset contains 2k+ shadow/shadow-free image pairs. However, it has only 0.1k+ unique scenes since many samples share exactly the same background with different shadow positions. Thus, we design a shadow matting generative adversarial network~(SMGAN) to synthesize realistic shadow mattings from a given shadow mask and shadow-free image. With the help of novel masks or scenes, we enhance the current datasets using synthesized shadow images. Experiments show that our DHAN can erase the shadows and produce high-quality ghost-free images. After training on the synthesized and real datasets, our network outperforms other state-of-the-art methods by a large margin. The code is available:
updated: Thu Nov 21 2019 04:59:03 GMT+0000 (UTC)
published: Wed Nov 20 2019 05:52:14 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト