arXiv reaDer
ゲート畳み込みによる自由形式の画像修復
Free-Form Image Inpainting with Gated Convolution
  自由形式のマスクとガイダンスで画像を完成させる生成画像修復システムを提供します。このシステムは、追加のラベリング作業なしで、数百万の画像から学習したゲート畳み込みに基づいています。提案されたゲート畳み込みは、すべての入力ピクセルを有効なものとして扱うバニラ畳み込みの問題を解決し、すべてのレイヤーの各空間位置で各チャネルに学習可能な動的特徴選択メカニズムを提供することにより部分畳み込みを一般化します。さらに、自由形式のマスクは任意の形状の画像の任意の場所に表示される可能性があるため、単一の長方形マスク用に設計されたグローバルおよびローカルGANは適用できません。したがって、高密度イメージパッチにスペクトル正規化弁別器を適用することにより、SN-PatchGANという名前のパッチベースのGAN損失も提示します。 SN-PatchGANは、処方が簡単で、トレーニングが迅速で安定しています。自動画像修復とユーザーガイド拡張の結果は、当社のシステムが以前の方法よりも高品質で柔軟な結果を生成することを示しています。このシステムは、ユーザーが気を散らすオブジェクトをすばやく削除し、画像レイアウトを変更し、透かしを消去し、顔を編集するのに役立ちます。コード、デモ、およびモデルは、https://github.com/JiahuiYu/generative_inpaintingで入手できます。
We present a generative image inpainting system to complete images with free-form mask and guidance. The system is based on gated convolutions learned from millions of images without additional labelling efforts. The proposed gated convolution solves the issue of vanilla convolution that treats all input pixels as valid ones, generalizes partial convolution by providing a learnable dynamic feature selection mechanism for each channel at each spatial location across all layers. Moreover, as free-form masks may appear anywhere in images with any shape, global and local GANs designed for a single rectangular mask are not applicable. Thus, we also present a patch-based GAN loss, named SN-PatchGAN, by applying spectral-normalized discriminator on dense image patches. SN-PatchGAN is simple in formulation, fast and stable in training. Results on automatic image inpainting and user-guided extension demonstrate that our system generates higher-quality and more flexible results than previous methods. Our system helps user quickly remove distracting objects, modify image layouts, clear watermarks and edit faces. Code, demo and models are available at: https://github.com/JiahuiYu/generative_inpainting
updated: Tue Oct 22 2019 03:06:37 GMT+0000 (UTC)
published: Sun Jun 10 2018 05:51:32 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト