arXiv reaDer
GRIG: Few-Shot Generative Residual Image Inpainting
GRIG: Few-Shot Generative Residual Image Inpainting
画像の修復は、画像の欠落またはマスクされた領域を意味的に意味のある内容で埋めるタスクです。最近の方法では、大規模な欠落領域の処理が大幅に改善されています。ただし、これらの方法は通常、満足のいく結果を得るために大規模なトレーニング データセットを必要とし、少数のサンプルでこれらのモデルをトレーニングする研究は限られています。これに対処するために、高品質の修復結果を生成する新しい数ショット生成残差画像修復方法を提示します。核となるアイデアは、特徴抽出のための畳み込みニューラル ネットワーク (CNN) と、敵対的生成ネットワーク内でのグローバルな推論のためのトランスフォーマー、および画像レベルとパッチ レベルの弁別器を組み込んだ反復残差推論方法を提案することです。また、忠実なテクスチャと詳細な外観を作成するための新しい偽造パッチの敵対的トレーニング戦略も提案します。広範な評価により、定量的および定性的の両方で、少数ショットの画像修復タスクで、私たちの方法が以前の方法よりも優れていることが示されています。
Image inpainting is the task of filling in missing or masked region of an image with semantically meaningful contents. Recent methods have shown significant improvement in dealing with large-scale missing regions. However, these methods usually require large training datasets to achieve satisfactory results and there has been limited research into training these models on a small number of samples. To address this, we present a novel few-shot generative residual image inpainting method that produces high-quality inpainting results. The core idea is to propose an iterative residual reasoning method that incorporates Convolutional Neural Networks (CNNs) for feature extraction and Transformers for global reasoning within generative adversarial networks, along with image-level and patch-level discriminators. We also propose a novel forgery-patch adversarial training strategy to create faithful textures and detailed appearances. Extensive evaluations show that our method outperforms previous methods on the few-shot image inpainting task, both quantitatively and qualitatively.
updated: Mon Apr 24 2023 12:19:06 GMT+0000 (UTC)
published: Mon Apr 24 2023 12:19:06 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト