この論文は、ジグソーパズルを解くためのGenerative Adversarial Network(GAN)に基づくソリューションを提案します。この問題は、画像が等しい正方形の断片に切り取られていることを前提としており、断片情報に従って画像を復元するように要求します。従来のジグソーソルバーは、重要なセマンティック情報を無視するピース境界に基づいてピース関係を決定することがよくあります。この論文では、対になっていない画像(初期画像の事前知識がない)でジグソーパズルを解くためのGANベースの自己監視法であるJigsawGANを提案します。 (1)ジグソー順列を分類するための分類ブランチと(2)正しい順序で画像に特徴を復元するためのGANブランチを含むマルチタスクパイプラインを設計します。分類ブランチは、シャッフルされた部分に従って生成された疑似ラベルによって制約されます。 GANブランチは、画像のセマンティック情報に重点を置いています。その中で、ジェネレータは自然な画像を生成して、再構成されたピースでディスクリミネータをだまし、ディスクリミネータは、特定の画像が合成または実際のターゲットマニホールドに属しているかどうかを区別します。これらの2つのブランチは、分類結果に従って順序を修正するためにワープフィーチャに適用されるフローベースのワープによって接続されます。提案手法は、意味情報とエッジ情報の両方を同時に利用することにより、ジグソーパズルをより効率的に解くことができる。いくつかの主要な従来の方法に対する定性的および定量的比較は、私たちの方法の優位性を示しています。
The paper proposes a solution based on Generative Adversarial Network (GAN) for solving jigsaw puzzles. The problem assumes that an image is cut into equal square pieces, and asks to recover the image according to pieces information. Conventional jigsaw solvers often determine piece relationships based on the piece boundaries, which ignore the important semantic information. In this paper, we propose JigsawGAN, a GAN-based self-supervised method for solving jigsaw puzzles with unpaired images (with no prior knowledge of the initial images). We design a multi-task pipeline that includes, (1) a classification branch to classify jigsaw permutations, and (2) a GAN branch to recover features to images with correct orders. The classification branch is constrained by the pseudo-labels generated according to the shuffled pieces. The GAN branch concentrates on the image semantic information, among which the generator produces the natural images to fool the discriminator with reassembled pieces, while the discriminator distinguishes whether a given image belongs to the synthesized or the real target manifold. These two branches are connected by a flow-based warp that is applied to warp features to correct order according to the classification results. The proposed method can solve jigsaw puzzles more efficiently by utilizing both semantic information and edge information simultaneously. Qualitative and quantitative comparisons against several leading prior methods demonstrate the superiority of our method.