arXiv reaDer
COCO-GAN: Generation by Parts via Conditional Coordinating
 人間は、生物学的制限のために周囲の環境の一部としか対話できません。したがって、周囲の環境をつなぎ合わせるために、一連の観測結果の空間的関係を推論することを学びます。このような振る舞いと機械にも計算上の制約があるという事実に触発され、条件として空間座標に基づいてパーツによって画像を生成する生成座標GAN(COCO-GAN)を提案します。一方、弁別器は、グローバルな一貫性、ローカルな外観、およびエッジ交差の連続性によって、複数の組み立てられたパッチにまたがるリアリズムを正当化することを学習します。トレーニング中に完全な画像が生成されることはありませんが、COCO-GANは推論中に最先端の完全な画像を生成できることを示しています。さらに、ネットワークに座標を認識するように教えることにより、さまざまな新しいアプリケーションを実現します。まず、学習した座標多様体の外挿を実行し、境界外のパッチを生成します。 COCO-GANは、最初に生成された完全な画像と組み合わせて、トレーニングサンプルよりも大きい画像を生成できます。これを「境界を越えた生成」と呼びます。次に、水平方向の周期的なトポロジを本質的に保持する円筒座標系内でのパノラマ生成を紹介します。計算面では、COCO-GANには分割統治パラダイムが組み込まれており、トレーニングおよび推論中のメモリ要求を削減し、高並列性を提供し、画像の一部をオンデマンドで生成できます。
Humans can only interact with part of the surrounding environment due to biological restrictions. Therefore, we learn to reason the spatial relationships across a series of observations to piece together the surrounding environment. Inspired by such behavior and the fact that machines also have computational constraints, we propose COnditional COordinate GAN (COCO-GAN) of which the generator generates images by parts based on their spatial coordinates as the condition. On the other hand, the discriminator learns to justify realism across multiple assembled patches by global coherence, local appearance, and edge-crossing continuity. Despite the full images are never generated during training, we show that COCO-GAN can produce state-of-the-art-quality full images during inference. We further demonstrate a variety of novel applications enabled by teaching the network to be aware of coordinates. First, we perform extrapolation to the learned coordinate manifold and generate off-the-boundary patches. Combining with the originally generated full image, COCO-GAN can produce images that are larger than training samples, which we called "beyond-boundary generation". We then showcase panorama generation within a cylindrical coordinate system that inherently preserves horizontally cyclic topology. On the computation side, COCO-GAN has a built-in divide-and-conquer paradigm that reduces memory requisition during training and inference, provides high-parallelism, and can generate parts of images on-demand.
updated: Sun Jan 05 2020 06:28:59 GMT+0000 (UTC)
published: Sat Mar 30 2019 20:37:24 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト