初心者ユーザーが単純なオブジェクトの画像を作成するのに役立つ、インタラクティブなGANベースのスケッチから画像への変換方法を提案します。ユーザーが目的のオブジェクトタイプのスケッチを描き始めると、ネットワークはもっともらしい補完をインタラクティブに推奨し、対応する合成画像をユーザーに表示します。これにより、ユーザーがネットワークの推奨に基づいてスケッチを編集し、描画中に完成した形状と最終レンダリング画像の両方を視覚化できるフィードバックループが可能になります。さまざまなオブジェクトクラスで単一のトレーニング済みモデルを使用するために、単一のジェネレータネットワークから、特徴の混合なしで個別のクラスを生成できる、クラス調整のためのゲーティングベースのアプローチを導入します。当社のウェブサイトで利用可能なビデオ:https://arnabgho.github.io/iSketchNFill/。
We propose an interactive GAN-based sketch-to-image translation method that helps novice users create images of simple objects. As the user starts to draw a sketch of a desired object type, the network interactively recommends plausible completions, and shows a corresponding synthesized image to the user. This enables a feedback loop, where the user can edit their sketch based on the network's recommendations, visualizing both the completed shape and final rendered image while they draw. In order to use a single trained model across a wide array of object classes, we introduce a gating-based approach for class conditioning, which allows us to generate distinct classes without feature mixing, from a single generator network. Video available at our website: https://arnabgho.github.io/iSketchNFill/.