arXiv reaDer
Program-Guided Image Manipulators
  人間は、ローカルオブジェクトからペアワイズ関係、グローバル構造まで、さまざまなレベルで画像の全体的な表現を構築できます。構造の解釈には、画像内のオブジェクトの繰り返しと対称性に関する推論が含まれます。このホワイトペーパーでは、プログラムによる画像マニピュレータ(PG-IM)を提示し、画像を表現および操作するためのニューロシンボリックプログラムのような表現を誘導します。画像が与えられると、PG-IMは繰り返しパターンを検出し、シンボリックプログラムを誘導し、プログラムによって誘導されるニューラルネットワークを使用して画像を操作します。 PG-IMは、内部統計を活用して、単一の画像から学習します。画像の修復のみに関するトレーニングを受けていますが、PG-IMは統一されたフレームワークで外挿と規則性編集を直接行うことができます。広範な実験により、PG-IMはすべてのタスクで優れたパフォーマンスを達成することが示されています。
Humans are capable of building holistic representations for images at various levels, from local objects, to pairwise relations, to global structures. The interpretation of structures involves reasoning over repetition and symmetry of the objects in the image. In this paper, we present the Program-Guided Image Manipulator (PG-IM), inducing neuro-symbolic program-like representations to represent and manipulate images. Given an image, PG-IM detects repeated patterns, induces symbolic programs, and manipulates the image using a neural network that is guided by the program. PG-IM learns from a single image, exploiting its internal statistics. Despite trained only on image inpainting, PG-IM is directly capable of extrapolation and regularity editing in a unified framework. Extensive experiments show that PG-IM achieves superior performance on all the tasks.
updated: Wed Sep 04 2019 21:10:47 GMT+0000 (UTC)
published: Wed Sep 04 2019 21:10:47 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト