画像を扱う場合、情報が不完全または不明確であるという問題に直面することがよくあります。画像の修復は、欠落している画像領域を復元するために使用できますが、ピクセル強度、ピクセル勾配の向き、色などの低レベルの画像機能に焦点を当てています。この論文は、画像内のセマンティック画像の特徴(オブジェクトと位置)を回復することを目的としています。公開されたゲート付きPixelCNNに基づいて、4方向PixelCNNと呼ばれる新しいアプローチを示し、欠落しているオブジェクトを回復し、コンテキストに基づいてオブジェクトの推定位置を返します。このアプローチをコンテキストベースの画像セグメントラベリング(CBISL)と呼びます。結果は、4方向モデルが1方向モデル(ゲート付きPixelCNN)よりも優れており、人間に匹敵するパフォーマンスを返すことを示しています。
Working with images, one often faces problems with incomplete or unclear information. Image inpainting can be used to restore missing image regions but focuses, however, on low-level image features such as pixel intensity, pixel gradient orientation, and color. This paper aims to recover semantic image features (objects and positions) in images. Based on published gated PixelCNNs, we demonstrate a new approach referred to as quadro-directional PixelCNN to recover missing objects and return probable positions for objects based on the context. We call this approach context-based image segment labeling (CBISL). The results suggest that our four-directional model outperforms one-directional models (gated PixelCNN) and returns a human-comparable performance.