arXiv reaDer
Scene Recognition with Prototype-agnostic Scene Layout
  要約---シーン画像の空間構造を活用することは、シーン認識の重要な研究方向です。クラス内の構造の多様性が大きいため、さまざまな画像特性を適応させるための柔軟な構造レイアウトの構築とモデリングが課題です。シーン認識における既存の構造モデリング手法は、事前定義されたグリッドに焦点を当てるか、学習能力のあるプロトタイプに依存しますが、これらはすべて代表的な能力が限られています。本論文では、プロトタイプに適合せずに各画像の空間構造を構築するためのプロトタイプに依存しないシーンレイアウト(PaSL)構築方法を提案します。 PaSLは、シーン画像の多様な空間特性を柔軟にキャプチャでき、かなりの一般化機能を備えています。 PaSLが与えられると、PaSLの領域がノードとして定義され、領域間の2種類の独立した関係がエッジとしてエンコードされるレイアウトグラフネットワーク(LGN)を構築します。 LGNは、2つのトポロジ構造(空間的および意味的類似性次元で形成)をグラフの畳み込みにより画像表現に組み込むことを目的としています。広範な実験により、このアプローチが、マルチモデルまたはマルチスケールの融合なしで、広く認められているMIT67およびSUN397データセットで最先端の結果を達成することが示されています。さらに、最大規模のデータセットの1つであるPlaces365でも実験を実施しています。結果は、提案された方法が十分に一般化され、競争力のあるパフォーマンスを得ることができることを示しています。
Abstract--- Exploiting the spatial structure in scene images is a key research direction for scene recognition. Due to the large intra-class structural diversity, building and modeling flexible structural layout to adapt various image characteristics is a challenge. Existing structural modeling methods in scene recognition either focus on predefined grids or rely on learned prototypes, which all have limited representative ability. In this paper, we propose Prototype-agnostic Scene Layout (PaSL) construction method to build the spatial structure for each image without conforming to any prototype. Our PaSL can flexibly capture the diverse spatial characteristic of scene images and have considerable generalization capability. Given a PaSL, we build Layout Graph Network (LGN) where regions in PaSL are defined as nodes and two kinds of independent relations between regions are encoded as edges. The LGN aims to incorporate two topological structures (formed in spatial and semantic similarity dimensions) into image representations through graph convolution. Extensive experiments show that our approach achieves state-of-the-art results on widely recognized MIT67 and SUN397 datasets without multi-model or multi-scale fusion. Moreover, we also conduct the experiments on one of the largest scale datasets, Places365. The results demonstrate the proposed method can be well generalized and obtains competitive performance.
updated: Sat Sep 07 2019 10:04:01 GMT+0000 (UTC)
published: Sat Sep 07 2019 10:04:01 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)アソシエイト