この論文は、特にモデルトレーニング中に見えない複合概念のために、複合属性オブジェクト概念を備えた画像を認識するための新しいモデルを提案します。タスクに必要な3つの主要なプロパティ(関係を認識し、一貫性があり、分離されている)を調査して、属性とオブジェクトのペアを構成するプリミティブ概念の豊富で堅牢な機能を学習することを目指しています。この目的のために、ブロックされたメッセージパッシングネットワーク(BMP-Net)を提案します。モデルは2つのモジュールで構成されています。コンセプトモジュールは、プリミティブコンセプトの意味的に意味のある特徴を生成しますが、ビジュアルモジュールは、入力画像から属性とオブジェクトの視覚的特徴を抽出します。メッセージパッシングメカニズムは、基本的な概念間の関係をキャプチャするために概念モジュールで使用されます。さらに、モデルが見られる複合概念に偏るのを防ぎ、属性とオブジェクト間の絡み合いを減らすために、見られる概念と見えない概念の両方についてモデルで利用可能な情報を均等化するブロッキングメカニズムを提案します。 2つのベンチマークに関する広範な実験とアブレーション研究は、提案されたモデルの有効性を示しています。
This paper proposes a novel model for recognizing images with composite attribute-object concepts, notably for composite concepts that are unseen during model training. We aim to explore the three key properties required by the task --- relation-aware, consistent, and decoupled --- to learn rich and robust features for primitive concepts that compose attribute-object pairs. To this end, we propose the Blocked Message Passing Network (BMP-Net). The model consists of two modules. The concept module generates semantically meaningful features for primitive concepts, whereas the visual module extracts visual features for attributes and objects from input images. A message passing mechanism is used in the concept module to capture the relations between primitive concepts. Furthermore, to prevent the model from being biased towards seen composite concepts and reduce the entanglement between attributes and objects, we propose a blocking mechanism that equalizes the information available to the model for both seen and unseen concepts. Extensive experiments and ablation studies on two benchmarks show the efficacy of the proposed model.