マルチラベル画像分類(MLIC)は、画像に存在するラベルのセットを予測することを目的としています。このような問題に対処するための鍵は、画像の内容とラベルの間の関連付けをマイニングし、さらに画像とそのラベルの間の正しい割り当てを取得することです。この論文では、各画像をインスタンスのバッグとして扱い、MLICのタスクをインスタンスラベルマッチング選択問題として再定式化します。このような問題をモデル化するために、グラフマッチングベースのマルチラベル画像分類(GM-MLIC)という名前の新しい深層学習フレームワークを提案します。ここでは、インスタンスとラベルの関係を掘削する優れた機能により、グラフマッチング(GM)スキームが導入されます。具体的には、まずインスタンス空間グラフとラベルセマンティックグラフをそれぞれ作成し、次に各インスタンスをすべてのラベルに接続して、作成した割り当てグラフに組み込みます。続いて、グラフネットワークブロックを採用して、割り当てグラフ上のすべてのノードとエッジの状態を集約および更新し、各インスタンスとラベルの構造化された表現を形成します。私たちのネットワークは最終的に、インスタンスとラベルの対応ごとに予測スコアを導き出し、そのような対応を加重クロスエントロピー損失で最適化します。さまざまな画像データセットで実施された広範な実験は、提案された方法の優位性を示しています。
Multi-Label Image Classification (MLIC) aims to predict a set of labels that present in an image. The key to deal with such problem is to mine the associations between image contents and labels, and further obtain the correct assignments between images and their labels. In this paper, we treat each image as a bag of instances, and reformulate the task of MLIC as an instance-label matching selection problem. To model such problem, we propose a novel deep learning framework named Graph Matching based Multi-Label Image Classification (GM-MLIC), where Graph Matching (GM) scheme is introduced owing to its excellent capability of excavating the instance and label relationship. Specifically, we first construct an instance spatial graph and a label semantic graph respectively, and then incorporate them into a constructed assignment graph by connecting each instance to all labels. Subsequently, the graph network block is adopted to aggregate and update all nodes and edges state on the assignment graph to form structured representations for each instance and label. Our network finally derives a prediction score for each instance-label correspondence and optimizes such correspondence with a weighted cross-entropy loss. Extensive experiments conducted on various image datasets demonstrate the superiority of our proposed method.