arXiv reaDer
階層的画像分類のためのセマンティック ガイド付きレベル カテゴリ ハイブリッド予測ネットワーク
Semantic Guided Level-Category Hybrid Prediction Network for Hierarchical Image Classification
階層分類 (HC) は、階層構造に編成された複数のラベルを各オブジェクトに割り当てます。既存のディープ ラーニング ベースの HC メソッドは通常、ルート ノードからリーフ ノードに到達するまでのインスタンスを予測します。ただし、現実の世界では、ノイズ、オクルージョン、ぼかし、または低解像度によって干渉された画像は、下位レベルでの分類に十分な情報を提供しない場合があります。この問題に対処するために、エンドツーエンドの方法でレベルとカテゴリの予測を共同で実行できる、新しいセマンティック ガイド付きレベル カテゴリ ハイブリッド予測ネットワーク (SGLCHPN) を提案します。 SGLCHPN は 2 つのモジュールで構成されています。入力画像から特徴ベクトルを抽出するビジュアル トランスフォーマーと、カテゴリ ワードの埋め込みをクエリとして使用してカテゴリ固有の表現を学習するセマンティック ガイド付き相互注意モジュールです。提案された方法を評価するために、画像が幅広い品質であるため、個々の品質に応じて階層内の異なるレベル (深さ) にラベル付けされた 2 つの新しいデータセットを構築します。実験結果は、提案した HC 法の有効性を示しています。
Hierarchical classification (HC) assigns each object with multiple labels organized into a hierarchical structure. The existing deep learning based HC methods usually predict an instance starting from the root node until a leaf node is reached. However, in the real world, images interfered by noise, occlusion, blur, or low resolution may not provide sufficient information for the classification at subordinate levels. To address this issue, we propose a novel semantic guided level-category hybrid prediction network (SGLCHPN) that can jointly perform the level and category prediction in an end-to-end manner. SGLCHPN comprises two modules: a visual transformer that extracts feature vectors from the input images, and a semantic guided cross-attention module that uses categories word embeddings as queries to guide learning category-specific representations. In order to evaluate the proposed method, we construct two new datasets in which images are at a broad range of quality and thus are labeled to different levels (depths) in the hierarchy according to their individual quality. Experimental results demonstrate the effectiveness of our proposed HC method.
updated: Fri Mar 31 2023 08:52:12 GMT+0000 (UTC)
published: Tue Nov 22 2022 13:49:10 GMT+0000 (UTC)
参考文献 (このサイトで利用可能なもの) / References (only if available on this site)
被参照文献 (このサイトで利用可能なものを新しい順に) / Citations (only if available on this site, in order of most recent)
Amazon.co.jpアソシエイト